В «Т1» сравнили 20 ИИ-моделей на разных ускорителях, включая китайские

ИТ-холдинг «Т1» проверил, как более 20 ИИ-моделей работают на графических ускорителях разных производителей, в том числе китайских.

Для этого в компании создали отдельную лабораторию и сделали больше тысячи прогонов. Выяснилось, что для ИИ-ассистентов, которые ищут по документам и базам знаний, китайские ускорители удешевляют инференс (работу уже обученной модели) в 2–2,5 раза при сопоставимом качестве ответов.

В компьютерном зрении они конкурентны по цене, но медленнее Nvidia. По расчётам «Т1», замена недозагруженной Nvidia H100 на одну карту C550 экономит более 2 млн рублей в год при размещении в облаке.