Пока рынок обсуждает доступность и поставки ускорителей NVIDIA, ИТ-холдинг Т1 опубликовал результаты тестирования альтернативных решений: более 20 ИИ-моделей на разных ускорителях показали, что полной замены NVIDIA сегодня нет, однако в ряде сценариев альтернативы уже конкурентоспособны — и по качеству, и по стоимости. В тестах ИИ-ассистентов для работы с документами и поиска по базам знаний стоимость инференса на альтернативных ускорителях в отдельных случаях оказалась в 2–2,5 раза ниже, чем на NVIDIA, при сопоставимом качестве ответов, а переход на такие платформы позволяет снизить совокупную стоимость владения инфраструктурой до 25%.

«Ориентация на оборудование одного производителя постепенно перестает быть оптимальным решением для ИИ-инфраструктуры. Для российских компаний важно не только обеспечить доступность вычислительных мощностей, но и разумно управлять затратами на них. Альтернативные ускорители уже могут быть выгоднее NVIDIA для отдельных задач, особенно при запуске моделей, работающих с документами и корпоративными базами знаний. Однако оценивать нужно не только стоимость оборудования и его производительность, но и все затраты на адаптацию программного обеспечения, энергопотребление и дальнейшую эксплуатацию».
Владимир Нелюб, управляющий партнер «Астра ИИ», директор по науке и ИИ «Группы Астра»
Речь идет не о полной замене, а о смешанном парке: сверхбольшие модели обучаются и запускаются на NVIDIA, а вспомогательные сервисы и часть запросов переносятся на альтернативные ускорители — это позволяет наращивать мощности при дефиците. Отдельный риск — попасть в новую зависимость от ограниченного круга поставщиков; снизить его помогает распределение нагрузок между платформами разных производителей.
«Основная сложность перехода на альтернативные ускорители сегодня связана с программным обеспечением. Различия в драйверах, библиотеках и инструментах разработки могут потребовать серьезной адаптации и свести на нет первоначальную экономию. Поэтому наиболее перспективным мы считаем использование оборудования разных производителей в единой инфраструктуре, где вычислительные задачи распределяются с учетом возможностей и стоимости каждого типа ускорителей. Для заказчика в конечном счете важно не то, на каком оборудовании работает ИИ, а насколько эффективно, надежно и с какими затратами он решает бизнес-задачи», — подчеркнул Нелюб.



