ITGLOBAL.COM (корпорация ITG) в рамках обновления платформы добавил в сервис AIaaS возможность выбирать, через какого поставщика отправлять запросы к модели. При этом новая функция дополняет уже предоставленный клиентам контроль ключей, расходов и доступа к моделям. Одну и ту же модель предлагают десятки поставщиков, и цена запроса, скорость ответа и качество сервиса у них могут отличаться в разы.
Один из примеров — открытые модели семейства Qwen. В панели AIaaS для каждой такой модели можно выбрать одного или нескольких поставщиков в зависимости от задачи, а также исключить неподходящих. Там же клиент видит все цены, а запросы оплачиваются по цене того поставщика, который их обработал.
Так расходами на ИИ можно управлять на уровне отдельных задач. Чат-боту поддержки нужна скорость: клиент ждет ответа сразу. Запросы бота можно направлять самому быстрому поставщику. Ночную обработку архива документов выгоднее выполнять там, где дешевле. Когда выбор зафиксирован, расходы и время ответа предсказуемы и бюджет становится проще планировать. Например, у поддержки свой ключ, настроенный на быстрый отклик, у аналитиков — на более низкую цену, и расходы каждой команды видны отдельно.
«Обычно компании выбирают нейросеть и не задумываются, через какого поставщика идут их запросы, хотя от этого зависят скорость ответа и итоговый счет. На рынке клиент, как правило, видит только одну цену и не может повлиять на то, кто именно предоставляет ему инференс. Мы решили дать клиентам выбор. Теперь компания сама решает не только какую модель использовать, но и через кого получать к ней доступ».
Евгений Свидерский, вице-президент по облачным сервисам ITGLOBAL.COM, корпорации ITG