Компания «Турбо Облако», входящая в структуру «Ростелекома» запустила сервис Foundation Model Hub. Этот продукт предоставляет бизнесу облачный доступ к большим языковым моделям. Основная особенность предложения — модель оплаты, при которой заказчик платит не за аренду мощностей, а непосредственно за количество обработанных токенов.
Сервис включает каталог ИИ-моделей для разных бизнес-задач, от автоматизации текстов до обработки данных. «Турбо Облако» обновляет версии моделей по мере их выхода, пользователям не нужно отслеживать этот процесс самостоятельно.
Инфраструктура построена на базе ускорителей NVIDIA H200, объединенных сетью InfiniBand. Вычислительные ресурсы масштабируются автоматически при росте числа запросов. Оборудование размещено на площадках дата-центров РТК-ЦОД уровня Tier III.
Для использования сервиса не требуется приобретать GPU-оборудование или нанимать дополнительных технических специалистов — модели уже развернуты на облачных мощностях. Подключение происходит через API, совместимый со спецификацией OpenAI. В большинстве случаев интеграция сводится к замене базового URL и API-ключа в существующей системе.
«Сегодня большинство компаний хотят использовать современные языковые модели, но далеко не все готовы инвестировать в дорогостоящую GPU-инфраструктуру и ее сопровождение. Foundation ModelHub убирает этот барьер. Мы предоставляем готовый доступ к актуальным моделям искусственного интеллекта, берем на себя их развертывание, обновление и эксплуатацию, а наши клиенты оплачивают только фактическое потребление».
Дмитрий Подшибякин, директор по продуктам компании «Турбо Облако»
Для контроля бюджета предусмотрены разные ключи доступа: для отдельных команд или проектов можно устанавливать лимиты потребления — например, дневные, недельные или месячные.