Компания Qooqa Tech модернизировала вычислительную инфраструктуру для своего ИИ-рекрутера, чтобы обрабатывать растущее число обращений и использовать более крупные языковые модели. ITGLOBAL.COM предоставила выделенный сервер с тремя ускорителями NVIDIA H200 и связала его с действующей инфраструктурой заказчика. Решение уже обрабатывает более 600 тыс. запросов к языковым моделям в сутки.
Qooqa Tech развивает ИИ-рекрутера на базе больших языковых моделей, развернутых во внутреннем контуре компании без обращения к внешним LLM API. По мере роста клиентской базы используемые ранее GPU начали ограничивать скорость инференса и возможности перехода на более крупные модели. Компании требовалось в сжатые сроки развернуть более производительную инфраструктуру и перенести на нее рабочие нагрузки.
После технического тестирования Qooqa Tech выбрала ускорители NVIDIA H200. Специалисты ITGLOBAL.COM развернули выделенный сервер с тремя NVIDIA H200, каждый из которых оснащен 141 ГБ видеопамяти. Два ускорителя объединили с помощью NVIDIA NVLink Bridge для работы основной языковой модели примерно на 122 млрд параметров. Такое соединение обеспечивает высокоскоростной обмен данными между ускорителями, необходимый при распределении вычислений крупной модели. Третью карту выделили для вспомогательной языковой модели и модели построения векторных представлений (эмбеддингов). Разделение задач между ускорителями позволяет обслуживать несколько компонентов системы на одном сервере.
Выделенный сервер интегрировали с существующей виртуальной инфраструктурой Qooqa Tech. Инженеры ITGLOBAL.COM настроили L3-связность на базе VMware NSX и маршрутизацию между облачной и выделенной инфраструктурой.
«Нам была нужна редкая для российского рынка комбинация: современные GPU NVIDIA H200, размещение инфраструктуры в России, сжатые сроки запуска и интеграция с существующим облачным контуром. ITGLOBAL.COM удалось закрыть эти требования одновременно. Сегодня наша платформа обрабатывает сотни тысяч LLM-запросов в сутки».
Дмитрий Аболмасов, технический директор Qooqa Tech
По данным Qooqa Tech, сегодня инфраструктура обеспечивает скорость генерации на уровне 5000 токенов в секунду и медианное время отклика около одной секунды.
«В ближайшие годы конкурентоспособность ИИ-продуктов будет во многом зависеть от того, насколько быстро компании смогут наращивать вычислительные мощности и внедрять более сложные модели. Использование модульной платформы NVIDIA MGX позволяет реализовывать индивидуальные конфигурации под текущие задачи и гибко масштабировать вычислительные мощности по мере роста ИИ-продукта, обеспечивая необходимую производительность на каждом этапе».
Евгений Свидерский, вице-президент по облачным сервисам ITGLOBAL.COM, корпорация ITG