25 сентября в рамках «АстраКонф», посвященной информационным технологиям в России, Михаил Кобик, технический директор платформы «Боцман» расскажет про Боцман AI и запуск языковых моделей в защищенном контуре.
Эксперт расскажет про то, как построить собственный инференс ИИ-моделей и не потерять последние волосы, ответит на вопрос почему просто запустить vllm это только 10 % результата.
На примерах разберет путь от простого инференса до надежной и безопасной системы: с контролем доступа и потребления, защитой данных, масштабированием, высокой доступностью и мониторингом. Отдельное внимание будет уделено тому, как сохранить модели и корпоративные данные внутри инфраструктуры компании и какие инженерные механизмы необходимы для безопасной эксплуатации ИИ в продакшене.
«Сегодня запустить ИИ-модель технически несложно, но между работающим инференсом и полноценным промышленным AI-сервисом — большая дистанция. В корпоративной среде важно не только качество ответов модели: нужно понимать, где находятся данные, кто и на каких условиях получает доступ к модели, как контролируется потребление ресурсов и что произойдет при росте нагрузки или отказе компонентов. Поэтому мы смотрим на безопасный ИИ как на свойство всей системы вокруг модели — от инфраструктуры и управления GPU до контроля доступа, мониторинга и отказоустойчивости».
Михаил Кобик, технический директор платформы «Боцман»
Конференция пройдет 25 сентября в Москве, регистрация онлайн на сайте.
Также в рамках «АстраКонф» вы сможете узнать:
- как использовать AI для эффективного мониторинга;
- об экосистемном подходе к построению инфраструктуры на базе Astra Linux;
- о платформе для разработки и сопровождения доверенного ПО;
- про доверенное облако КИИ и сервисы для ИИ-нагрузок;
- как защитить самые важные данных компании.
Читать еще: «Группа Астра» проведет онлайн-конференцию о развитии отечественной ИТ-экосистемы