VK представила обновленную языковую модель Diona для генерации и обработки текстов. Новая версия требует меньше вычислительных ресурсов, что ускоряет внутренние процессы и открывает возможности для генеративных функций в продуктах компании.
Компания VK представила обновленную языковую модель Diona, предназначенную для генерации и обработки текстов. Новая версия была создана с использованием наработок предыдущей модели, которая, в числе прочего, обучалась на пользовательском контенте, включая комментарии из открытых сообществ во «ВКонтакте». Параллельно было проведено новое базовое обучение на больших массивах текстов.
Количество параметров модели, то есть внутренних переменных, определяющих ее способность обрабатывать информацию, увеличилось в полтора раза и теперь составляет от 4 до 30 миллиардов. При этом, несмотря на возросшую сложность, обновленная Diona требует меньше вычислительных ресурсов по сравнению с предыдущей версией. Это позволило снизить нагрузку на инфраструктуру компании и ускорить некоторые внутренние процессы.
Как отмечают в VK, модель лучше справляется с решением инженерных задач, а также с генерацией и суммированием текстов, открывая новые возможности для внутренних инструментов и для функций в продуктах холдинга. Точные инвестиции в разработку не раскрываются, однако, по оценкам экспертов они могли составить от 500 до 800 миллионов рублей.
В перспективе VK планирует сделать языковую модель Diona мультимодальной для анализа разных типов данных — видео, звука и изображений, что повысит качество поиска и рекомендаций в сервисах компании.