Meta* выпустила ранние версии своей последней языковой модели Llama 3, стремясь догнать лидера рынка генеративного ИИ, OpenAI. Llama 3 8B содержит 8 млрд параметров, а Llama 3 70B содержит 70 млрд параметров. Модель превосходит Mistral 7B и Gemma 7B и будет интегрирована в виртуального помощника Meta AI.
Meta* выпустила последнюю модель в своей серии открытых генеративных моделей ИИ Llama — Llama 3. Llama 3 8B содержит 8 млрд параметров, а Llama 3 70B содержит 70 млрд параметров.
Llama 3 8B превосходит другие открытые модели, такие как Mistral 7B и Google Gemma 7B, в девяти тестах. Meta* также разработала собственный набор заданий, охватывающий различные варианты использования, от программирования и творческого письма до рассуждений и обобщения. Llama 3 70B заняла первое место среди моделей Mistral Medium от Mistral, GPT-3.5 от OpenAI и Claude Sonnet.
Что касается качества, компания отмечает, что пользователям новых моделей Llama следует ожидать большей управляемости, меньшей вероятности отказа и более высокой точности в простых вопросах. Это было достигнуто благодаря большому набору данных: коллекции из 15 трлн токенов или примерно 750 млрд слов.
Кроме того, Meta* заявляет, что разработала новые конвейеры фильтрации данных для повышения качества обучающей информации и обновила пару генеративных наборов безопасности ИИ, Llama Guard и CybersecEval. Компания также выпускает новый инструмент Code Shield, предназначенный для обнаружения кода, который может содержать уязвимости в системе безопасности.
Llama 3 8B и Llama 3 70B будут интегрированы в виртуального помощника Meta AI, который компания позиционирует как самый сложный из своих бесплатных вариантов. Модели доступны для загрузки уже сейчас. Однако, несмотря на сообщения Meta* о том, что ее семейство моделей Llama является открытым, компания запрещает разработчикам использовать ее модели для обучения других генеративных систем.
Также Meta* заявляет, что в настоящее время обучает модели Llama 3 более 400 млн параметров . Компания отмечает: «Наша цель в ближайшем будущем — сделать Llama 3 многоязычной и мультимодальной, создать более длинный контекст и повысить общую производительность основных возможностей, таких как рассуждения и кодирование».
* Meta признана в России экстремистской организацией и запрещена.