Недавно исследователи NVIDIA представили ChatQA, семейство моделей контроля качества с диалоговыми ответами на вопросы, направленных на достижение точности на уровне GPT-4. Он выделяется тем, что превосходит GPT-4 по средним показателям в 10 наборах данных разговорного контроля качества (54,14 против 53,90).
ChatQA от NVIDIA представляет ряд моделей размером от 7 до 70 дюймов. Обширные оценки по 10 наборам данных диалогового контроля качества показывают, что высокопроизводительная модель ChatQA-70B не только превосходит GPT-3.5-turbo, но и соответствует GPT-4. Примечательно то, что это достигается без использования каких-либо синтетических данных из моделей ChatGPT.
NVIDIA демонстрирует эффективность точной настройки однократного повторения запросов с использованием специально подобранных данных диалогового контроля качества. Этот подход обеспечивает сопоставимую производительность с современной моделью перезаписи запросов на основе использования больших языковых моделей (LLM). Все это достигается без необходимости в дополнительном вычислительном времени и потенциальных затратах API, связанных с перезаписью.
Модель ChatQA-70B продемонстрировала значительный прогресс в работе со сценариями, в которых ответы неуловимы. Оказалось, что включение небольшого количества примеров, на которые невозможно ответить, значительно расширило возможности модели. Анализируя неопровержимые примеры, становится очевидным, что она демонстрирует лишь незначительный разрыв в производительности по сравнению с внушительным GPT-4.
При этом достижение NVIDIA не уникально. Еще несколько базовых моделей достигли возможностей GPT-4. Google в ближайшем времени планирует запустить Gemini Ultra, а генеральный директор Mistral Артур Менш объявил по национальному радио Франции, что компания представит модель уровня GPT-4 с открытым исходным кодом в 2024 году.