«Яндекс» и студенты Школы анализа данных (ШАД) представили MTGBench — открытый бенчмарк, который помогает оценивать, насколько хорошо нейросети справляются со сложными задачами, требующими последовательных рассуждений. Инструмент опубликован в открытом доступе, а научную статью о нём приняли на конференцию EMNLP 2026.
MTGBench проверяет, умеет ли модель учитывать новые сведения по ходу решения, опираться на предыдущие шаги и не противоречить собственным ответам. Для этого разработчики использовали семь текстовых игр, в том числе «Поле чудес», «Данетки», «Элиас» и Wordle. Каждая из них состоит из множества шагов, а результат зависит от того, насколько правильно модель использует информацию, полученную ранее.
Бенчмарк оценивает не только итоговый ответ, но и количество шагов, которое потребовалось нейросети для решения задачи. В четырех играх правильность ответов проверяется автоматически, в остальных используется ИИ-судья, работу которого дополнительно оценили люди. Задания доступны на русском и английском языках.
Исследователи протестировали 16 моделей, включая Qwen, Gemini и GPT. Результаты показали, что режим рассуждений помогает не во всех задачах одинаково. Наибольший эффект заметили в играх, где необходимо работать с буквами и символами, анализировать подсказки и последовательно исключать неверные варианты. В заданиях на извлечение знаний и понимание смысла улучшения были менее заметными и зависели от конкретной модели.
Также выяснилось, что нейросети в целом хуже справлялись с заданиями на русском языке, чем с аналогичными испытаниями на английском. Однако высокий результат в одной игре не гарантировал такого же успеха в другой.
MTGBench доступен на GitHub и может использоваться разработчиками для сравнения моделей и выбора нейросети под конкретные задачи.
Читайте также: Модели OpenAI ставят под сомнение устоявшиеся научные теории