Яндекс и ШАД выложили в открытый доступ тесты MTGBench для оценки рассуждений нейросетей

Набор из семи текстовых игр, который проверяет, умеют ли нейросети логически рассуждать в многоэтапных задачах. Тесты доступны на GitHub на русском и английском языках.

Инженеры Яндекса и студенты Школы анализа данных (ШАД) разработали MTGBench и выложили его в открытый доступ. Это набор тестов для нейросетей, который оценивает их способность рассуждать в сложных многоэтапных задачах. Статью о бенчмарке приняли на конференцию EMNLP 2026.

Люди часто уточняют запросы к нейросети: при планировании поездки добавляют даты и бюджет, а при обращении в службу поддержки рассказывают, что уже пробовали. Значит, нейросеть должна учитывать и новые вводные, и предыдущие шаги. Проверять это удобно в играх, где каждый следующий шаг зависит от предыдущего. В таких заданиях оценивают не только конечный ответ, но и количество шагов, за которое модель к нему пришла.

MTGBench включает семь текстовых игр из десятков шагов: «Поле чудес», «Данетки», «Элиас» и Wordle. Они показывают, умеет ли модель логически рассуждать, использовать новые данные, продумывать следующие ходы и не противоречить своим прежним ответам. В четырёх играх правильность решений проверяют алгоритмы, в остальных — ИИ-судья, качество работы которого дополнительно проверили люди. Все задания даются на русском и английском языках.

На MTGBench проверили 16 нейросетей: от компактной версии Qwen до более крупных моделей Gemini и GPT. Эффект от режима рассуждений зависит от типа задачи. Больше всего он помогает в заданиях с буквами и символами, при анализе подсказок и исключении неверных вариантов. В задачах на извлечение знаний и понимание смысла улучшения были менее заметны и различались от модели к модели. Высокий балл в одном типе испытаний не гарантировал успеха в другом. Задания на русском языке моделям даются хуже, чем на английском.

Для сравнения русскоязычные задания предложили людям. Участники хорошо справились с буквенными играми. Сильнейшие модели с включённым режимом рассуждений показали более высокие средние баллы во всех семи играх.

MTGBench доступен на GitHub. Исследователи и разработчики могут использовать его для тестирования и сравнения моделей.

Яндекс