Яндекс и ШАД собрали из семи игр тест для языковых моделей

«Яндекс» и Школа анализа данных создали MTGBench — набор из семи текстовых игр, среди которых «Данетки», «Поле чудес», «Элиас» и Wordle. Обычный тест задаёт один вопрос и проверяет ответ, а здесь нейросеть играет по ходам: каждый следующий зависит от прежних ответов, и одной догадки мало. Задания на русском и английском готовили отдельно для каждого языка, а не переводом. В проверке участвовали 16 моделей, а их результаты сравнили с 476 игровыми сессиями людей. Лучшие модели с режимом пошаговых рассуждений сравнялись с людьми или превзошли их, хотя на русском справлялись хуже, чем на английском. Набор выложен в открытом доступе, работа вошла в сборник Findings of EMNLP 2026.