Исследователи Центра ИИ МГУ при участии AIRI и НМИЦ им. В.А. Алмазова разработали способ оценивать диагностические ответы языковых моделей (нейросетей, которые работают с текстом) с учётом того, что сами врачи часто расходятся во мнениях. Статья вышла в журнале Scientific Reports в 2026 году.
Авторы предложили два относительных показателя. Они сравнивают, насколько ответы модели согласуются с врачами, с тем, насколько врачи согласуются между собой. Отдельный алгоритм решает, какие формулировки диагнозов считать совпадающими: он сочетает суждения языковых моделей, данные Международной классификации болезней и меры текстового сходства.
Метод проверили на 360 русскоязычных диалогах, в которых собираются сведения о состоянии пациента. Половину разговоров разыграли медицинские специалисты, другую половину составили разговоры языковой модели с актёрами, игравшими пациентов. Каждую беседу по отдельности оценили семь врачей-ординаторов (молодых врачей, которые проходят специализацию), их заключения сравнили с версиями восьми языковых моделей.
В ходе эксперимента ряд моделей в среднем сходился с врачами не хуже, чем врачи друг с другом. Разброс согласованности между самими врачами оказался выше, чем между большинством моделей и врачами.
Стадия — эксперимент: метод проверен только на смоделированных разговорах на русском языке, с реальными пациентами и в клинике его не применяли. Он может пригодиться при создании и сопоставлении систем поддержки врачебных решений, разбирающих текстовые диалоги и выдвигающих вероятные диагнозы.
