Англоязычные ИИ-системы лучше моделируют результаты психологических опросов российских студентов

HADS – стандартизированный самоопросник из 14 вопросов, широко применяемый для скрининга тревожных и депрессивных расстройств. Для анализа ученые использовали деперсонализированные ответы 946 студентов-первокурсников российского вуза. Эти ответы они сравнили с вероятностными распределениями, полученными от 11 языковых моделей (DeepSeek-R1-32B, Qwen3-32B, T-pro-2.0/2.1, YandexGPT-8B, GigaChat-20B и другие). Для тестирования все системы ИИ запустили локально на графических процессорах в закрытом контуре без выхода в интернет, чтобы не исказить результаты.

Основная задача исследования – проверить теорию о том, что русскоязычные модели лучше справятся с прогнозированием ответов российской аудитории. В итоге анализ показал, что лучшую точность воспроизведения распределений продемонстрировала англоязычная DeepSeek-R1-32B. Однако она систематически занижала ожидаемый балл тревожности (5,6 против 7,7 у людей). Ученые сделали вывод, что качество симуляции ответов пациентов определяется не языковой принадлежностью модели, а качеством ее доменной адаптации – обучения на специфичных данных.

Кроме того, исследователи установили, что подробное описание «виртуального пациента» (возраст, пол, вуз) и разные формулировки инструкций для ИИ не влияют на результат. Для проведения симуляции достаточно указать «минимальный статус» человека, например – студент.

Эксперты предполагают, что выявленный механизм может открыть возможности для использования локально развернутых ИИ-моделей в качестве вспомогательного инструмента предварительной проверки психологических опросников. С помощью симуляции специалист может оценить повопросное распределение ответов до проведения полноценного эмпирического исследования, что позволяет выявить потенциально проблемные пункты и обоснованно сузить объем пилотного исследования.