чат-боты с ИИ регулярно нарушают этические стандарты психотерапии
Работа проведена совместно со специалистами по компьютерным наукам и психическому здоровью. Ученые наблюдали, как консультанты, обученные методам когнитивно-поведенческой терапии, взаимодействуют с чат-ботами, настроенными на выполнение терапевтических задач. Затем переписки были переданы лицензированным психологам, которые оценили их с точки зрения профессиональной этики. В результате эксперты зафиксировали 15 типов нарушений, сгруппированных в пять категорий. Среди них – игнорирование контекста жизни пользователя, навязывание универсальных советов без учета индивидуальных особенностей, чрезмерное доминирование чат-бота в разговоре, подкрепление ошибочных убеждений, использование фраз, создающих иллюзию эмпатии, проявление культурных и гендерных предубеждений, а также отсутствие адекватных действий при обсуждении кризисных тем вроде самоубийства или насилия.
По словам авторов, даже при тщательной настройке ИИ остается склонным к системным этическим ошибкам. Проблема заключается не только в том, что модели не обладают сознанием, но и в отсутствии ответственности: у них нет регулирующих органов, профессиональных стандартов и механизмов последствий за ошибку. Исследователи подчеркивают, что такие нарушения особенно опасны, поскольку чат-боты все чаще используются как инструменты самопомощи или дистанционного консультирования при тревожных расстройствах и депрессии. Многие коммерческие сервисы на рынке ментального здоровья представляют собой просто версии общих языковых моделей, адаптированные под терапевтические сценарии.
Профессор информатики, руководитель Национального научного института по разработке надежных ИИ-ассистентов Элли Павлик, отметила, что сегодня создать и запустить систему гораздо проще, чем объективно оценить ее влияние. Чтобы выявить эти нарушения, потребовался год работы и участие клинических экспертов, в то время как большинство ИИ-проектов оцениваются автоматическими метриками, не учитывающими человеческий фактор.
Авторы не призывают отказаться от применения ИИ в психотерапии. Напротив, они считают, что технологии могут помочь снизить барьеры к получению психологической помощи, особенно в условиях дефицита специалистов и высокой стоимости терапии. Однако исследование показывает, что для безопасного использования ИИ необходимо выработать новые стандарты – этические, образовательные и правовые, сопоставимые по строгости с требованиями к лицензированным психологам.
В России аналогичный подход уже начал формироваться: в марте 2025 года Минздрав утвердил Кодекс этики применения искусственного интеллекта в сфере охраны здоровья, который закрепляет принципы прозрачности, недискриминации и подотчетности таких систем. Так, ИИ сможет стать поддержкой для системы психического здоровья, но без надзора и профессиональной оценки рискует усугубить существующие проблемы.
На фоне дискуссий о рисках этического характера в медицине появляются и позитивные примеры применения ИИ. Так, исследователи из Медцентра Стэнфорда проверили, как большие языковые модели справляются с задачей выявления признаков депрессии и тревожности у пациентов с диабетом по их сообщениям в защищенных медицинских порталах. Три из пяти протестированных систем показали результативность выше 90% по ключевым метрикам.
Работа проведена совместно со специалистами по компьютерным наукам и психическому здоровью. Ученые наблюдали, как консультанты, обученные методам когнитивно-поведенческой терапии, взаимодействуют с чат-ботами, настроенными на выполнение терапевтических задач. Затем переписки были переданы лицензированным психологам, которые оценили их с точки зрения профессиональной этики. В результате эксперты зафиксировали 15 типов нарушений, сгруппированных в пять категорий. Среди них – игнорирование контекста жизни пользователя, навязывание универсальных советов без учета индивидуальных особенностей, чрезмерное доминирование чат-бота в разговоре, подкрепление ошибочных убеждений, использование фраз, создающих иллюзию эмпатии, проявление культурных и гендерных предубеждений, а также отсутствие адекватных действий при обсуждении кризисных тем вроде самоубийства или насилия.
По словам авторов, даже при тщательной настройке ИИ остается склонным к системным этическим ошибкам. Проблема заключается не только в том, что модели не обладают сознанием, но и в отсутствии ответственности: у них нет регулирующих органов, профессиональных стандартов и механизмов последствий за ошибку. Исследователи подчеркивают, что такие нарушения особенно опасны, поскольку чат-боты все чаще используются как инструменты самопомощи или дистанционного консультирования при тревожных расстройствах и депрессии. Многие коммерческие сервисы на рынке ментального здоровья представляют собой просто версии общих языковых моделей, адаптированные под терапевтические сценарии.
Профессор информатики, руководитель Национального научного института по разработке надежных ИИ-ассистентов Элли Павлик, отметила, что сегодня создать и запустить систему гораздо проще, чем объективно оценить ее влияние. Чтобы выявить эти нарушения, потребовался год работы и участие клинических экспертов, в то время как большинство ИИ-проектов оцениваются автоматическими метриками, не учитывающими человеческий фактор.
Авторы не призывают отказаться от применения ИИ в психотерапии. Напротив, они считают, что технологии могут помочь снизить барьеры к получению психологической помощи, особенно в условиях дефицита специалистов и высокой стоимости терапии. Однако исследование показывает, что для безопасного использования ИИ необходимо выработать новые стандарты – этические, образовательные и правовые, сопоставимые по строгости с требованиями к лицензированным психологам.
В России аналогичный подход уже начал формироваться: в марте 2025 года Минздрав утвердил Кодекс этики применения искусственного интеллекта в сфере охраны здоровья, который закрепляет принципы прозрачности, недискриминации и подотчетности таких систем. Так, ИИ сможет стать поддержкой для системы психического здоровья, но без надзора и профессиональной оценки рискует усугубить существующие проблемы.
На фоне дискуссий о рисках этического характера в медицине появляются и позитивные примеры применения ИИ. Так, исследователи из Медцентра Стэнфорда проверили, как большие языковые модели справляются с задачей выявления признаков депрессии и тревожности у пациентов с диабетом по их сообщениям в защищенных медицинских порталах. Три из пяти протестированных систем показали результативность выше 90% по ключевым метрикам.
