Исследование: ИИ уязвим к ошибкам в больничных документах
Ученые из Медицинской школы Икана при медцентре Маунт-Синай (США) провели масштабное тестирование медицинских систем искусственного интеллекта (ИИ) и выявили их устойчивую уязвимость к дезинформации. Исследование показало, что модели чаще принимают ложные медицинские рекомендации за достоверные, если они изложены в формальном клиническом стиле. Работа опубликована в журнале The Lancet Digital Health.
В исследовании протестировано 20 открытых и коммерческих больших языковых моделей, а также ряд медицинских версий, дообученных под клинические задачи. Им предлагались три типа контента: реальные больничные выписки с одной намеренно вставленной ложной рекомендацией, распространенные медицинские мифы из социальных сетей и 300 клинических сценариев, подготовленных врачами. Всего было проанализировано более 1 млн ответов на пользовательские запросы. В среднем модели транслировали недостоверную информацию примерно в 32% случаев.
Наибольшая уязвимость выявлена при работе с материалами, оформленными как медицинская документация. Если ложная рекомендация содержалась в правдоподобной выписке из стационара, вероятность ее воспроизведения возрастала почти до 47%. В случае публикаций из социальных сетей этот показатель снижался до 9%. В наборе смоделированных клинических сценариев, подготовленных врачами, уровень принятия фабрикаций составил 5,1%. Авторы отмечают, что модели в большей степени ориентируются на уверенный и официальный стиль изложения, чем на фактическую корректность утверждений.
Дополнительным фактором риска стала формулировка запроса. Исследователи протестировали 10 типов риторических конструкций – в частности, ссылки на мнение большинства, на авторитет эксперта и утверждения о неизбежных негативных последствиях. Так, если пользователь представлялся старшим клиницистом или сопровождал утверждение ссылкой на опытного специалиста, доля принятия ложной информации ИИ возрастала до 34,6%.
Сравнительный анализ продемонстрировал существенную вариативность устойчивости моделей к ложным медицинским утверждениям. Модель GPT-4o компании OpenAI продемонстрировала одну из наименьших долей принятия ложных утверждений – 10,6% при высокой точности выявления логических ошибок (89,7%). Близкие показатели устойчивости показали Llama-4-Scout компании Meta* и открытая модель gpt-oss-20b от OpenAI. В то же время у ряда систем уязвимость превышала 50%, а у Gemma-3-4B-it от компании Google достигала 63,6%. Медицинские версии моделей, включая специализированные решения на базе Qwen от китайской компании Alibaba и Llama от Meta, в среднем оказались более восприимчивыми к фабрикациям, чем универсальные модели, что авторы связывают с особенностями дообучения и архитектуры.
Исследователи подчеркивают, что по мере расширения применения ИИ – от цифровых сервисов для пациентов до автоматизации клинической документации и поддержки врачебных решений – отсутствие встроенных механизмов проверки медицинских утверждений становится системным риском. По их оценке, без дополнительной валидации и контроля такие модели могут масштабировать ошибки вместе с расширением применения цифровых решений в здравоохранении.
В феврале 2026 года «Лаборатория Касперского» сообщала, что каждый десятый пользователь ИИ-чатботов полностью доверяет их рекомендациям в медицинских, финансовых и юридических вопросах. При этом 67% опрошенных считают нейросети полностью или частично небезопасными, а среди ключевых опасений называют получение недостоверной информации, способной нанести вред здоровью.
Параллельно в ежегодном отчете американской независимой организации по безопасности пациентов ECRI «ТОП10 технологических угроз в здравоохранении» ИИ-чатботы заняли первое место среди наиболее серьезных технологических угроз 2026 года. В организации указывают, что системы на базе больших языковых моделей активно используются врачами и пациентами, при этом не регулируются как медицинские изделия и не проходят полноценную клиническую валидацию.
* Meta признана экстремистской организацией и запрещена в России
