Метаанализ: контроль врача за клиническим ИИ не гарантирует безопасность

В трех скорректированных когортах правильность решений врачей была существенно выше при корректных автоматических рекомендациях, чем при ошибочных: объединенное отношение шансов составило 10,19 при 95-процентном доверительном интервале 7,43–13,98 и нулевой статистической гетерогенности. Анализ чувствительности, ограниченный исследованиями, опубликованными с 2020 года, дал близкую оценку – отношение шансов 9,22 при доверительном интервале 2,06–41,13, однако из-за малого числа исследований она оказалась значительно менее точной. При этом абсолютные различия в отдельных когортах были большими: например, снижение риска ошибки достигало 36,5–59 процентных пунктов, хотя авторы не объединяли эти показатели из-за различий в исходных рисках и структуре исследований.

Наиболее тревожные данные касаются реальной клинической практики. В четырех ретроспективных исследованиях компьютерной интерпретации ЭКГ объединенная доля ошибочных автоматических заключений, которые остались неисправленными или нераспознанными, составила 26,6% при 95-процентном доверительном интервале 6,4–65,6% и крайне высокой гетерогенности. Прогностический интервал простирался от 0,3% до 98,0%, а оценка устойчивости с помощью бета-биномиальной модели дала 29,3%. После исключения исследования, в котором критерии исправления могли включать последующую компьютерную интерпретацию, объединенная оценка выросла до 36,3%. Авторы подчеркивают, что эти значения нельзя трактовать как универсальную частоту ошибок: различия отражают реальную вариацию распространенности заболеваний, качества сигнала, квалификации врачей, документирования, рабочего процесса и самих определений исправления.

Анализ направленных переходов решений показал, что автоматические подсказки могут как исправлять, так и ухудшать суждения врачей. Единственная полная матрица переходов была получена в исследовании с дерматологами: когда изначально ошибочное решение противоречило системе, 36 из 140 решений изменились в правильную сторону, то есть 25,7%; когда изначально правильное решение противоречило системе, 50 из 217 решений изменились в неправильную сторону, то есть 23,0%. Соотношение пользы и вреда составило 0,72, а чистый проигрыш – 14 правильных решений. В других условных анализах врачи приняли 18 из 84 полностью ошибочных рекомендаций системы поддержки решений по онкологии, изменили правильный диагноз МРТ на неправильный, поддержанный ИИ, в 132 из 556 подходящих случаев разногласий и приняли 36 из 77 ошибочных заключений ЭКГ.

Различия между специальностями оказались существенными. В одном из реальных исследований ЭКГ только 5 из 77 ошибочных вызовов фибрилляции предсердий остались неисправленными, когда первичным читающим был кардиолог, против 38 из 131 у врачей-терапевтов, 35 из 140 у врачей неотложной помощи и 14 из 34 у других специалистов. В другом исследовании явная доля нераспознавания без учета записей без упоминания ЭКГ составила 11,6% среди кардиологов, 75,9% среди врачей неотложной помощи, 44,0% среди госпиталистов и терапевтов, 51,4% среди ординаторов и 56,3% среди других медицинских работников. Эти сравнения носят наблюдательный характер и могут зависеть от состава пациентов и организации работы, но последовательно указывают на то, что способность к независимой проверке важнее самого факта наличия врача в процессе.

Методологическая оценка показала, что 26 из 40 основных когорт имели высокий общий уровень обеспокоенности, 14 – умеренный, и ни одна не была отнесена к низкому уровню. Среди типичных ограничений – удобные выборки, малые группы читающих врачей, симулированный или предполагаемый ИИ, отсутствие суждения по тому же случаю до вмешательства ИИ, неполный учет повторных наблюдений и неполное представление направленных исходов. Авторы также отмечают важную асимметрию доказательств: объединенная оценка неисправления в реальной практике получена исключительно из развернутых компьютерных систем ЭКГ, тогда как большинство данных о современном ИИ и больших языковых моделях происходит из контролируемых экспериментов или симуляций. Поэтому эти результаты нельзя напрямую переносить на генеративный ИИ.

Главный вывод работы состоит в том, что человеческий надзор не является изначально заложенным защитным элементом. По мнению авторов, его нужно проектировать, тестировать и мониторить как условную способность перехватывать ошибки, зависящую от независимого суждения, доступа к подтверждающим данным, предметной экспертизы, времени на проверку и маршрута эскалации. Практические рекомендации включают сохранение независимого суждения врача до раскрытия вывода ИИ, активную проверку при разногласии, подавление или эскалацию высокорисковых и плохо откалиброванных выводов, отображение специфической для задачи неопределенности и проверяемых исходных данных, а также посмертное наблюдение за ошибками, вызванными ИИ, ошибками, исправленными врачом, неисправленными известными ошибками и последствиями для тактики лечения.

В феврале 2026 года ученые из Медицинской школы Икана при медцентре Маунт-Синай (США) провели масштабное тестирование медицинских систем искусственного интеллекта (ИИ) и выявили их устойчивую уязвимость к дезинформации. Исследование показало, что модели чаще принимают ложные медицинские рекомендации за достоверные, если они изложены в формальном клиническом стиле. Работа опубликована в журнале The Lancet Digital Health.