Эксперты указали на «вакуум ответственности» при использовании ИИ в здравоохранении

Со временем информация, на которой была обучены модели ИИ, устаревает и может не совпадать с данными клинической практики, которые постоянно меняются. Однако, по словам экспертов, лишь некоторые медучреждения следят за обновлением информации и инвестируют в создание инфраструктуры надзора за работой ИИ. На «застой» данных влияют и институциональные стимулы, больше сосредоточенные на быстрых инновациях с игнорированием сбоев ИИ. К сбоям в прогнозировании моделей приводят и изменения в распространенности заболеваний, новые руководства или протоколы лечения, а также смена лабораторного оборудования. Как сообщил один из участников опроса, проблему усугубляет различие в использовании моделей: модель может быть предназначена для применения в определенной системе здравоохранения, но может не подходить для применения в другой.

Таким образом, пробелы в управлении искусственным интеллектом в здравоохранении могу привести к причинению вреда пациентам и неправильным результатам в постановке диагноза. Для того, чтобы ИИ оставался «ответственным», утверждают ученые, необходимы формализованные структуры подотчетности, а также междисциплинарное сотрудничество и реформы политики, которые будут ориентированы на обеспечение долгосрочной безопасности и корректности.

В ходе интервью с участниками исследования специалисты обнаружили, что ответственность за мониторинг эффективности ИИ сильно размыта, фрагментирована и перекладывается на других. Кроме того, они заметили, что системы здравоохранения не так хорошо приспособлены для выявления угрозы вреда пациентам и работы с ИИ. Иногда ошибки в его работе трудно заметить из-за непрозрачности алгоритмических систем и работы в фоновом режиме. Например, будет сложно выявить случай пациента, которому не подошла модель ИИ, так как она не была должным образом обучена на этнической группе пациента. В ходе интервью эксперт по правовым вопросам выразил надежду на то, что здравоохранение будет обладать надежными системами данных для распознавания таких несоответствий.

Отсутствие инфраструктуры означает, что ИИ-инструменты могут выходить из строя в течение длительного времени без предупреждения. Участник исследования, специалист по ИИ в медучреждении, сообщил, что в его клинике на протяжении полугода не работала лабораторная система, однако никто этого не заметил. Сбой в работе увидели только тогда, когда было обнаружено, что лабораторные данные показывают бессмысленные результаты.

Ученые также выявили ориентированность систем исследований и клинического контроля на мониторинг индивидуальных рисков и вреда, при этом затруднено выявление вреда, наносимого группам людей. Один из специалистов в области искусственного интеллекта отметил, что закономерности низкой эффективности выявляются, но не систематизируются: «время от времени медсестры, использующие определенный инструмент, замечают, что он недостаточно хорошо работает для женщин среднего возраста, мусульманок». Участники исследования предположили, что для решения проблемы пользователям систем ИИ необходимо прилагать согласованные усилия при должном уровне поддержки со стороны руководства учреждения и, возможно, при правильном техническом мониторинге.

Еще одна сложность заключалась в том, что несмотря на то, что многие участники исследования отметили важность технических инструментов мониторинга для выявления закономерностей снижения эффективности, мало кто смог назвать конкретные продукты в этой области и взять ответственность за наблюдение за ИИ. Авторы исследования также ссылаются на высокую текучесть кадров, которая препятствует построению успешных процедур мониторинга. Мешает устранить проблему «вакуума ответственности» ИИ также отсутствие стандартизированного руководства для разработки ИИ и затрудненный надзор за большинством моделей ИИ для систем здравоохранения со стороны регуляторов.

В сентябре 2025 года нидерландский издатель научных журналов Elsevier выпустил отчет, посвященный проблематике и трансформации профессии клинициста в ближайшем будущем. В основе документа – опрос, охвативший более 2 тысяч врачей и студентов-медиков по всему миру. Тогда исследователи выяснили, что клиницисты ощущают разрыв между уровнем приоритетности при работе их медцентров по устранению дефицита кадров и внедрением ИИ и других цифровых технологий. Несмотря на то что обеспечение доступа к цифровым инструментам для помощи в принятии решений является приоритетной задачей для учреждений, только 32% врачей считают, что их медорганизации хорошо работают в этой области.

Со временем информация, на которой была обучены модели ИИ, устаревает и может не совпадать с данными клинической практики, которые постоянно меняются. Однако, по словам экспертов, лишь некоторые медучреждения следят за обновлением информации и инвестируют в создание инфраструктуры надзора за работой ИИ. На «застой» данных влияют и институциональные стимулы, больше сосредоточенные на быстрых инновациях с игнорированием сбоев ИИ. К сбоям в прогнозировании моделей приводят и изменения в распространенности заболеваний, новые руководства или протоколы лечения, а также смена лабораторного оборудования. Как сообщил один из участников опроса, проблему усугубляет различие в использовании моделей: модель может быть предназначена для применения в определенной системе здравоохранения, но может не подходить для применения в другой.

Таким образом, пробелы в управлении искусственным интеллектом в здравоохранении могу привести к причинению вреда пациентам и неправильным результатам в постановке диагноза. Для того, чтобы ИИ оставался «ответственным», утверждают ученые, необходимы формализованные структуры подотчетности, а также междисциплинарное сотрудничество и реформы политики, которые будут ориентированы на обеспечение долгосрочной безопасности и корректности.

В ходе интервью с участниками исследования специалисты обнаружили, что ответственность за мониторинг эффективности ИИ сильно размыта, фрагментирована и перекладывается на других. Кроме того, они заметили, что системы здравоохранения не так хорошо приспособлены для выявления угрозы вреда пациентам и работы с ИИ. Иногда ошибки в его работе трудно заметить из-за непрозрачности алгоритмических систем и работы в фоновом режиме. Например, будет сложно выявить случай пациента, которому не подошла модель ИИ, так как она не была должным образом обучена на этнической группе пациента. В ходе интервью эксперт по правовым вопросам выразил надежду на то, что здравоохранение будет обладать надежными системами данных для распознавания таких несоответствий.

Отсутствие инфраструктуры означает, что ИИ-инструменты могут выходить из строя в течение длительного времени без предупреждения. Участник исследования, специалист по ИИ в медучреждении, сообщил, что в его клинике на протяжении полугода не работала лабораторная система, однако никто этого не заметил. Сбой в работе увидели только тогда, когда было обнаружено, что лабораторные данные показывают бессмысленные результаты.

Ученые также выявили ориентированность систем исследований и клинического контроля на мониторинг индивидуальных рисков и вреда, при этом затруднено выявление вреда, наносимого группам людей. Один из специалистов в области искусственного интеллекта отметил, что закономерности низкой эффективности выявляются, но не систематизируются: «время от времени медсестры, использующие определенный инструмент, замечают, что он недостаточно хорошо работает для женщин среднего возраста, мусульманок». Участники исследования предположили, что для решения проблемы пользователям систем ИИ необходимо прилагать согласованные усилия при должном уровне поддержки со стороны руководства учреждения и, возможно, при правильном техническом мониторинге.

Еще одна сложность заключалась в том, что несмотря на то, что многие участники исследования отметили важность технических инструментов мониторинга для выявления закономерностей снижения эффективности, мало кто смог назвать конкретные продукты в этой области и взять ответственность за наблюдение за ИИ. Авторы исследования также ссылаются на высокую текучесть кадров, которая препятствует построению успешных процедур мониторинга. Мешает устранить проблему «вакуума ответственности» ИИ также отсутствие стандартизированного руководства для разработки ИИ и затрудненный надзор за большинством моделей ИИ для систем здравоохранения со стороны регуляторов.

В сентябре 2025 года нидерландский издатель научных журналов Elsevier выпустил отчет, посвященный проблематике и трансформации профессии клинициста в ближайшем будущем. В основе документа – опрос, охвативший более 2 тысяч врачей и студентов-медиков по всему миру. Тогда исследователи выяснили, что клиницисты ощущают разрыв между уровнем приоритетности при работе их медцентров по устранению дефицита кадров и внедрением ИИ и других цифровых технологий. Несмотря на то что обеспечение доступа к цифровым инструментам для помощи в принятии решений является приоритетной задачей для учреждений, только 32% врачей считают, что их медорганизации хорошо работают в этой области.