надежность ИИ-секретарей в медицине вызывает вопросы

По данным авторов, уже около 30% клиник в США используют такие решения, а в одном из крупнейших госпитальных холдингов за 14 месяцев с их помощью было оформлено более 2,5 млн приемов у 7 тысяч врачей. Несмотря на широкое распространение, даже у передовых систем фиксируются ошибки в 1-3% случаев: они могут пропустить важные симптомы, перепутать, кто именно произнес фразу, или «галлюцинировать» – придумывать несуществующие диагнозы или обследования. Подобные сбои могут отразиться на качестве лечения и принятых врачебных решениях.

Отдельную обеспокоенность вызывает неравномерная работа алгоритмов. Системы хуже распознают речь пациентов с акцентом или особенностями произношения, что снижает точность записей для разных социальных групп. Кроме того, ИИ-секретари пока не способны учитывать невербальные сигналы – мимику, жесты или выражение лица, которые иногда играют важную роль для понимания состояния человека.

Вопросы вызывает и правовое регулирование. Многие коммерческие решения позиционируются как административные инструменты, а не медицинские устройства, что позволяет обходить строгие процедуры одобрения. При этом остается неясным, каким образом будут использоваться большие объемы данных, накопленных при записи приемов: пациенты могут не знать, что их диалоги применяются для обучения алгоритмов или в коммерческих целях.

Эксперты отмечают, что внедрение ИИ-секретарей должно сопровождаться строгим тестированием, обучением врачей и едиными правилами ответственности. Похожую идею ранее выдвинули исследователи в журнале Digital Medicine, предложив ввести новую медицинскую специализацию – алгоритмических консультантов, которые могли бы сопровождать применение ИИ и снижать риски ошибок.

Другие разработки показывают, что повышение надежности возможно и за счет изменения самих алгоритмов. Так, исследователи из Вашингтонского университета в Сент-Луисе, Мичиганского университета и Китая предложили учитывать не только данные пациентов, но и цифровые следы работы врачей в электронных медицинских картах. Такой подход позволил в крупном исследовании на 60 тысяч госпитализаций снизить внутрибольничную смертность примерно на треть и сократить длительность пребывания пациентов в стационаре более чем на 10%.

По данным авторов, уже около 30% клиник в США используют такие решения, а в одном из крупнейших госпитальных холдингов за 14 месяцев с их помощью было оформлено более 2,5 млн приемов у 7 тысяч врачей. Несмотря на широкое распространение, даже у передовых систем фиксируются ошибки в 1-3% случаев: они могут пропустить важные симптомы, перепутать, кто именно произнес фразу, или «галлюцинировать» – придумывать несуществующие диагнозы или обследования. Подобные сбои могут отразиться на качестве лечения и принятых врачебных решениях.

Отдельную обеспокоенность вызывает неравномерная работа алгоритмов. Системы хуже распознают речь пациентов с акцентом или особенностями произношения, что снижает точность записей для разных социальных групп. Кроме того, ИИ-секретари пока не способны учитывать невербальные сигналы – мимику, жесты или выражение лица, которые иногда играют важную роль для понимания состояния человека.

Вопросы вызывает и правовое регулирование. Многие коммерческие решения позиционируются как административные инструменты, а не медицинские устройства, что позволяет обходить строгие процедуры одобрения. При этом остается неясным, каким образом будут использоваться большие объемы данных, накопленных при записи приемов: пациенты могут не знать, что их диалоги применяются для обучения алгоритмов или в коммерческих целях.

Эксперты отмечают, что внедрение ИИ-секретарей должно сопровождаться строгим тестированием, обучением врачей и едиными правилами ответственности. Похожую идею ранее выдвинули исследователи в журнале Digital Medicine, предложив ввести новую медицинскую специализацию – алгоритмических консультантов, которые могли бы сопровождать применение ИИ и снижать риски ошибок.

Другие разработки показывают, что повышение надежности возможно и за счет изменения самих алгоритмов. Так, исследователи из Вашингтонского университета в Сент-Луисе, Мичиганского университета и Китая предложили учитывать не только данные пациентов, но и цифровые следы работы врачей в электронных медицинских картах. Такой подход позволил в крупном исследовании на 60 тысяч госпитализаций снизить внутрибольничную смертность примерно на треть и сократить длительность пребывания пациентов в стационаре более чем на 10%.