Обеспокоенность по поводу «преувеличенных» утверждений исследования об ИИ, превосходящих врачей

Многие исследования, утверждающие, что искусственный интеллект так же хорош (или лучше, чем) человеческий эксперт при интерпретации медицинских изображений, имеют низкое качество и, возможно, преувеличены, что создает риск для безопасности «миллионов пациентов», предупреждают исследователи в BMJ сегодня.

Их выводы вызывают обеспокоенность по поводу качества доказательств, лежащих в основе многих из этих исследований, и подчеркивают необходимость улучшения их стандартов проектирования и отчетности.

Искусственный интеллект (ИИ) — это инновационная и быстро развивающаяся область, способная улучшить уход за пациентами и облегчить перегруженные медицинские услуги. Глубокое обучение является отраслью ИИ, которая показала особые перспективы в медицинской визуализации.

Объем опубликованных исследований в области глубокого обучения растет, и некоторые заголовки в СМИ, которые заявляют о превосходной эффективности работы врачей, вызвали ажиотаж для быстрого внедрения. Но методы и риск предвзятости исследований за этими заголовками не были подробно изучены.

Чтобы решить эту проблему, группа исследователей рассмотрела результаты опубликованных исследований за последние 10 лет, сравнив эффективность алгоритма глубокого обучения в медицинской визуализации с опытными клиницистами.

Они нашли только два подходящих рандомизированных клинических испытания и 81 нерандомизированное исследование.

Из нерандомизированных исследований только девять были проспективными (отслеживание и сбор информации о людях с течением времени), и только шесть были протестированы в клинических условиях «реального мира».

Среднее число человеческих экспертов в группе сравнения составляло всего четыре, в то время как доступ к необработанным данным и коду (для независимой проверки результатов) был строго ограничен.

Более двух третей (58 из 81) исследований были оценены как имеющие высокий риск предвзятости (проблемы в дизайне исследования, которые могут повлиять на результаты), и соблюдение признанных стандартов отчетности часто было плохим.

Три четверти (61 исследование) заявили, что показатели ИИ, по крайней мере, сопоставимы (или лучше, чем) с показателями клиницистов, и только 31 (38%) заявили, что необходимы дальнейшие проспективные исследования или испытания.

Исследователи указывают на некоторые ограничения, такие как возможность пропущенных исследований и акцент на глубоких исследованиях медицинских изображений, поэтому результаты могут не относиться к другим типам ИИ.

Тем не менее, они говорят, что в настоящее время «существует много преувеличенных утверждений об эквивалентности (или превосходстве над) клиницистов, что представляет потенциальный риск для безопасности пациентов и здоровья населения на уровне общества».

Излишне многообещающий язык «делает исследования восприимчивыми к тому, что средства массовой информации и общественность неправильно их истолковывают, и, как следствие, к возможному предоставлению ненадлежащего ухода, который не обязательно соответствует наилучшим интересам пациентов», предупреждают они.

«Обеспечение максимальной безопасности пациентов будет лучше всего обеспечено, если мы будем развивать высококачественную и прозрачно сообщаемую базу данных в будущем», — заключают они.