Исследование: отзывы пациентов учат ИИ предвзято оценивать врачей

Для анализа ученые использовали отзывы с четырех крупных американских платформ – Healthgrades, Vitals, RateMDs и Yelp. Исходный массив включал 8,69 млн отзывов о 587 562 врачах, собранных по состоянию на 1 августа 2021 года. В итоговую выборку вошли специалисты, имевшие от пяти до ста отзывов.

На основании текстов ИИ оценивал 10 характеристик. Пять из них были основаны на модели «Большой пятерки» – открытость новому, добросовестность, экстраверсия, доброжелательность и эмоциональная стабильность. Еще пять отражали непосредственно восприятие врача пациентами – качество общения, клиническую компетентность, внимание к потребностям пациента и результатам лечения, а также признаки доверия. Авторы отдельно подчеркивают, что речь идет не о реальных чертах личности или объективном качестве работы врача, а исключительно о том, каким специалист предстает в отзывах пациентов.

Мужчины получили более высокие оценки по всем десяти характеристикам. Наибольшие различия между мужчинами и женщинами обнаружили в воспринимаемой клинической компетентности, внимании к результатам лечения, эмоциональной стабильности и показателях доверия.

Оценки заметно различались и между специальностями. Представители хирургических направлений получили один из наиболее высоких результатов по большинству характеристик. В частности, диагностические радиологи лидировали по воспринимаемой клинической компетентности, добросовестности и эмоциональной стабильности, а хирурги – по качеству общения и вниманию к удовлетворенности пациентов. Врачи экстренной медицины и психиатры получили более низкие оценки сразу по нескольким параметрам. Исследователи связывают это прежде всего с условиями работы: экстренная медицина предполагает короткие и стрессовые контакты с пациентами, а на оценку психиатров может влиять сложность заболеваний и стигматизация психических расстройств.

Дополнительный анализ позволил выделить четыре устойчивых типа врачебных профилей. У 33,8% врачей оценки были высокими практически по всем характеристикам, у 22,6% – преимущественно низкими. Еще две группы различались прежде всего уровнем экстраверсии. При этом высокая экстраверсия сама по себе не сопровождалась высокими оценками других профессиональных качеств, что, по мнению авторов, показывает ограниченность попыток описывать врача одним показателем.

Исследование также показало, что анализ текстов отзывов помогает понять, за что именно пациенты ставят врачу высокие или низкие оценки. Больше звезд обычно получали врачи, которых чаще описывали как внимательных, хорошо общающихся и вызывающих доверие. При этом ИИ позволял отдельно оценить разные стороны взаимодействия с пациентом, которые общий рейтинг не отражает.

Авторы обращают внимание на риск переноса обнаруженных закономерностей в ИИ-сервисы. Пациенты все чаще используют языковые модели для поиска врачей и обобщения отзывов, поэтому алгоритмы могут воспроизводить существующие в этих текстах гендерные предубеждения и различия, связанные со специальностью. В результате врач может получить менее благоприятную характеристику не из-за объективного качества его работы, а из-за особенностей того, как пациенты оценивают женщин и мужчин или представителей разных медицинских специальностей.

Поэтому исследователи считают преждевременным использовать полученные с помощью ИИ индивидуальные профили при найме, аттестации, оценке эффективности работы или страховании врачей. Для подобного применения необходима независимая клиническая проверка методики и учет контекста конкретной специальности. По мнению авторов, сейчас технология прежде всего может использоваться для выявления систематических предубеждений в онлайн-отзывах.

Проблема объективности онлайн-отзывов о врачах поднималась и ранее. В 2023 году опрос Аналитического центра Vademecum и платформы «Врачи РФ» среди 1 030 российских медиков показал, что около 70% из них сталкивались с негативными отзывами, которые считали необоснованными, а 66% называли отзывы о своей работе в целом необъективными. Половина респондентов отмечали, что негативные комментарии затрагивали не только профессиональные, но и личные качества врача.