ChatGPT и Claude советуют пользователям более дорогие препараты
Рекомендации LLM существенно расходились с реальной практикой назначений по данным Medical Expenditure Panel Survey: медианное расстояние полной вариации (TVD) составило 0,93–0,98. Наиболее часто назначаемый в реальной практике препарат совпадал с первым выбором модели лишь в 29,7% случаев, а с учетом объема назначений – в 17%. При оценке затрат на закупку, по данным NADAC, для 51 активного вещества в 74,5% случаев рекомендации LLM вели к удорожанию; совокупный рост затрат оценивается в $55,6 млн, или на 1019%.
Анализ факторов, связанных с частотой рекомендаций, показал, что модели предпочитают оригинальные препараты, продукты с большим числом поисковых запросов в Google и наличием отдельной страницы в «Википедии». Более позднее одобрение FDA, большие расходы производителя на продвижение, высокий реальный объем назначений и длинные названия, наоборот, снижали вероятность рекомендации.
При изменении промпта на приоритет дженериков или низкой стоимости модели смещали выбор, но концентрация на ограниченном наборе продуктов сохранялась (93,1–97,6%), а смена продукта происходила в 45,2–77,9% случаев. В анализе только по болезни без указания активного вещества концентрация снижалась, но оставалась высокой: 83,8% для активного вещества и 79,6% для продукта. Большинство регуляторно-несоответствующих рекомендаций относились к снятым с производства препаратам (91,69–99,59%).
Авторы подчеркивают, что сходимость рекомендаций на ограниченном наборе коммерчески заметных препаратов может создавать петлю обратной связи, вытесняя альтернативные одобренные продукты, и подрывать политику контроля затрат, ориентированную на дженерики. Они призывают к оценке ИИ на предмет коммерческой нейтральности и регуляторного соответствия, к сочетанию ИИ с проверенными источниками данных о лекарствах и врачебным контролем, а также к прозрачности обучающих данных и методологий.
Среди ограничений исследования – использование синтетических сценариев, отсутствие редких и сложных клинических случаев, возможная вариабельность данных MEPS, ограниченный набор веществ для анализа затрат и оценка только на этапе рекомендации без моделирования последующих этапов назначения и отпуска.
В июле 2025 года ученые из Университета Флиндерса (Австралия) обнаружили, что такие популярные чат-боты с использованием искусственного интеллекта (ИИ), как GPT-4o от OpenAI, Gemini 1.5 Pro от Google, Claude 3.5 Sonnet от Anthropic, Llama 3.2-90B Vision от Meta* и Grok Beta от X, можно легко перенастроить на выдачу регулярных ложных ответов на медицинские вопросы. Авторы исследования смогли обучить большие языковые модели (LLM) снабжать свои тексты поддельными цитатами из настоящих медицинских журналов и создавать видимость авторитетности. Эксперты предупредили, что без надлежащих защитных механизмов злоумышленники могут использовать такие возможности для массового производства медицинской дезинформации и ее распространения через интернет и соцсети.
