Пять LLM сдали тест-программы подготовки докторов фармацевтических наук с точностью 89–91%

В методологической части уточняется, что вопросы были взяты из обязательного интегрированного курса клинических наук по инфекционным болезням второго профессионального года ускоренной трехлетней программы Doctor of Pharmacy в Школе фармации Тихоокеанского университета в Стоктоне (Калифорния, США). Курс проводился с января по апрель 2025 года, а данные собирались с мая по июль 2025 года. В выборку вошли 108 вопросов по терапевтическим дисциплинам, 45 – по медицинской химии, 40 – по клинической микробиологии, 25 – по фармакологии и 9 – по фармакокинетике и фармакодинамике; 212 вопросов были тестовыми с выбором ответа, 15 – с заполнением пропусков, а 13 – содержали изображение.

Точность заметно различалась по темам. Наилучшие результаты модели показали по фармакологии (93,6%), затем по терапевтическим дисциплинам (93,0%) и фармакокинетике/фармакодинамике (91,1%). Существенно ниже оказалась точность по клинической микробиологии (87,5%) и медицинской химии (84,0%); различия по сравнению с терапевтическими вопросами были статистически значимы. Авторы связывают это со сложностями моделей при работе с химическими структурами и номенклатурой, а также с меньшей представленностью специализированной микробиологической информации в обучающих данных.

При усложнении когнитивного уровня вопросов точность снижалась. Для категорий «запомнить/понять» и «применить/проанализировать» она составила около 92%, тогда как для «оценить/создать» – 85,6%. Кроме того, модели значительно хуже отвечали на вопросы с изображениями: 69,2% против 91,5% для текстовых вопросов. Согласованность ответов между разными моделями была умеренной (каппа Коэна 0,497–0,613), то есть результат одной модели не позволяет надежно предсказать ответ другой.

Авторы подчеркивают, что высокая точность на экзаменационных вопросах не означает готовности LLM давать безопасные и комплексные клинические рекомендации. Для эффективного применения в фармацевтическом образовании необходимо целенаправленное сопровождение преподавателей, проверка ответов по авторитетным источникам и осторожность при использовании моделей для заданий высокого когнитивного уровня. Отдельного внимания требуют вопросы академической честности: широкий доступ к мощным LLM усиливает риск того, что результаты домашних и онлайн-работ не будут отражать собственные знания студентов.

Ранее международная группа ученых проанализировала 52 эмпирических исследования совместной работы клиницистов и медицинских ИИ-систем, охватывающих 1 098 специалистов и почти 35 тысяч диагностических задач. Анализ показал, что связка «врач + ИИ» действительно может улучшить результаты по сравнению с работой врача в одиночку, однако ожидаемого «синергетического эффекта» обычно не возникает: совместная работа не превосходит по точности того участника, который изначально показывает лучший результат – человека или алгоритм.

На этом фоне в научной среде обсуждаются новые модели организации работы с медицинскими алгоритмами. В частности, международная группа ученых предложила ввести новую медицинскую специализацию – «алгоритмический консультант». Авторы отмечают, что такие специалисты могли бы стать посредниками между врачами и системами ИИ, помогая выбирать подходящие модели, интерпретировать их выводы и контролировать внедрение алгоритмов в медорганизациях.