Московские исследователи заявили о проблеме валидации ИИ-сервисов для диагностики рака кожи
В исследовании оценивалась работа алгоритма ИИ, встроенного в мобильное приложение «ПроРодинки» от московской компании «Аимед». Сервис анализирует фотографии кожных новообразований и определяет вероятность злокачественного процесса. Результаты приложения сравнивались с данными гистологических и цитологических исследований. Тестирование проводилось на снимках, сделанных в ходе обычного клинического приема, где качество изображений существенно варьировалось.
Согласно результатам работы, алгоритм правильно выявлял 86% случаев базальноклеточного рака кожи, а общая точность системы составила 79%. Однако система значительно хуже распознавала доброкачественные образования: специфичность алгоритма составила 41%, что указывает на большое количество ложноположительных результатов, когда безопасные новообразования ошибочно определялись как подозрительные.
При этом на сайте самого приложения приводятся результаты клинических испытаний на базе НМИЦ онкологии им. Н.Н. Блохина, согласно которым чувствительность системы составляла 93,5%, а специфичность – 84,3%.
По мнению авторов новой работы, результаты демонстрируют важность оценки медицинских ИИ-систем не только на подготовленных датасетах и изображениях высокого качества, но и в условиях реальной клинической практики. Исследователи отмечают, что именно такая проверка позволяет выявлять ограничения алгоритмов, которые могут оставаться незаметными в контролируемых условиях. В частности, для дальнейшего развития подобных сервисов ученые считают необходимыми внедрение механизмов автоматической оценки качества изображений и дополнительное дообучение моделей.
Исследователи отдельно подчеркивают, что работа проводилась только на базе одного медицинского учреждения, поэтому полученные результаты требуют дополнительной проверки в более масштабных мультицентровых исследованиях.
Авторы также обращают внимание, что независимая внешняя проверка медицинских ИИ-систем пока остается редкостью даже для наиболее известных сервисов диагностики рака кожи. В работе отмечается, что на момент подготовки исследования только один подобный сервис – DermaSensor – получил одобрение Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA).
Приложение «ПроРодинки», в свою очередь, уже имеет регудостоверение от Росздравнадзора в качестве медизделия. Согласно информации на сайте сервиса, системой воспользовались более 600 тысяч человек, а количество проверенных новообразований превысило 1 млн. В компании также заявляют о выявлении более 29 тысяч подозрительных злокачественных новообразований и свыше 16 тысяч случаев меланомы.
Схожие вопросы о необходимости проверки ИИ-систем на реальных клинических данных поднимались и ранее. Так, в 2025 году ученые Сеульского национального университета сообщали, что корейский алгоритм ModelDerm выявляет рак кожи с точностью до 78% – при анализе 152 тысяч клинических изображений и 1,7 млн пользовательских обращений из 228 стран. Авторы тогда также подчеркивали важность тестирования алгоритмов в условиях реальной практики, а не только на подготовленных наборах изображений.
