Facebook научился описывать картинки для незрячих пользователей

Изображения (фото, графика) преобладают в интернете. И, если системы, распознающие текст для невидящих людей, существуют, то с изображениями серьезные трудности. BBC сообщает о том, что Facebook запускает систему, которая прочитывает фотографии и рассказывает людям с ограничениями по зрению о том, что изображено на фото.

Искусственный интеллект, внедренный на серверы Facebook, описывает загруженные в соцсеть картинки в форме, понятной только компьютерным системам для незрячих. На данный момент искусственный интеллект распознает около 80 объектов и видов деятельности. Что важно, система самостоятельно обучается — чем больше изображений она сканирует, тем лучше описание.

Итак, система распознает машины, лодки, мотоциклы, поезда, дорогу, велосипед, автобус, улицу, горы, деревья, снег, небо, океан, воду, пляж, волну, солнце, траву. Из видов спорта это теннис, плавание, соревнования на спортивной арене, баскетбол, бейсбол, гольф. Еда — мороженое, суши, пицца, десерты, кофе. Также система знает, что такое дети, очки, борода, улыбка, украшения, обувь и селфи. Изображения описываются простыми предложениями.

Пример: «На изображении два человека, и они улыбаются». Кстати, предусмотрена возможность самостоятельного добавления описания. Разработал систему бывший инженер Facebook Мэтт Кинг, который сам потерял зрение из-за пигментного ретинита.