Facebook научился описывать картинки для незрячих пользователей
Изображения (фото, графика) преобладают в интернете. И, если системы, распознающие текст для невидящих людей, существуют, то с изображениями серьезные трудности. BBC сообщает о том, что Facebook запускает систему, которая прочитывает фотографии и рассказывает людям с ограничениями по зрению о том, что изображено на фото.
Итак, система распознает машины, лодки, мотоциклы, поезда, дорогу, велосипед, автобус, улицу, горы, деревья, снег, небо, океан, воду, пляж, волну, солнце, траву. Из видов спорта это теннис, плавание, соревнования на спортивной арене, баскетбол, бейсбол, гольф. Еда — мороженое, суши, пицца, десерты, кофе. Также система знает, что такое дети, очки, борода, улыбка, украшения, обувь и селфи. Изображения описываются простыми предложениями.
Пример: «На изображении два человека, и они улыбаются». Кстати, предусмотрена возможность самостоятельного добавления описания. Разработал систему бывший инженер Facebook Мэтт Кинг, который сам потерял зрение из-за пигментного ретинита.
