Новое приложение читает по губам лучше живого человека

Она опирается на компьютерное зрение и машинные методы обучения. В работе применялись более 5000 часов видео-записи с чтением по губам. В целом на видео было более 118000 предложений и 17500 слов. Ученые сравнивали эффективность работы программы и живого эксперта, тестируя беззвучные видео, где показывались только движения губ говорящих.

Приложение оказалось более точным, чем живой человек. Эксперт верно определил 12% слов, а программа — 50%. Программа допускала при этом минимальные ошибки. К примеру, упускалась или путалась одна буква в слове. Специалисты уверены: приложение позволит глухо-немым людям проще ориентироваться в мире и общаться.