Звуковое зрение vOICe vision. Взгляд из тьмы

Когда-то исследователю и технологическому энтузиасту Игорю Трапезникову говорили, что слепота не лечится и потерявший зрение обречён жить во тьме. А спустя 10 лет Игорь представил устройство, в буквальном смысле подарившее незрячим людям возможность вновь видеть окружающий мир.

Современная медицина бессильна против многих заболеваний глаз. Некоторые из них приводят к полной слепоте и никакие технологии не способны вновь подарить человеку зрение.

Кроме одной.

В 60-х годах XX века американский нейрофизиолог Пол Бах-у-Рита изобрёл технологию сенсорного замещения. Основываясь на свойстве нейропластичности мозга, которое позволяет отдельным зонам мозга меняться под действием опыта, а также восстанавливать утраченные связи после повреждения или вырабатывать новые связи, он предположил, что можно научиться заменять один способ восприятия другим.

Пол Бах-у-Рита создал устройство BrainPort, которое с помощью электродов трансформирует сигнал с видеокамеры в электроимпульсы по определённому алгоритму. Электроды присоединяются к языку и выучивший алгоритм человек может ориентироваться в окружающем пространстве, не используя обычное зрение. Благодаря нейропластичности мозга уже через несколько дней у слепых, применяющих BrainPort, визуальная информация начинает достигать зрительной коры. Они в буквальном смысле начинают видеть.

Но осязание – не самый совершенный способ восприятия, доступный человеку и уж тем более – не самый удобный и точный. Если взять за основу другой, использующий большее количество нейронов мозга, то замещение будет более точным и качественным. А слепой станет видеть лучше.

В 1990-х голландский инженер Питер Мейер предложил использовать для сенсорного замещение не осязание, а слух. Он разработал алгоритм Звукового Зрения – модель преобразования изображения в звуки различной громкости и высоты, способные передать его смысл. Видеоизображение разбивалось на кадры раз в секунду, кадр переводился в монохромный цвет, и затем каждый пиксель изображения озвучивался определённым тоном и громкостью – и так раз в секунду.

Его замысел удался. Алгоритм работал. И люди, использующие Звуковое Зрение, вновь смогли видеть. Но реализовать техническое воплощение идеи, с применением современных технологий и удобных дизайнерских решений, оказалось непростой задачей.

Российский нейрофизиолог и исследователь Игорь Трапезников заинтересовался технологией сенсорного замещения много лет назад. Его любопытство не было праздным увлечением. Из-за астигматизма Игорь начал терять зрение и проблемы слабовидящих и незрячих людей замаячили на горизонте его собственной бедой.

«Однажды мой старший брат принёс из школы микроскоп и открыл для меня удивительный маленький мир, невидимый невооруженному глазу. Я тогда подумал – раз я с моим плохим зрением смог всё это увидеть с помощью микроскопа, то наверняка можно создать какое-то техническое средство, которое поможет мне также хорошо видеть обычный мир, окружающее меня пространство», – рассказывает Игорь Трапезников. – «Все вокруг считали, что человек, потерявший зрение, никогда не сможет его восстановить. Слепота не лечится – один из стереотипов нашего общества, который я уже много лет пытаюсь сломать».

В 2008 году Игорь узнал от коллег по общественному движению РТД об алгоритме Звукового Зрения Питера Мейера и заинтересовался возможностью реализовать проект в России. Игорь связался с автором и так зародилась дружба, которая впоследствии подарит надежду незрячим людям. Изучив алгоритм голландца, Игорь понял, что можно создать носимое на голове устройство, переводящее изображение в звук по предложенному Питером Мейером принципу. Так началась история vOICe vision.

На рисунке показаны принципы преобразования для простого примера (изображение 8 × 8 пикселей, три серых полутона).

Механизм устройства Игоря Трапезникова целиком настроен на алгоритм Питера Мейера. Данные каждого пикселя преобразовываются в матрицу. Вертикальное положение — в частоту, яркость в амплитуду. Пиксель в более высоком положении соответствует звуку более высокой частоты. Чем больше яркость пикселя, представленного серым тоном, тем больше амплитуда («громкость») соответствующего генератора. Суммы сигналов для одного столбца накладываются друг на друга. Затем каждый следующий столбец преобразуется в звук. Эта процедура продолжается до тех пор, пока самый правый столбец не будет преобразован в звук. Для следующего кадра процедура преобразования повторяется.

«Идея возникла 10 лет назад. Во время первых экспериментов мы крепили камеры к обычным кепкам, а для обработки данных использовали ноутбуки в рюкзаках. Активная работа началась в 2015 году, когда нашей команде при поддержке РТД удалось собрать нужное количество средств благодаря краудфандингу. На эти деньги были изготовлены первые прототипы vOICe vision – очков со встроенной видеокамерой и наушниками костной проводимости», – вспоминает Игорь.

Именно тогда в 2015 году в команду влился Вадим Арцев, главный испытатель устройства. Он стал первым незрячим человеком, который научился эффективно пользоваться Звуковым Зрением. Сегодня Вадим применяет разработку Игоря Трапезникова каждый день и зависит от неё так же, как другие люди зависят от своих глаз.

«В начале было непривычно и тяжело. Звуки, которые генерирует vOICe vision, казались какими-то фантастическими и ни на что не были похожи», – спустя четыре года признаётся Вадим. – «Обучаться приходилось на коротких занятиях, занимавших не более 10 минут, а при длительном использовании устройства начинала кружиться голова. Но это было связано лишь с тем, что я не понимал значения всех этих звуков. Однако со временем я изучил алгоритм Питера Мейера и смог упорядочить всё, что слышу. Сейчас я легко различаю ваш силуэт и могу общаться хоть весь день, не отвлекаясь на звуки vOICe vision и одновременно ориентируясь по ним в пространстве. Это дело привычки и опыта. Трудно долго слушать китайский язык, не зная его. Но если ты китаец, то легко будешь разговаривать на нём сам каждый день».

Игорь Трапезников сравнивает алгоритм Питера Мейера, закодированный в звуковой дорожке vOICe vision, с иностранным языком. Каждый день практики лишь улучшает навыки владения им. И именно по этой причине Звуковое Зрение выигрывает у других средств реабилитации для незрячих, даже самых дорогих и современных.

«Бионические импланты глаз, которые часто преподносятся в медиа сфере, как самое радикальное и эффективное решение для незрячих, вновь позволяющее видеть – уступает Звуковому Зрению по всем позициям. Во-первых, качество изображения гораздо ниже. Во-вторых, для установки бионического зрения, требуется сложное операционное вмешательство. И в-третьих, нервная ткань, к которой подключены искусственные глаза, со временем рубцуется и зарастает. В результате бионический контакт ухудшается и зрение со временем теряется вновь. При использовании vOICe vision навык с каждым днём лишь становится лучше и окружающий мир прорисовывается в большей степени. Это, не говоря уже о цене. Очки vOICe vision вместе с обучением обойдутся дешевле в десятки раз», – поясняет Игорь Трапезников.

Его слова подтверждают результаты состязаний, в которых соревнуются средства реабилитации и использующие их люди с инвалидностью. В прошлом году «Нейротлон» – так называется это соревнование – прошёл в Самаре. На одной полосе препятствий сошлись пилоты с бионическим зрением, ультразвуковой тростью и Звуковым Зрением. vOICe vision представлял Вадим Арцев. С устройством Игоря Трапезникова он в два раза быстрее чем другие участники прошёл трасу, не допустив ни одной ошибки.

Основная проблема Звукового Зрения кроется в его же главном преимуществе. vOICe vision предлагает видеть мир на другом языке, пользуясь созданным Питером Мейером алгоритмом. А всякий язык нужно сначала выучить. Поэтому для неподготовленного человека Звуковое Зрение – не более, чем незнакомый набор звуков. Чтобы учить незрячих людей понимать его, необходимо сначала выстроить методику обучения.

В команде vOICe vision эта задача легла на плечи Светланы Лебедевой, клинического психолога, научной сотрудницы ИМБП РАН. Светлана сумела изучить алгоритм Питера Мейера и написать программу обучения, разработать задания для учебной онлайн-платформы и организовать работу Учебного центра vOICe vision. Сегодня она успешно ведёт курс Звукового Зрения для незрячих людей.

«Обучение новому способу восприятия мира – всегда вызов. На это требуются силы и время – человек, словно ребёнок, проходит стадии диффузного восприятия, синкрета, предпонятия и, наконец, понятия — т.е. проходит все ступени формирования представлений, на которые будет опираться новый способ восприятия. При помощи механизма обратной связи он сначала начинает из звучания вычленять отдельные предметы окружающего мира, потом отмечает различия между звуковыми паттернами и формами разных предметов, и только затем начинает «догадываться» о принадлежности звучания незнакомого объекта к определённой категории вещей. Для специалистов это очень любопытный процесс – обучение Звуковому Зрению напоминает классические эксперименты Выготского и Пиаже и задаёт фундаментальные вопросы в области изучения человеческого восприятия в зрелом возрасте. Но учениками, конечно же, развитие нового восприятия ощущается более прозаичным – как обучение любому другому сложному навыку во время привычного, рабочего ритма жизни. Это всегда вопросы внутренних ресурсов и личностного нарратива», – рассказывает Светлана Лебедева.

Благодаря разработанной программе обучения, ученики сегодня обеспечиваются всеми необходимыми внешними ресурсами. Особое внимание уделяется и вопросам мотивации.

«Наше обучение начинается с бережного погружения в основы Звукового Зрения. Затем, используя механизмы развития любого из наших основных способов восприятия, человек учится ориентироваться при помощи мира новых звуков. В этом ему помогают тренеры vOICe vision – опытные психологи, умеющие как поддержать человека, так и направить ход его обучения. В этом мне очень помогает моя коллега Дарья Шибанкова. У нас есть всё для всестороннего обучения – консультации с тренерами и психологами, домашние задания, наш виртуальный учебник-платформа, поддержка самих пользователей друг другом. Минувшим летом мы провели две встречи людей, владеющих навыком Звукового Зрения. Надеюсь, это будет доброй традицией – всем первооткрывателям хочется быть в компании единомышленников, людей с похожим опытом. Звуковое Зрение работает, дело за малым – популяризировать его», — делится Светлана Лебедева.

И всё же самым важным остаётся вопрос – что именно даёт незрячему человеку vOICe vision? Что он получает? На что тратит свои деньги? Как видит человек с бионическим глазом – не для кого не секрет. «Картинку» искусственного зрения много раз демонстрировали в выпусках новостей. «Взглянуть» на мир бионическим глазом можно с помощью офтальмологического VR-симулятора, разработанного Лабораторией «Сенсор-Тех» и выложенного в открытый доступ.

Но как оценить эффективность Звукового Зрения, не овладев языком-алгоритмом Питера Мейера?

«На этот вопрос можно ответить двумя способами – с позиции исследования и с позиции науки», – отвечает Игорь Трапезников. – «Первый – проще. Опросите тех, кто уже овладел Звуковым Зрением. Второй подразумевает изучение мозга с помощью энцефалограммы и магнитно-резонансной томографии. Такие исследования уже проводились. Немного, но они были. И научный подход свидетельствует, что при длительном использовании Звукового Зрения в мозге активируются те зоны, которые ответственны именно за зрительные ощущения. Человек ощущает картинку».

Чтобы понять зрячему, как именно это работает, Игорь предлагает провести такой опыт. Во время разговора с человеком внимательно посмотреть на его лицо, а затем резко закрыть глаза. Образ собеседника сохраниться в памяти и воображение мгновенно нарисует его. По словам создателя vOICe vision, субъективно Звуковое Зрение создаёт ощущение картинки похожим образом. Это касается глубины пространства, силуэтов объектов и предметов, а также тёмных и светлых цветов.

Приобрести очки vOICe vision уже сегодня может каждый, сейчас запущено мелкосерийное производство. Разработчик пытается наладить работу с ключевыми организациями, поддерживающими незрячих. Ведь в российских реалиях не многие люди с инвалидностью имеют возможность самостоятельно приобрести средство реабилитации.

«Мы хотим сделать vOICe vision доступным для всех российских инвалидов по зрению. Но в России для этого придётся пройти долгий путь. Чтобы зарегистрировать наши очки, как медицинское устройство, помогающее реабилитировать незрячих, необходимо провести ряд клинических испытаний, доказывающих, например, что vOICe vision не вредит здоровью – с точки зрения офтальмологов и других врачей», – поясняет Игорь Трапезников.

И это несмотря на то, что в России Звуковое Зрение уже успело себя зарекомендовать. Опыт использования и испытаний vOICe vision позитивен и демонстрирует высокую эффективность. В прошлом году проект стал финалистом конкурса «Открытые запросы», по линии Агентства инноваций Москвы, а в этом году – его победителем. Устройство успешно тестировалось в пансионате для незрячих в посёлке Малино, Московской области. На основе этой практики собраны отзывы экспертов, рекомендующие слепым обучаться навыкам Звукового Зрения.

«Миссия vOICe vision – сделать Звуковое Зрение доступным для всех людей, которые потеряли обычное зрение, потеряют его в будущем, либо родились слепыми. В XIX веке Луи Брайль распространил по всему миру тактильный алфавит. И сегодня – это стандарт для всех незрячих людей. Мы хотим повторить этот путь, сделать тоже самое с vOICe vision, ведь это единственное устройство в мире, позволяющее в буквальном смысле видеть звуком. Функционально те, кто овладели Звуковым Зрением, превращаются из слепых в слабовидящих. Как только такая возможность появиться у всех незрячих людей и vOICe vision станет доступным каждому из них, я буду считать нашу миссию выполненной», – подводит итог Игорь Трапезников.

Но успех проекта зависит не только от Игоря и его команды. В России, как и в других странах, реабилитационная индустрия нуждается в государственной поддержке. И всё же помочь проекту может каждый, по крайней мере – в медиапространстве. Ведь информация – главное оружие XXI века. Короткий рассказ друзьям, коллегам или банальный репост в социальных сетях может изменить будущее vOICe vision… И будущее тех, кто посвятил ему свою жизнь, кто создал альтернативу вечной тьме и подарил людям надежду.

Питер Мейер создал алгоритм надежды, Игорь Трапезников воплотил его в техническом устройстве, а Светлана Лебедева, обучая, вселяет эту надежду в сердца тех, кто не хочет жить в темноте.

Иван Чимбулатов