Google разрабатывает AR-микроскоп для быстрого обнаружения рака

Корпорация в некоторых случаях создает гибридные проекты, где используются наработки из разных сфер. Например, в новом проекте Google применяются достижения науки и техники из таких направлений, как искусственный интеллект, дополненная реальность, оптика, машинное обучение, медицина. Все это компания решила использовать для создания микроскопа с дополненной реальностью. Система, по словам разработчиков, помогает идентифицировать онкологические заболевания. Не все, но зато с высокой скоростью и точностью.

Результаты своей работы команда исследователей представила на встрече Американской ассоциации изучения рака (American Association for Cancer Research). Встречи проводятся ежегодно, на них делятся опытом крупнейшие специалисты в этой сфере, которым есть что рассказать, хотя и послушать они тоже не против. Исследователи опубликовали статью по теме выступления, рассказав в подробностях о создании «микроскопа дополненной реальности».

По мнению ученых, их разработка поможет врачам быстро и точно диагностировать наличие раковых заболеваний. Еще одна роль проекта — стимулирование принятия новых технологий традиционными научными сообществами. В данном случае речь идет о глубоком машинном обучении.

Система, о которой идет речь, состоит из модифицированного светового микроскопа, который позволяет анализировать видимую картинку в режиме реального времени. Причем не обязательно создавать новый микроскоп — модифицировать можно и существующие решения. Конструкция собирается из относительно недорогих компонентов, которые способны служить достаточно продолжительное время. При этом не нужно покупать дорогие цифровые устройства, которые обходятся научно-исследовательским и медицинским организациям очень недешево.

Микроскоп не только увеличивает то, что находится в поле его зрения, но и помогает человеку определять, что же именно находится в окуляре. Насколько можно понять, эта система идентификации объектов построена на базе TensorFlow. Обучая нейросеть (она является частью всей системы), можно получить очень эффективный гибрид обычного микроскопа и цифровой системы. Причем работа ведётся в режиме реального времени.

Общая схема системы и ее фотография. Элементом конструкции микроскопа является цифровая камера с полем зрения, как у глаза человека. Изображение передается на компьютер, где оно обрабатывается при помощи нейросети. Результаты отображаются в окуляре, при помощи специализированного AR-экрана. В итоге создается впечатление, что человек смотрит на сам объект с готовыми пояснениями к тому, что именно попало в руки исследователя

Система выделяет важные элементы изображения стрелочками, контуром, текстом, есть и визуальный фидбек. На данный момент микроскоп работает с двумя алгоритмами обнаружения рака: первая детектирует метастазы при раке груди, вторая — пытается обнаружить рак простаты. Эти модели работают при увеличении в 4-40 раз. Если проблема выявлена, микроскоп обводит проблемное место зеленым контуром.

Точность определения рака достаточно высокая — 98% в случае рака груди и 96% при выявлении рака простаты. Это выше, чем при выполнении традиционного анализа.

По мнению представителей Google, все это может пригодиться медикам любой страны. Сейчас выявление рака — непростая задача, но программно-аппаратная платформа позволяет ее без всяких проблем решить. Если технологию примут по всему миру, то число успешно обнаруженных раковых заболеваний на ранней стадии может повыситься, что увеличит продолжительность жизни людей.

Корпорация в некоторых случаях создает гибридные проекты, где используются наработки из разных сфер. Например, в новом проекте Google применяются достижения науки и техники из таких направлений, как искусственный интеллект, дополненная реальность, оптика, машинное обучение, медицина. Все это компания решила использовать для создания микроскопа с дополненной реальностью. Система, по словам разработчиков, помогает идентифицировать онкологические заболевания. Не все, но зато с высокой скоростью и точностью.

Результаты своей работы команда исследователей представила на встрече Американской ассоциации изучения рака (American Association for Cancer Research). Встречи проводятся ежегодно, на них делятся опытом крупнейшие специалисты в этой сфере, которым есть что рассказать, хотя и послушать они тоже не против. Исследователи опубликовали статью по теме выступления, рассказав в подробностях о создании «микроскопа дополненной реальности».

По мнению ученых, их разработка поможет врачам быстро и точно диагностировать наличие раковых заболеваний. Еще одна роль проекта — стимулирование принятия новых технологий традиционными научными сообществами. В данном случае речь идет о глубоком машинном обучении.

Система, о которой идет речь, состоит из модифицированного светового микроскопа, который позволяет анализировать видимую картинку в режиме реального времени. Причем не обязательно создавать новый микроскоп — модифицировать можно и существующие решения. Конструкция собирается из относительно недорогих компонентов, которые способны служить достаточно продолжительное время. При этом не нужно покупать дорогие цифровые устройства, которые обходятся научно-исследовательским и медицинским организациям очень недешево.

Микроскоп не только увеличивает то, что находится в поле его зрения, но и помогает человеку определять, что же именно находится в окуляре. Насколько можно понять, эта система идентификации объектов построена на базе TensorFlow. Обучая нейросеть (она является частью всей системы), можно получить очень эффективный гибрид обычного микроскопа и цифровой системы. Причем работа ведётся в режиме реального времени.

Общая схема системы и ее фотография. Элементом конструкции микроскопа является цифровая камера с полем зрения, как у глаза человека. Изображение передается на компьютер, где оно обрабатывается при помощи нейросети. Результаты отображаются в окуляре, при помощи специализированного AR-экрана. В итоге создается впечатление, что человек смотрит на сам объект с готовыми пояснениями к тому, что именно попало в руки исследователя

Система выделяет важные элементы изображения стрелочками, контуром, текстом, есть и визуальный фидбек. На данный момент микроскоп работает с двумя алгоритмами обнаружения рака: первая детектирует метастазы при раке груди, вторая — пытается обнаружить рак простаты. Эти модели работают при увеличении в 4-40 раз. Если проблема выявлена, микроскоп обводит проблемное место зеленым контуром.

Точность определения рака достаточно высокая — 98% в случае рака груди и 96% при выявлении рака простаты. Это выше, чем при выполнении традиционного анализа.

По мнению представителей Google, все это может пригодиться медикам любой страны. Сейчас выявление рака — непростая задача, но программно-аппаратная платформа позволяет ее без всяких проблем решить. Если технологию примут по всему миру, то число успешно обнаруженных раковых заболеваний на ранней стадии может повыситься, что увеличит продолжительность жизни людей.