Подпишитесь на еженедельную рассылку
Эл. почта



Лаборатория «Сенсор-Тех» — высокотехнологичные решения для людей с нарушениями слуха и зрения

29 марта 2019

«Сенсор-Тех»

Друзья, сегодня на нашем портале новый интересный материал о высокотехнологичных разработках, которые призваны, с одной стороны, облегчить жизнь людям с ограниченными возможностями здоровья, а с другой тем, у кого этих ограничений нет, немного лучше понять, с какими сложностями приходится сталкиваться людям с нарушениями слуха и зрения.

Собеседником нашей редакции по этой теме стал директор АНО «Лаборатория «Сенсор-Тех» Денис Кулешов, а также руководитель медицинских проектов Лаборатории «Сенсор-Тех» Андрей Демчинский.

NBPrice.RU: Добрый день! Расскажите об основных направлениях деятельности и достижениях Вашей компании. На сайте компании указаны довольно разносторонние проекты. Расскажите о наиболее значимых и интересных проектах.

Денис Кулешов: Лаборатория «Сенсор-Тех» была основана в 2016 году при поддержке благотворительного фонда «Фонд поддержки слепоглухих «Со-единение». Мы исследуем проблемы людей с нарушениями слуха и зрения, в том числе слепоглухих, и разрабатываем высокотехнологичные решения, которые будут способствовать их социализации.

Например, недавно при поддержке компании «Мегафон» мы выпустили мобильное приложение «Определитель купюр», чтобы незрячие люди могли различать банкноты и самостоятельно расплачиваться наличными, не боясь быть обманутыми.

Еще одна наша недавняя разработка для незрячих – умный помощник «Робин», созданный при поддержке Национальной технологической инициативы. Это небольшое устройство для определения окружающих предметов и обозначения препятствий на пути. Также «Робин» умеет распознавать лица людей – если устройство навести на человека, фотография которого ранее была загружена, «Робин» произнесет его имя. Все это помогает незрячему человеку быть более самостоятельным.

«Сенсор-Тех»

Также при поддержке Национальной технологической инициативы мы создали устройство для распознавания речи «Чарли», которое призвано помогать свободно общаться людям с нарушениями слуха и без. Устройство устанавливается в помещении и распознает устную речь, выводя ее в виде текста на экране смартфона, планшета, телевизора или Брайлевского дисплея. Особенность «Чарли» в том, что для распознавания речи его не нужно подносить к лицу – он услышит собеседника на расстоянии двух метров. Подключив к устройству клавиатуру, человек с нарушением слуха сможет ответить в диалоговом окне. Мы надеемся, что такие устройства будут появляться не только в домах семей с неслышащими людьми, но и в общественных местах, например, в банках, центрах социального обслуживания населения, благотворительных и коммерческих организациях, которые работают с людьми с нарушенным слухом. Это поможет преодолеть барьер в общении, который, к сожалению, есть сейчас.

Лаборатория «Сенсор-Тех» также принимает активное участие в популяризации высокотехнологичных способов восстановления зрения тотально незрячим людям. В 2017 году мы участвовали в проведении первых в России операций по установке бионического импланта людям с нарушенным зрением.

Затем мы разработали VR-симулятор, который позволяет имитировать различные нарушения зрения: астигматизм, катаракту, отслойку сетчатки, а также показывает, как видят мир люди с бионическим зрением. Симулятор также позволяет увидеть, как прогрессирует болезнь с течением времени. Все это поможет специалистам медицинской сферы, особенно молодым врачам, лучше понимать тонкости различных болезней глаз. Сейчас специалисты Лаборатории при поддержке Фонда президентских грантов проводят в медицинских вузах России серию образовательных семинаров с использованием нашей VR-технологии на тему «Как вернуть зрение? Бионические зрительные протезы и виртуальная реальность». У симулятора также есть более простая версия – мобильное приложение See My World, которое рассчитано на широкую аудиторию и доступно каждому для скачивания. Через него также можно посмотреть, как видят люди с различными болезнями глаз.

NBPrice.RU: Нас заинтересовал проект офтальмологического VR-симулятора. Расскажите о нем поподробнее: что он представляем собой, какова целевая аудитория и возможности проекта.

Андрей Демчинский: Офтальмологический VR-симулятор Лаборатории «Сенсор-Тех» – это система, которая позволяет погрузить зрячего человека в мир человека с различными нарушениями и «посмотреть» его глазами. Это нечто среднее между классической виртуальной и дополненной реальностью, поскольку человек не погружается в трехмерную среду, а видит реальный мир через определенные фильтры.

Устройство, как и любой VR-симулятор, состоит из системного блока и шлема виртуальной реальности. Надевая его, человек видит симуляции заболеваний глаз, например, близорукости, глаукомы, искажения как при заболеваниях сетчатки и т.д. Выбранный пользователем комплекс визуальных нарушений накладывается на реальную картинку с камеры, фиксируемой на VR-шлеме.

VR-симулятор разработан прежде всего для офтальмологов и тех, кто собирается ими стать. Врачам симулятор позволит расширить понимание той или иной патологии до максимально приближенной к реальности. Дело в том, что если нескольким офтальмологам дать результаты комплекса обследования и попросить их рассказать, как видит человек с этими нарушениями, то описания окажутся разными, поскольку отсутствует единое понимание о проявлениях симптомов. Студентам медицинских вузов симулятор также позволяет погружаться в проблему, которой они занимаются, и визуально подкреплять знания, которые они получают во время учебы.

Кроме этого VR-симулятор будет полезен тем, кто работает с людьми с нарушением зрения, чтобы иметь представление об их ограничениях. Например, человек, который включит симуляцию отслойки сетчатки и попробует пройтись даже по знакомой ему локации, сразу начнет спотыкаться, потому что при данном нарушении фактически отрезается нижняя часть привычного обзора. А если человек видит только через небольшое окошко, то это сильно ограничивает скорость его передвижения.

«Сенсор-Тех»

NBPrice.RU: Также увидели такую связку как «Бионические зрительные протезы и виртуальная реальность». Расскажите, что это за протезы и в чем суть их взаимодействия с VR.

Андрей Демчинский: VR-симулятор Лаборатории «Сенсор-Тех» также может показать, как видят люди с бионическим зрением – те, у кого установлена американская протезная система Argus II, французская IRIS или немецкая Alpha AMS.

Конечно, симулятор показывает несколько идеализированную картинку – вы увидите ровные черно-белые кружки, в реальности же каждая точка имеет свою форму, которая постоянно меняется.

Симуляция бионического зрения создавалась прежде всего для реабилитологов, которые работают с людьми со зрительными протезами. Это помогает специалистам понять, как и что видят обладатели имплантов, и в результате эффективней работать с ними. В то же время, это уникальная возможность для всех интересующихся узнать, как видят люди с бионическим зрением.

NBPrice.RU: Расскажите подробнее о Вашем проекте и приложении See My World. Какова основная цель его разработки?

Андрей Демчинский: Приложение See My World, которое доступно для скачивания в AppStore и Google Play, несет образовательную функцию и рассчитано как раз на широкую аудиторию. По сути это упрощенная версия нашего профессионального офтальмологического VR-симулятора.

Изначально в нем была заложена функция симуляции только бионического зрения – это уникальная возможность увидеть так, как видят люди с имплантами. Затем были добавлены другие фильтры с распространенными заболеваниями типа глаукомы и катаракты. В нем есть короткое описание симптомов и способов профилактики. Стояла задача донести важную информацию и при этом не перегрузить людей.

Симуляция помогает лучше понять своих близких. Например, у многих пожилых людей развивается катаракта или глаукома, но родственники, которые помогают им, даже не представляют, в чем выражаются эти заболевания и какими сложностями ограничены эти люди в повседневной жизни.

Также планируется выпуск версии приложения PRO для специалистов, чтобы симулятор всегда был под рукой. Приложение будет полезно дизайнерам, чтобы посмотреть на восприятие людей, которые в силу разных обстоятельств видят по-другому, и разработчикам доступной среды.

«Сенсор-Тех»

NBPrice.RU: Если говорить в целом, какие могут быть перспективы у технологий VR в медицине и в прочих отраслях деятельности человека, не считая игровую индустрию, где виртуальная реальность представлена наиболее широко?

Андрей Демчинский: VR уже сейчас достаточно широко распространен в медицине. Например, технологии виртуальной и дополненной реальности используются для обучения операциям: человек «перемещается» в операционную, перед ним лежат инструменты и сам пациент. Ты проводишь операцию поэтапно – сначала завершаешь одно действие, потом открывается следующий шаг. Есть подсказки в виде пометок, например, пунктир там, где нужно сделать разрез. Действия нужно выполнять четко, рука должна находиться в определенном положении под правильным углом, разрез должен быть конкретной глубины. Все это помогает специалистам отработать движения для уверенного проведения реальных хирургических операций.

Также в медицине VR используется для визуализации данных, например, при проведении МРТ. С помощью технологии можно «покрутить» полученные результаты, посмотреть на них с разных сторон. Я лично рассматривал трехмерную визуализацию томографии сетчатки глаза, это действительно очень удобно.

NBPrice.RU: В феврале этого года Ваши сотрудники разместили статью «The first deaf-blind patient in Russia with Argus II retinal prosthesis system: what he sees and why» в Journal of Neural Engineering. Расскажите коротко об этом исследовании и какую роль в этой операции сыграла Ваша команда?

Андрей Демчинский: В системе Argus II есть камера, картинка с которой попадает в процессор и затем усредняется до 60 точек, каждая из которых соответствует определенному электроду. С помощью программного обеспечения компании-производителя мы можем активировать каждый отдельный электрод и узнать, что в этом случае видит человек. Задача нашего исследования состояла в том, чтобы глубже понять особенности формы, площади и размеров фосфенов (вспышек, которые ощущает человек), чтобы пытаться предсказать, как будет видеть человек при тех или иных особенностях сетчатки и позиции импланта.

Что касается нашей роли в проведенных операциях. Сама операция – это всего 5-6 часов из почти года работы с одним пациентом. Работа начинается с первого знакомства и длится до завершения реабилитации. Мы соавторы проекта и участвовали во всех этапах кроме самой операции, которая прошла в Федеральном научно-клиническом центре оториноларингологии ФМБА России, и трехнедельного клинического наблюдения. Вместе с Фондом поддержки слепоглухих «Со-единение» и Благотворительным фондом Алишера Усманова «Искусство, наука и спорт» мы описывали проект, составляли план, привлекали участников, отбирали пациентов, организовывали их обследования и проведение операции, а также сопровождали послеоперационный период. Самый большой и важный блок – это реабилитация. В этот период, который длится по меньшей мере полгода, необходимо обучать человека пользоваться «новым зрением», разглядывать какие-то вещи, движения и т.д. Все это постоянные тренировки. Также мы взаимодействовали с иностранными реабилитологами и работали вместе с ними.

NBPrice.RU: Ведутся ли еще какие-либо проекты, связанные с VR/AR? Возможно есть новые идеи для разработки?

Андрей Демчинский: В нашей Лаборатории новые проекты по VR пока не ведутся.

NBPrice.RU: Большое спасибо за ответы! Желаем дальнейшего развития проектов и реализации планов и новых идей.

Комментарии

Пока нет ни одного сообщения

Добавление сообщения

наверх