Включи и смотри
Российские устройства для помощи незрячим, позволяющие им ориентироваться в пространстве и даже видеть, выигрывают у иностранных аналогов по соотношению цена— качество. Новые разработки дадут отечественной компании возможность добиться мирового лидерства в этой области
«Устройство “Робин” помогает мне знакомиться с новой обстановкой, если я приезжаю в гости или в санаторий. Можно включить функцию поиска, и он расскажет, где что находится. Он также позволяет обнаружить преграду на пути и обойти ее», — говорит Елена Какорина, незрячая женщина, использующая умную камеру для слепых.
Гаджет под названием «Робин» разработала отечественная некоммерческая лаборатория «Сенсор-Тех». Это устройство напоминает небольшую видеокамеру, которую можно носить в руках или на ремне через плечо. «Робин» захватывает окружающее изображение, с помощью искусственного интеллекта расшифровывает его и через наушники передает незрячему информацию о том, какой объект находится перед ним, или вибрацией предупреждает о препятствии на пути. Если же в поле зрения устройства попадает человек с фотографии, загруженной или снятой на умную камеру, оно называет его имя. С помощью гаджета можно также читать книги, объявления, «видеть» числа на ценниках. «Робин» умеет распознавать объекты в пределах 10 метров.
С 1 марта незрячим людям России будут бесплатно выдаваться камеры, умеющие определять категории предметов, различать лица людей и указывать расстояние до объектов: такие устройства включены в федеральный перечень технических средств реабилитации. Под определение, данное в распоряжении правительства, из российских гаджетов подходит только умная камера «Робин». Для того чтобы получить ее, незрячий человек должен будет обратиться в органы социальной защиты и пройти стандартную процедуру.
Смотрит и говорит
Лаборатория «Сенсор-Тех» была основана в 2016 году Фондом поддержки слепоглухих «Со-единение» и с тех пор разрабатывает технологические решения для людей с нарушениями слуха и зрения. Проектом «Робин» компания при поддержке НТИ, Всероссийского общества слепых, фонда «Сколково» и Минпромторга занимается уже шесть лет. На создание опытного образца было потрачено порядка 30 млн рублей, еще 20 млн потребовалось для апробации технологии, доработки гаджета и вывода продукта на рынок.
«Робин» умеет распознавать 50 объектов. Чтобы научить нейросеть определять один объект, требуются десятки тысяч изображений. Поэтому на добавление в «мозг» устройства пары вещей уходит в среднем три-четыре месяца. «Сенсор-Тех» не планирует существенно расширять кругозор «Робина»: в этом, по словам директора компании Дениса Кулешова, нет необходимости. Текущий список объектов команда проекта отбирала совместно с незрячими людьми. В перечень вошло все, что может пригодиться в повседневной жизни: предметы мебели, посуда, средства гигиены, компьютер, телефон, домашние животные, транспортные средства, дорожные знаки, пешеходные переходы. «По нашим данным, незрячие в персональных настройках своих устройств оставляют оповещения о меньшем количестве объектов, чем способен распознать “Робин”. Им нужны только самые распространенные вещи. Избыточная информация только сбивает людей. Если обычный человек закроет глаза, а кто-нибудь начнет перечислять абсолютно все, что находится вокруг, в голове невидящего будет каша».
Однако иногда в ходе обратной связи «Сенсор-Тех» получает предложения о включении в список дополнительных объектов. «Мы их всегда внутри команды обрабатываем, потом проводим продуктовое тестирование и некоторые действительно вносим. Так в датасете появились двери и лестницы, а также умные режимы для работы на улице, позволяющие распознать дорожные знаки», — рассказывает Денис Кулешов. Сергей Флейтин, слепоглухой подопечный благотворительного фонда «Со-единение», попросил «добавить еще детектор освещенности и определитель цвета, ведь у людей с полной слепоглухотой устройств с такой функциональностью нет вообще».
За последние два с половиной года около 50 «Робинов» были переданы незрячим людям. На розничные заказы от физлиц приходится порядка 5% продаж таких устройств. Остальные 95% закупают государственные или частные учреждения, в том числе спонсоры и благотворительные организации. «Сами гаджеты достаточно дорогие: розничная стоимость составляет 170 тыс. рублей. Поэтому не все люди с инвалидностью могут позволить себе купить “Робин”, — комментирует Денис Кулешов. — Нам приходилось искать спонсоров, которые оплачивали бы производство и таким образом дарили умные устройства слепым».
Себестоимость изделий в основном складывается из цены комплектующих и затрат на производство. Большую часть микроэлектроники «Сенсор-Тех», как и многие крупные компании, закупает в Китае, поэтому не зависит от поставок из недружественных стран. В гаджете установлены две широкоугольные видеокамеры, с помощью которых он не только захватывает изображение, но и анализирует, насколько далеко находится тот или иной объект. В устройстве также есть высокочувствительные лазерный и ультразвуковой датчики, которые определяют крупные препятствия, компьютер на платформе Linux и три модуля, которые отвечают за работу различных систем.
За последний год стоимость комплектующих увеличилась на 30%, что сказалось на цене готовой продукции «Сенсор-Теха». Дороговизна устройств также объясняется небольшими размерами производства. «Судя по спросу, в России требуется максимум тысяча изделий в год. Если бы у нас заказали 200 тысяч устройств на ближайшие несколько лет, стоимость можно было бы снизить втрое за счет экономии на масштабе. Но в индустрии товаров для инвалидов таких заказов не бывает», — поясняет Денис Кулешов.
После включения «Робина» в перечень технических средств реабилитации лаборатория «Сенсор-Тех» начала производство первой партии в 1000 устройств. «На это уйдет порядка трех-четырех месяцев, процесс уже запущен», — говорит директор компании. Но если ранее гаджеты собирались вручную на собственном заводе «Сенсор-Теха» на Павелецкой набережной в Москве, то выпуском большой партии по контракту займется сторонняя компания во Фрязино.
Лаборатория еще не поставляет свою продукцию на зарубежные рынки, но уже задумывается об этом. «Мы активно ищем возможности для того, чтобы развиваться не только в России: ездим с бизнес-миссиями, изучаем разные регионы. Но пока действовать рановато. Думаю, об этом стоит поговорить ближе к 2024 году», — добавляет Денис Кулешов.
В мире существуют гаджеты, подобные «Робину», однако они дороже российской разработки. Например, израильская камера с функцией распознавания текста, лиц и различных объектов OrCam MyEye 2 продается по цене выше 500 тыс. рублей. А аналогичное устройство для слепых и слабовидящих на базе смарт-очков Google, выпущенное голландской компанией Envision три года назад, стоит порядка 2500 долларов (около 182 тыс. рублей).
У самой «Сенсор-Тех» тоже есть разработки, частично дублирующие функционал «Робина». Это мобильные приложения для незрячих «Определитель предметов» и «Определитель купюр», которые устанавливаются на смартфон. Однако полностью заменить умную камеру они не могут. «Например, функция определения расстояния до объектов работает только со специальным датчиком, на смартфонах такого нет. Плюс “Робин” не требует подключения к интернету, в нем установлена хорошая видеокамера», — говорит Денис Кулешов.
Новые «глаза»
Помимо «Робина» и мобильных приложений у «Сенсор-Теха» есть еще целый ряд проектов. Например, устройство распознавания речи для глухих «Чарли». Высокочувствительный массив микрофонов «слышит» говорящего на расстоянии двух метров, затем речь преобразовывается в текст, а текст может быть выведен на экран любого устройства, включая брайлевские дисплеи, чтобы глухой или слепоглухой человек смог понять собеседника. «Чарли» использует технологии распознавания речи от группы компаний ЦРТ. Это российский разработчик решений на основе искусственного интеллекта, машинного обучения и компьютерного зрения. В частности, решения ЦРТ присутствуют в Единой биометрической системе, запущенной в 2018 году.
Сейчас около 40 устройств «Чарли» по 210 тыс. рублей каждое уже работают в МФЦ, центрах социальной защиты, поликлиниках и образовательных учреждениях, облегчая общение глухих людей с сотрудниками этих организаций. «Это не повсеместная история, распространение таких устройств не стоит на балансе государства. Все зависит от желания отдельных организаций сделать у себя доступную среду», — поясняют в пресс-службе фонда «Со-единение».
«Сенсор-Тех» изготавливает порядка 50 устройств «Чарли» в год на собственном производстве в Москве. «Но как только потребуется сделать 500 штук или больше, нам придется либо расширять свои мощности, либо передавать заказ по контракту», — отмечают в компании.
Но самый амбициозный проект «Сенсор-Теха» — первая в России линейка нейроимплантов ELVIS, которые позволят воздействовать на органы чувств человека, возвращая зрение слепым, слух глухим и корректируя серьезные неврологические нарушения, вызванные болезнями Паркинсона и Альцгеймера. Проект ведется при поддержке Института высшей нервной деятельности и нейрофизиологии РАН, Центра коллективного проектирования Российского технологического университета МИРЭА, Медицинского университета им. И. М. Сеченова, а также других ведущих научных и медицинских учреждений.
В линейку входят три устройства. Первый — нейроимплант для восстановления слуха ELVIS C. Он передает звуки с микрофона напрямую в улитку внутреннего уха, где находятся нервные окончания. Сейчас пациентам ставят подобные импланты зарубежных производителей, и ELVIS C станет первым отечественным устройством в этой сфере. Вторая разработка — нейроимплант для коррекции неврологических заболеваний ELVIS DBS (Deep Brain Stimulation — глубокая стимуляция мозга). Эта модель предназначена для людей, страдающих от болезни Паркинсона, хронических болей, тремора, синдрома Туретта и других серьезных неврологических расстройств. С помощью специальных игл электроды вводят прямо в мозг, а в тело человека имплантируется специальное устройство, которое постоянно воздействует слабыми токами на подкорковые мозговые структуры. В результате выраженность симптомов заболевания удается уменьшить. Подобные операции в стране уже проводятся, но используется при этом только американское оборудование. «Наша задача — сделать так, чтобы в России появились свои технологии», — говорит Денис Кулешов. ELVIS C и ELVIS DBS сейчас находятся на стадии изготовления прототипов систем.
Третий нейроимплант — ELVIS V — позволяет слепым видеть. Система состоит из трех частей. В зону мозга, отвечающую за зрение, устанавливается матрица электродов, которая стимулирует мозг малыми токами. Благодаря этому человек видит вспышки света и начинает испытывать зрительные ощущения. На голову надевается обруч с двумя камерами, которые захватывают изображение в реальном времени. Микрокомпьютер анализирует картинку с камер, выделяет контуры объектов и передает обработанное изображение на матрицу в мозге. В результате в голове незрячего формируется образ предмета. Конечно, речь идет не о полноценном зрении, а о контурном: человек сможет видеть лишь очертания объектов и людей на своем пути.
Новая технология будет эффективна для слепых и слепоглухих, у которых есть поражение сетчатки, патология зрительного нерва или другие тяжелые нарушения зрения. Нейроимплант позволит видеть даже людям, физически не имеющим глаз. «Около 300 тысяч человек в России являются слепыми. Нейроимплант ELVIS поможет вернуть зрение как минимум 20 процентам из них», — уверены в компании.
Год назад в НИИ медицинской приматологии в Сочи прошла первая операция по установке ELVIS V обезьяне — шестилетнему самцу павиана. В эксперименте была задействована целая команда медиков: нейрохирург, нейрофизиолог, анестезиологи, ветеринарные врачи. Команда проекта изучала, как мозг обезьяны отреагирует на вживленную электронику, проверяла биосовместимость. Все прошло успешно.
В ближайший год нейроимпланты планируется вживить десяткам обезьян, а затем провести серию поведенческих экспериментов. В одном из них животное заранее обучат различать геометрические фигуры. После установки электродов в зрительную кору головного мозга примат будет выполнять то же упражнение по распознаванию предметов, но с завязанными глазами — с помощью электронного зрения.
В мире пока нет ни одной сертифицированной технологии по установке нейроимплантов для восстановления зрения. «Мы стремимся к мировому лидерству. Но нас пока опережает одна американская компания, которая уже проводит испытания с участием людей», — отмечает Денис Кулешов.
«Сенсор-Тех» надеется приступить к экспериментам на людях в 2024 году; в них смогут принять участие порядка десятка незрячих и слепоглухих добровольцев. В 2027 году клинические испытания должны завершиться, и в случае их успеха операции с ELVIS V начнут внедрять в российскую медицинскую практику. Первые операции планируется провести при поддержке Минздрава России, благотворительных фондов и спонсоров, а также на коммерческой основе для состоятельных клиентов.
Пока «Сенсор-Тех» может заниматься подобными разработками, не гонясь за прибылью: объем ее финансирования составляет от 60 до 100 млн рублей ежегодно. В основном это поддержка фонда «Со-единение» и государственные гранты. Бюджет, выделяемый фондом на проекты лаборатории, постоянно растет: с 11,9 млн рублей в 2019 году он дошел до почти 100 млн в 2023-м. В пресс-службе «Со-единения» это объясняют тем, что разработка нейроимпланта ELVIS и проведение испытаний требуют значительных вложений.
Пока продажа устройств приносит компании всего 10% прибыли. «Но по мере увеличения госзакупок изделий эта часть может существенно вырасти: в сфере товаров для инвалидов 90 процентов продаж приходится на госзакупки и предоставление устройств через социальные службы, — говорит Денис Кулешов. — Мы каждый год стараемся наращивать долю доходов от социального предпринимательства, потому что компания не может все время жить на гранты или зависеть от спонсорской поддержки».
Фотографии предоставлены компанией
Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl