Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Химики воспроизвели межзвездный синтез всех молекул цикла Кребса Химики воспроизвели межзвездный синтез всех молекул цикла Кребса

Химики в лаборатории синтезировали весь набор карбоновых кислот из цикла Кребса

N+1
Ольга Посух Ольга Посух

Ольга Посух мастерски совмещает юмор и науку

Правила жизни
Как ИИ копирует голоса и помогает мошенникам вымогать деньги Как ИИ копирует голоса и помогает мошенникам вымогать деньги

Как мошенники используют уникальную способность нейросетей к копированию голоса

Inc.
Топ-5 классических фильмов с эротическими сценами Топ-5 классических фильмов с эротическими сценами

Эротические этюды всегда привлекали режиссеров и продюсеров

Maxim
Исследование показало, сколько раз нужно заниматься сексом, чтобы снизить риск депрессии Исследование показало, сколько раз нужно заниматься сексом, чтобы снизить риск депрессии

Секс один-два раза в неделю может принести наибольшую психологическую пользу

Inc.
5 самых важных приседаний: как распознать главную болезнь стремительно стареющего мира 5 самых важных приседаний: как распознать главную болезнь стремительно стареющего мира

Благодаря новому онлайн-инструменту можно будет выявлять серьезные заболевания

Вокруг света
Партнер подвергался сексуальному насилию в детстве: как поддержать и чем помочь Партнер подвергался сексуальному насилию в детстве: как поддержать и чем помочь

Как себя вести, если ваш любимый человек пережил в детстве сексуальное насилие?

Psychologies
Темнокожие красотки: кем были бывшие жены Роберта Де Ниро Темнокожие красотки: кем были бывшие жены Роберта Де Ниро

Предлагаем посмотреть на бывших жен Роберта Де Ниро

VOICE
«Я была малолеткой, никто не желал мне помогать»: почему женщины идут в проституцию «Я была малолеткой, никто не желал мне помогать»: почему женщины идут в проституцию

Отрывок из книги Роберта Колкера «Исчезнувшие девушки»

Forbes
Зачем на крыши автомобилей устанавливали огромные мешки? Зачем на крыши автомобилей устанавливали огромные мешки?

Огромные мешки на верхних багажниках автомобилей — топливные баки

Maxim
Эти хэтчбеки ломаются реже всего. Составлен новый рейтинг Эти хэтчбеки ломаются реже всего. Составлен новый рейтинг

Бюджетные хэтчбеки на вторичном рынке, которые ломаются реже всего

РБК
«Окно Джохари» и еще 10 способов раскрыть свои таланты «Окно Джохари» и еще 10 способов раскрыть свои таланты

Предлагаем вам провести блиц-самоанализ и узнать о своих талантах

Psychologies
Что такое «синдром счастливчика» и почему позитивное мышление не всегда полезно Что такое «синдром счастливчика» и почему позитивное мышление не всегда полезно

Способно ли позитивное мышление изменить жизнь человека?

Maxim
5 ягод, которые несут максимальную пользу здоровью 5 ягод, которые несут максимальную пользу здоровью

Давайте узнаем о пользе пяти самых популярных ягод!

ТехИнсайдер
Кирилл Крок: «У меня нет амбиций быть худруком. Если завтра выяснится, что где-то есть молодой Мейерхольд, я сам к нему поеду» Кирилл Крок: «У меня нет амбиций быть худруком. Если завтра выяснится, что где-то есть молодой Мейерхольд, я сам к нему поеду»

Кирилл Крок рассказал о своей работе в Театра Вахтангова

Коллекция. Караван историй
«Мерзлая земля»: каким получился сериал, основанный на реальных событиях в Хакасии «Мерзлая земля»: каким получился сериал, основанный на реальных событиях в Хакасии

Тру-крайм «Мерзлая земля» основан на реальных событиях в Хакасии

Forbes
Как носить джинсовку этим летом: 4 крутых способа от стилиста Как носить джинсовку этим летом: 4 крутых способа от стилиста

С чем можно комбинировать джинсовку, чтобы выглядеть неотразимо?

VOICE
5 признаков того, что вы находитесь в созависимых отношениях 5 признаков того, что вы находитесь в созависимых отношениях

Какие признаки созависимых отношений бывают и можно ли с этим справиться?

Psychologies
Я — сноб: режиссер Олег Трофим Я — сноб: режиссер Олег Трофим

Режиссер Олег Трофим: чем он гордится и без чего не представляет свой день?

СНОБ
Как зуммеры и миллениалы относятся к вождению и машинам? Интересный факт Как зуммеры и миллениалы относятся к вождению и машинам? Интересный факт

Процент людей с водительскими правами значительно снизился с 1980-х годов

ТехИнсайдер
Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023 Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023

Пять представителей в рейтинге самых высокооплачиваемых спортсменов мира до 25

Forbes
Волшебная страна Биармия и викинги: чудеса карело-финских мифов, о которых вы наверняка не слышали Волшебная страна Биармия и викинги: чудеса карело-финских мифов, о которых вы наверняка не слышали

Здесь обитали великаны и амазонки, которые способны были зачать от глотка воды

Вокруг света
Ты да я, да мы с тобой Ты да я, да мы с тобой

Чем заняться с подругой на праздниках

Лиза
Смирная провокационность Смирная провокационность

Волосы в Musee des Arts Decoratifs

Weekend
Путешествие по Москве: маршрут от Музея транспорта Путешествие по Москве: маршрут от Музея транспорта

Музей Транспорта Москвы разработал специальный маршрут по Москве

Культура.РФ
Через «долину смерти»: на создание отечественного лекарства от Паркинсона нет денег Через «долину смерти»: на создание отечественного лекарства от Паркинсона нет денег

Препарат «Проттремин» для лечения болезни Паркинсона оказался перспективным

Forbes
Каким советские писатели и журналисты запомнили День Победы Каким советские писатели и журналисты запомнили День Победы

Как окончание войны встретили русские писатели и военные корреспонденты

СНОБ
«Я психанул, когда увидел Брэда Питта»: Гоша Куценко рассказал, как опозорился перед голливудским актером «Я психанул, когда увидел Брэда Питта»: Гоша Куценко рассказал, как опозорился перед голливудским актером

Как Гоша Куценко отказался от роли после беседы с Брэдом Питтом

VOICE
Таксистов попросили оставить без второй страховки. Почему это важно Таксистов попросили оставить без второй страховки. Почему это важно

О поправках введения дополнительного страхового полиса для таксистов

РБК
Что делать, если у вашего партнера другие ценности и принципы? Что делать, если у вашего партнера другие ценности и принципы?

Отличия в системах ценностей и принципов способны вызвать серьезные конфликты

Psychologies
Открыть в приложении