Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Почему мы помним. Как раскрыть способность памяти удерживать важное» «Почему мы помним. Как раскрыть способность памяти удерживать важное»

Как гиппокамп участвует в работе памяти

N+1
Теломеры протеев удлинились с возрастом Теломеры протеев удлинились с возрастом

При постоянной температуре теломеры в клетках протея удлиняются с возрастом

N+1
Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков

Настроить телевизор правильно — проще, чем кажется

ТехИнсайдер
Какая поза для сна «самая полезная» Какая поза для сна «самая полезная»

Ваша поза во сне может повлиять на его качество, а также на ваше самочувствие

ТехИнсайдер
Стесняюсь спросить: как распознать болезнь Альцгеймера? Стесняюсь спросить: как распознать болезнь Альцгеймера?

Альцгеймер: как распознать на ранних этапах и встречается ли он у молодых?

Правила жизни
«Отношения должны принять иную форму»: 5 шагов, чтобы расстаться осознанно, — история семейного психотерапевта «Отношения должны принять иную форму»: 5 шагов, чтобы расстаться осознанно, — история семейного психотерапевта

Возможно ли объединить понятия «осознанность» и «расставание»?

Psychologies
Миссия: металл Миссия: металл

Зонд Psyche должен будет осмотреть целиком металлический мир

ТехИнсайдер
Как Мария Цебрикова спорила с писателями о женщинах и защищала права заключенных Как Мария Цебрикова спорила с писателями о женщинах и защищала права заключенных

Мария Цебрикова разоблачала «мужской взгляд» писателей на женских персонажей

Forbes
«Как сказать мужчине, чего мне хочется?»: 3 совета сексолога «Как сказать мужчине, чего мне хочется?»: 3 совета сексолога

Как откровенно разговаривать со своим партнером?

Psychologies
Венерианские «грозы» Леонида Ксанфомалити Венерианские «грозы» Леонида Ксанфомалити

Насколько своеобразны инопланетные стихии?

Наука и жизнь
Эспрессо на мелком помоле оказался невкусным из-за положительной обратной связи Эспрессо на мелком помоле оказался невкусным из-за положительной обратной связи

Почему при слишком мелком помоле эспрессо получается невкусным?

N+1
33 совета, которые спасут ваш отпуск 33 совета, которые спасут ваш отпуск

Потратьте немного времени и продумайте аптечку в путешествие

Новый очаг
Хит на все времена: 11 лучших ролей Хита Леджера Хит на все времена: 11 лучших ролей Хита Леджера

От хулигана Патрика до доктора Парнаса: лучшие роли Хита Леджера

Правила жизни
Нейроны мышей почувствовали ультразвук механочувствительными ионными каналами Нейроны мышей почувствовали ультразвук механочувствительными ионными каналами

Мозг «чувствует» ультразвук низкой интенсивности

N+1
Партия, сменяемость власти и открытость: в чем секрет китайской модели развития Партия, сменяемость власти и открытость: в чем секрет китайской модели развития

Что представляет собой китайский путь развития страны?

Forbes
Меценат Наталия Опалева — о нонконформистах и чувстве сопричастности Меценат Наталия Опалева — о нонконформистах и чувстве сопричастности

Основатель музея AZ Наталией Опалевой — как соединяются бизнес и искусство

РБК
Нас не проведешь Нас не проведешь

Как без медицинского образования оценить рекомендации врача?

Лиза
Красный маркер обиды Красный маркер обиды

Зачем нужна обида? И как с ней жить?

Здоровье
Как избавиться от запаха бензина в салоне автомобиля, на коже и одежде: механик со смекалкой подсказал решение Как избавиться от запаха бензина в салоне автомобиля, на коже и одежде: механик со смекалкой подсказал решение

Как избавиться от специфического аромата бензина на руках, одежде и в авто

ТехИнсайдер
Что русскому хорошо: 4 вещи, которые возмутили немцев во время путешествия по России Что русскому хорошо: 4 вещи, которые возмутили немцев во время путешествия по России

Некоторые ситуации во время путешествия по России показались немцам вопиющими

Вокруг света
Спортивный комплекс: 5 несносных типов мужчин-спортсменов Спортивный комплекс: 5 несносных типов мужчин-спортсменов

Пять типов спортивный парней, от которых стоит держаться подальше

VOICE

Как одеваться после 40 лет, чтобы выглядеть неотразимо?

VOICE
Cамый загадочный диагноз Cамый загадочный диагноз

ВСД: что это за болезнь и почему врачи её отрицают?

Лиза
Bronco II. Грандиозная катастрофа Ford Bronco II. Грандиозная катастрофа Ford

Инженеры знали, что у машины есть проблемы, но Ford решил закрыть на это глаза

4x4 Club
12 продуктов, которые можно (и даже нужно) есть на ночь: рекомендации нутрициолога 12 продуктов, которые можно (и даже нужно) есть на ночь: рекомендации нутрициолога

Могут ли ночные перекусы положительно влиять на здоровье?

Psychologies
Как Королевство Бутан тайно хранило миллионы долларов в криптовалюте Как Королевство Бутан тайно хранило миллионы долларов в криптовалюте

Буддийское королевство тайно инвестировало миллионы долларов в криптовалюту

Forbes
Биоспелеология: что ищут биологи в пещерах Биоспелеология: что ищут биологи в пещерах

Какая фауна обитает в пещерах?

Наука и жизнь
Слабый сильный пол Слабый сильный пол

Чем чаще всего болеют мужчины (краткий курс для заботливых жен)

Лиза
В Большом тихоокеанском мусорном пятне обжились прибрежные беспозвоночные В Большом тихоокеанском мусорном пятне обжились прибрежные беспозвоночные

Прибрежные беспозвоночные отлично освоились на плавающих кусках мусора

N+1
Рынок комбикормов вырос вопреки проблемам Рынок комбикормов вырос вопреки проблемам

Топ-25 крупнейших компаний выпустили более 21 млн т продукции

Агроинвестор
Открыть в приложении