Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Оригами-робота научили прижимать ноги и ходить по-крабьи Оригами-робота научили прижимать ноги и ходить по-крабьи

Инженер из Германии разработал четвероногого оригами-робота Fold Walker

N+1
Заигрывания с историей: почему сериал «Царица Клеопатра» оскорбил Египет Заигрывания с историей: почему сериал «Царица Клеопатра» оскорбил Египет

Почему сериал «Царица Клеопатра» вызвал такую бурную реакцию?

Forbes
Как скопировать и вставить таблицу в Экселе Как скопировать и вставить таблицу в Экселе

Как скопировать таблицу в Эксель так, чтобы все осталось на своих местах

CHIP
«Улица — моя сцена»: как устроена работа современного экскурсовода и чем привлекает эта профессия «Улица — моя сцена»: как устроена работа современного экскурсовода и чем привлекает эта профессия

Чтобы стать гидом, необязательно иметь профильное образование

Вокруг света
«Мозг: еда и новизна. Почему нас тянет к новому и вкусному» «Мозг: еда и новизна. Почему нас тянет к новому и вкусному»

Как еда вызывает эмоции

N+1
История на свалке: эти вещи закопали в XVI веке из-за подозрения, что владельцы заражены чумой История на свалке: эти вещи закопали в XVI веке из-за подозрения, что владельцы заражены чумой

Люди так боялись заразиться чумой, что выбрасывали даже серебряные монеты

Вокруг света
Вот почему богатые люди не носят чехлы на телефонах. Интересный факт! Вот почему богатые люди не носят чехлы на телефонах. Интересный факт!

Отказ от чехла для телефона — это, вероятно, последний символ скрытого богатства

ТехИнсайдер
Другая вода и почти нет кислорода: чем манит ученых «голубая дыра» глубиной 274 м на дне океана? Другая вода и почти нет кислорода: чем манит ученых «голубая дыра» глубиной 274 м на дне океана?

Содержимое этого гигантского конуса расскажет о древней Земле

Вокруг света
Четыре сыра Четыре сыра

Как сменить город на деревню и стать сыроваром

Вокруг света
Кокетство конспирации: посмотрите, что умудрялись прятать в книгах 500 лет назад Кокетство конспирации: посмотрите, что умудрялись прятать в книгах 500 лет назад

Издавна в книгах скрывали секретное, прятали краденое, утаивали запретное

Вокруг света
«Я не смогла сдержаться и разрыдалась»: Лариса Долина рассказала о последней встрече с Александром Абдуловым «Я не смогла сдержаться и разрыдалась»: Лариса Долина рассказала о последней встрече с Александром Абдуловым

Лариса Долина видела Александра Абдулова в больнице незадолго до его смерти

VOICE
Оставаться нельзя выбраться Оставаться нельзя выбраться

Как выйти из френдзоны

Лиза
«Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото «Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото

Мила Йовович рассказала, на что решилась ее мать ради будущего дочери

VOICE
10 секретов нейл-мастеров, которые сделают домашний педикюр намного проще 10 секретов нейл-мастеров, которые сделают домашний педикюр намного проще

Советы, которые превратят процедуру домашнего педикюра в сплошное удовольствие!

VOICE
Перестаньте это делать! Эксперимент показал негативные последствия ночных перекусов Перестаньте это делать! Эксперимент показал негативные последствия ночных перекусов

С помощью небольшого эксперимента ученые доказали вред приема пищи поздно ночью

ТехИнсайдер
Что такое pleasure gap и почему женщины получают меньше удовольствия от секса Что такое pleasure gap и почему женщины получают меньше удовольствия от секса

Почему мы все еще далеки от сокращения pleasure gap в сексе?

Forbes
Ритуалы в день рождения: что делать, чтобы привлечь удачу на весь год Ритуалы в день рождения: что делать, чтобы привлечь удачу на весь год

День рождения — не просто дата, которая прибавляет года и полезные презенты

VOICE
Аккреционный диск черной дыры воссоздали без стенок в лаборатории Аккреционный диск черной дыры воссоздали без стенок в лаборатории

Британские и американские физики создали лабораторный аналог аккреционного диска

N+1
На дальней станции сойду На дальней станции сойду

Как и к чему готовят космонавтов

Men Today
Русский тур Русский тур

Как коровы из Месопотамии пришли на Русский Север, выжили и не замерзли

Вокруг света
Иммунолог о вспышке птичьего гриппа в Москве Иммунолог о вспышке птичьего гриппа в Москве

Что за болезнь птичий грипп и опасна ли она для человека

СНОБ
Эта женщина прожила в 3 веках: ей было 110 лет. Поразительно! Эта женщина прожила в 3 веках: ей было 110 лет. Поразительно!

Первая женщина, которая официально получила титул сверхдолгожителя

ТехИнсайдер
Прямая речь: Майли Сайрус Прямая речь: Майли Сайрус

Майли Сайрус — о себе и своей карьере

ЖАРА Magazine
Лук-порей Лук-порей

Чем лук-порей отличается от своих собратьев и что с ним можно приготовить?

Здоровье
Что нужно знать о легендарном фотографе Ричарде Аведоне Что нужно знать о легендарном фотографе Ричарде Аведоне

Показываем знаковые работы модного фотографа Ричарда Аведоне

Правила жизни
Полифония сюрреализма: 15 скрытых символов на картине Дали «Мадонна Порт-Льигата» Полифония сюрреализма: 15 скрытых символов на картине Дали «Мадонна Порт-Льигата»

Работы Сальвадора Дали наполнены символами и аллегориями

Вокруг света
Томмазо Спадолини Томмазо Спадолини

Видение мира, в котором мы живем, отражается на наших проектах

Y Magazine
Подмена эмоций: как распознать у себя рэкетные чувства Подмена эмоций: как распознать у себя рэкетные чувства

Из-за чего происходят рэкетные чувства и как разобраться в себе?

VOICE
Не жена, а «мамочка» Не жена, а «мамочка»

Некоторые женщины не замечают, что воспитывают своего мужа

Лиза
«Огарок во тьме» «Огарок во тьме»

Жизнь Ричарда Докинза в науке

N+1
Открыть в приложении