Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Гадюка попыталась проглотить зайчонка в десять раз тяжелее себя Гадюка попыталась проглотить зайчонка в десять раз тяжелее себя

Некоторые змеи способны целиком проглатывать добычу, которая очень велика

N+1
$155 млн за драгоценности: как Хайди Хортен побила рекорд Элизабет Тейлор $155 млн за драгоценности: как Хайди Хортен побила рекорд Элизабет Тейлор

Как Хайди Хортен удалось собрать уникальную коллекцию драгоценностей

Forbes
Эти ошибки допускают все, и только 35% людей пользуются беспроводными наушниками правильно Эти ошибки допускают все, и только 35% людей пользуются беспроводными наушниками правильно

Ошибки, которые ухудшают качество звука и срок службы наушников

ТехИнсайдер
7 преимуществ шоколада: почему есть его даже нужно 7 преимуществ шоколада: почему есть его даже нужно

Вы и не догадывались о том, что у шоколада столько плюсов!

ТехИнсайдер
Путь Дзэн Путь Дзэн

Истоки, принципы, практика

kiozk originals
Кто научит детей жизни в цифровом мире Кто научит детей жизни в цифровом мире

Кто должен стать для подростка главным проводником в цифровом пространстве?

СНОБ
Британские ученые выяснили: по каким формулам изучать искусство Ренессанса Британские ученые выяснили: по каким формулам изучать искусство Ренессанса

Издательство Ad Marginem выпускают коллекцию книг, посвященных искусству

Forbes
Пять болевых точек российских финансов: что тревожит ЦБ и аналитиков Пять болевых точек российских финансов: что тревожит ЦБ и аналитиков

Банк России назвал пять главных уязвимостей финансового сектора России

Forbes
«Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото «Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото

Мила Йовович рассказала, на что решилась ее мать ради будущего дочери

VOICE
Виден нам берег турецкий Виден нам берег турецкий

Турция заняла четвертое место по объему строящихся яхт длиной от 24 м

Y Magazine
Можно ли использовать ИИ в медицине и здравоохранении? Пока — нет Можно ли использовать ИИ в медицине и здравоохранении? Пока — нет

Комплексная этическая основа для использования ИИ в здравоохранении и медицине

ТехИнсайдер
Лесной «подземный интернет» приносит не только пользу, но и вред деревьям Лесной «подземный интернет» приносит не только пользу, но и вред деревьям

Почему «гипотеза материнского дерева» поставлена под сомнение

ТехИнсайдер
Зачем нужен психолог, и как выбрать своего? Зачем нужен психолог, и как выбрать своего?

На что обратить внимание, подбирая психолога?

Здоровье
«Стражи галактики. Часть 3»: как новый фильм Marvel возвращает любовь к комиксам «Стражи галактики. Часть 3»: как новый фильм Marvel возвращает любовь к комиксам

Как Джеймс Ганн смог создать действительно трогательное кино

Forbes
Как вывести пятно от красного вина с чего угодно: полный гайд Как вывести пятно от красного вина с чего угодно: полный гайд

Полный гайд, который поможет быстро удалить вино с любой поверхности

ТехИнсайдер
Механизм подражания vs желание выделиться: гештальт-терапевт о том, зачем нам нужна мода Механизм подражания vs желание выделиться: гештальт-терапевт о том, зачем нам нужна мода

Почему мода так важна для некоторых из нас?

Psychologies
Квартирам придают ускорение Квартирам придают ускорение

Продать жилье на «рынке покупателя» помогает хоумстейджинг

Деньги
Колосс Херсонский Колосс Херсонский

Среди достижений Григория Потёмкина не только военные и любовные победы

Дилетант
От воздержания до терроризма: кто такие инцелы, где они обитают и чем опасны От воздержания до терроризма: кто такие инцелы, где они обитают и чем опасны

Глава из книги «Инцелы. Как девственники становятся террористами»

Psychologies
Метеорит упал на жилой дом в США: возможно, это часть кометы Галлея Метеорит упал на жилой дом в США: возможно, это часть кометы Галлея

Космический объект размером с картофелину врезался в крышу американского дома

ТехИнсайдер
Транзитная зона: как устроена жизнь в мангровом лесу Транзитная зона: как устроена жизнь в мангровом лесу

Здесь а обитатели моря стоят перед выбором — какую из двух сред предпочесть

Вокруг света
«Я стала более открытой» «Я стала более открытой»

Она принадлежит к тому типу актрис, которые «взрослеют» довольно долго

OK!
Как создавался образ Дарта Вейдера — главного кинозлодея в истории Как создавался образ Дарта Вейдера — главного кинозлодея в истории

Но как появился этот образ и почему Лорд ситхов выглядит именно так?

Правила жизни
Живые помощники: какие насекомые полезны для сада и как их можно привлечь? Живые помощники: какие насекомые полезны для сада и как их можно привлечь?

Порой настоящие герои не носят плащи — чтобы они не мешали их крыльям!

ТехИнсайдер
Сырная история Сырная история

Как люди научились варить сыры

Вокруг света

Владелец «Гельвеции» — об одной маленькой, но очень активной категории гостей

Правила жизни
«Брат по духу номер один»: как певец Джеймс Браун прошел путь от мелкого воришки до суперзвезды соула «Брат по духу номер один»: как певец Джеймс Браун прошел путь от мелкого воришки до суперзвезды соула

Как Джеймс Браун стал кумиром для многомиллионной аудитории

Вокруг света
Тайна Рюрика: кем же был основатель первой правящей династии на Руси Тайна Рюрика: кем же был основатель первой правящей династии на Руси

Тайна появления Рюрика на Руси до сих пор не разгадана

Вокруг света
Где этот отель? Где этот отель?

Мы собрали для вас необычные и классные места для отдыха летом и не только

Новый очаг
Как перестать опаздывать? Как перестать опаздывать?

«Синдром опаздывания»: почему он возникает и что с этим делать?

Psychologies
Открыть в приложении