Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Colossal возродит новозеландских моа Colossal возродит новозеландских моа

Colossal Biosciences заявила о планах возродить новозеландских моа

N+1
Молодое поколение этого не знает! Вот как Битлз изменили мир музыки Молодое поколение этого не знает! Вот как Битлз изменили мир музыки

Как Битлз завоевали сердца не только слушательниц, но и аудиофилов

ТехИнсайдер
Кибербезопасность в бизнесе — игнорировать нельзя использовать Кибербезопасность в бизнесе — игнорировать нельзя использовать

Как кибербезопасность вписывается в общую систему информационной безопасности

Inc.
13 неочевидных правил успешного человека: проверьте себя 13 неочевидных правил успешного человека: проверьте себя

Как еще можно определить, что вы уже вполне успешный человек?

Maxim
Вечная молодость: 7 легендарных внедорожников, которые выпускались более 20 лет Вечная молодость: 7 легендарных внедорожников, которые выпускались более 20 лет

Автотитаны, которые десятилетиями остаются на конвейере

4x4 Club
Лесной «подземный интернет» приносит не только пользу, но и вред деревьям Лесной «подземный интернет» приносит не только пользу, но и вред деревьям

Почему «гипотеза материнского дерева» поставлена под сомнение

ТехИнсайдер
Тянем-потянем Тянем-потянем

10 самых эффективных упражнений для поясницы (помогут снять боль в спине)

Лиза
10 фильмов, которые притворяются плохими, а на самом деле классные 10 фильмов, которые притворяются плохими, а на самом деле классные

Каверзные кинокартины, которые обманывают зрителя, делая ему хорошо

Maxim
Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023 Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023

Пять представителей в рейтинге самых высокооплачиваемых спортсменов мира до 25

Forbes
«Меня стали замечать и приглашать на ТВ». Как смена имиджа перевернула жизнь наших героинь «Меня стали замечать и приглашать на ТВ». Как смена имиджа перевернула жизнь наших героинь

Перемены во внешности часто «подтягивают» за собой позитивные изменения в жизни

Лиза
Повелители инвойсов: как выходцы из онлайн-банков построили в Германии стартап Monite Повелители инвойсов: как выходцы из онлайн-банков построили в Германии стартап Monite

Как Иван Марьясин задумал стартап по финансовой автоматизации

Forbes
От марафона желаний до уголовного дела: что случилось с Блиновской - рассказывает нумеролог От марафона желаний до уголовного дела: что случилось с Блиновской - рассказывает нумеролог

Почему Елена Блиновская так бесславно закончила свои сверхприбыльные марафоны?

VOICE
Лена Ужинова Лена Ужинова

Лена Ужинова — одна из самых известных и титулованных российских художников

Правила жизни
5 признаков того, что вы находитесь в созависимых отношениях 5 признаков того, что вы находитесь в созависимых отношениях

Какие признаки созависимых отношений бывают и можно ли с этим справиться?

Psychologies
«Простите, но это мое мнение»: за что вы не должны извиняться — 7 примеров «Простите, но это мое мнение»: за что вы не должны извиняться — 7 примеров

За что мы извиняемся, когда не нужно

Psychologies
Аккреционный диск черной дыры воссоздали без стенок в лаборатории Аккреционный диск черной дыры воссоздали без стенок в лаборатории

Британские и американские физики создали лабораторный аналог аккреционного диска

N+1
За молоком За молоком

В выходные жена послала меня за молоком в деревню

Вокруг света
Археологи уточнили возраст трех неандертальских погребений из Ла-Ферраси Археологи уточнили возраст трех неандертальских погребений из Ла-Ферраси

Археологи уточнили хронологию известного археологического памятника Ла-Ферраси

N+1
PandaX не нашла электромагнитно взаимодействующую темную материю PandaX не нашла электромагнитно взаимодействующую темную материю

Для поиска темной материи физики упрятали четыре тонны жидкого ксенона под гору

N+1
Театр природы Театр природы

Случайным зрителем этой идеальной гармонии и красоты стала лишь одна яхта

Y Magazine
«Наш дом не здесь»: как сейчас меняется жизнь россиян в Грузии «Наш дом не здесь»: как сейчас меняется жизнь россиян в Грузии

Что думают переехавшие в Грузию россияне, изменились ли их настроения

Forbes
Гипоксия наполовину продлила жизнь ускоренно стареющих мышей Гипоксия наполовину продлила жизнь ускоренно стареющих мышей

Несколько видов воздействия, замедляющих старение и продлевающих жизнь

N+1
«Я всегда знала, что нельзя размениваться. И лучше быть одной, чем с тем, кого ты не любишь», — говорила Инна Макарова «Я всегда знала, что нельзя размениваться. И лучше быть одной, чем с тем, кого ты не любишь», — говорила Инна Макарова

Анжелика Пахомова рассказала о том, какой была актриса Инна Макарова

Коллекция. Караван историй
Чтение выходного дня: фрагменты из книги «Типа панки. Опыты индивидуализма и неподчинения в СССР» Миши Бастера Чтение выходного дня: фрагменты из книги «Типа панки. Опыты индивидуализма и неподчинения в СССР» Миши Бастера

Несколько ярких отрывков из книги «Типа панки» Миши Бастера

Правила жизни
Сбой в матрице: эти современные звезды являются точной копией икон старого Голливуда – и как мы не замечали! Сбой в матрице: эти современные звезды являются точной копией икон старого Голливуда – и как мы не замечали!

Некоторые звезды выглядят словно близнецы знаменитостей из прошлого!

VOICE
Помойный бердвотчинг Помойный бердвотчинг

Как я ездил на индийскую свалку смотреть редких марабу

N+1
Подсудное дело: первый обвиняемый по «закону Родченкова» признал свою вину Подсудное дело: первый обвиняемый по «закону Родченкова» признал свою вину

Forbes.Спорт рассказывает о первом в истории деле по антидопинговому закону

Forbes
Бритва не понадобится: как предотвратить появление катышков на одежде Бритва не понадобится: как предотвратить появление катышков на одежде

Как предотвратить появление катышков в нашей жизни?

VOICE
Мы с Мухтаром Мы с Мухтаром

Откуда у советских школьников 1970-х взялась шутка про «Мухтара на границе»?

Автопилот
Жизнь от кутюр: как Валентин Юдашкин стал главным модельером России Жизнь от кутюр: как Валентин Юдашкин стал главным модельером России

Какую роль сыграл Валентин Юдашкин в советско-российской моде

Forbes
Открыть в приложении