Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Гадюка попыталась проглотить зайчонка в десять раз тяжелее себя Гадюка попыталась проглотить зайчонка в десять раз тяжелее себя

Некоторые змеи способны целиком проглатывать добычу, которая очень велика

N+1
Народные волнения: что такое геомагнитные бури и как они влияют на нашу жизнь Народные волнения: что такое геомагнитные бури и как они влияют на нашу жизнь

Чем они опасны и как геомагнитные поля влияют на человека

Forbes
Столкновение умов: как не проиграть конкуренцию в борьбе за лидерство в области ИИ Столкновение умов: как не проиграть конкуренцию в борьбе за лидерство в области ИИ

Как на самом деле развивается ИИ в России?

Forbes
Подмена эмоций: как распознать у себя рэкетные чувства Подмена эмоций: как распознать у себя рэкетные чувства

Из-за чего происходят рэкетные чувства и как разобраться в себе?

VOICE
Ученые объяснили, как езда на велосипеде способствует снижению риска развития деменции Ученые объяснили, как езда на велосипеде способствует снижению риска развития деменции

Езда на велосипеде полезнее, чем вы думали

ТехИнсайдер
«Девушка с прицепами», или как я вышла замуж с тремя детьми «Девушка с прицепами», или как я вышла замуж с тремя детьми

История Ольги Шустваль, автора книги «Путь материнства. Рождение силы»

Psychologies
«Олейну» разливает новый собственник «Олейну» разливает новый собственник

Последний российский актив Bunge продан с 50 %-ным дисконтом

Агроинвестор
Маразм крепчал Маразм крепчал

Долгое правление довело лидера до смирительной рубашки

Дилетант
Загадка дюн Утопии: когда Марс был полон влаги и почему стал безжизненной пустыней? Загадка дюн Утопии: когда Марс был полон влаги и почему стал безжизненной пустыней?

Из-за чего сосед по Солнечной системе потерял всю свою воду

Вокруг света
Кольчатых червей уличили в синтезе растительного аналога холестерина Кольчатых червей уличили в синтезе растительного аналога холестерина

Ученые обнаружили, что морские кольчатые черви способны к синтезу ситостерина

N+1
Современный московский Современный московский

Светлый лёгкий интерьер в квартире с нестандартной планировкой

SALON-Interior
Направленная эволюция: ученые сделали колонии дрожжей в 20 000 раз крупнее и в 10 000 раз прочнее Направленная эволюция: ученые сделали колонии дрожжей в 20 000 раз крупнее и в 10 000 раз прочнее

Ученые проводят долгосрочный эксперимент по эволюции в лабораторных условиях

ТехИнсайдер
Редкие кенгуровые крысы вернулись на австралийский полуостров Йорк впервые за сто лет Редкие кенгуровые крысы вернулись на австралийский полуостров Йорк впервые за сто лет

Кистехвостые беттонги почти исчезли в Австралии, но обещали вернуться

N+1
Виден нам берег турецкий Виден нам берег турецкий

Турция заняла четвертое место по объему строящихся яхт длиной от 24 м

Y Magazine
Власть женщин: правда и мифы о матриархате Власть женщин: правда и мифы о матриархате

Откуда взялся миф о матриархате и какие задачи могут решать современные женщины

Psychologies
Остроумные, меткие и мудрые мысли Омара Хайяма, которые стыдно не знать Остроумные, меткие и мудрые мысли Омара Хайяма, которые стыдно не знать

Эти мысли Омара Хайяма просто стыдно не знать, мы выбрали их из тысячи

Maxim
10 самых крутых и диких русских злодеев в голливудских фильмах 10 самых крутых и диких русских злодеев в голливудских фильмах

Самые известные русские злодеи в голливудских фильмах

Maxim
Suzuki Vitara и пределы её проходимости Suzuki Vitara и пределы её проходимости

Suzuki Vitara качестве кроссовера хороша не только на асфальте

4x4 Club
Защитный барьер организма Защитный барьер организма

Надо повышать иммунитет. Но медики поспорили бы с такой формулировкой

Лиза
Как справиться с негативными эмоциями на работе: 5 способов справиться с гневом — извлеките выгоду Как справиться с негативными эмоциями на работе: 5 способов справиться с гневом — извлеките выгоду

Как справиться со злостью на рабочем месте и даже использовать ее во благо?

Psychologies
Они живые и светятся Они живые и светятся

Зачем червям система биолюминесценции?

Наука и жизнь
Ромул и Рем: чей Рим? Ромул и Рем: чей Рим?

Как на самом деле был основан Рим?

Дилетант
Прямая речь: Майли Сайрус Прямая речь: Майли Сайрус

Майли Сайрус — о себе и своей карьере

ЖАРА Magazine
Советские граждане, а не евреи: почему в СССР практически не говорили о Холокосте Советские граждане, а не евреи: почему в СССР практически не говорили о Холокосте

Почему советские власти пытались замолчать трагедию о Холокосте

Forbes
Альтернативное будущее: 5 научно-фантастических книг, которые вас удивят Альтернативное будущее: 5 научно-фантастических книг, которые вас удивят

Необычные научно-фантастические романы: от Герберта Уэллса до GPT-4

ТехИнсайдер
«Дон Масимо»: Максим Горький на Капри «Дон Масимо»: Максим Горький на Капри

Как жил знаменитый писатель Максим Горький в Италии?

Караван историй
В доме мечты В доме мечты

Пространство на стыке классических традиций, современности и любви к искусству

SALON-Interior
Катер из бутылок Катер из бутылок

Лодкам с электрическими моторами на boot Düsseldorf было отведено много места

Y Magazine
Как стоимость терапии влияет на ее процесс и качество: объясняют эксперты Как стоимость терапии влияет на ее процесс и качество: объясняют эксперты

Какова роль денег в психотерапии?

Psychologies
Зеленая мечта идиота Зеленая мечта идиота

Если вы мечтали владеть старой отечественной машиной – вам сюда

Автопилот
Открыть в приложении