Очки с эхолокатором распознают слова с 95% точностью с помощью нейросети

N+1Hi-Tech

Очки с эхолокатором научили читать по губам речь хозяина

Они распознают слова с 95-процентной точностью с помощью нейросети

Андрей Фокин

6b8426fcffb23534e2e1f6b38813703e.jpg
Ruidong Zhang et al. / CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023

Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23.

Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения.

Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Австралийцы отыскали новую популяцию вымирающих беличьих кускусов Австралийцы отыскали новую популяцию вымирающих беличьих кускусов

Экологи обнаружили в Косцюшко новую популяцию беличьих кускусов

N+1
Почему стигматизация женского алкоголизма мешает избавляться от зависимости Почему стигматизация женского алкоголизма мешает избавляться от зависимости

Почему гендерные стереотипы усугубляют женский алкоголизм

Forbes
Исследователи создали роботизированную руку, управляемую силой мысли Исследователи создали роботизированную руку, управляемую силой мысли

Ученые позволили парализованному мужчине управлять роботизированной рукой

Inc.
Классический Defender ко дню рождения Land Rover Классический Defender ко дню рождения Land Rover

Юбилейная версия Land Rover Defender Works V8 Islay Edition

4x4 Club
Мозг, исцеляющий себя Мозг, исцеляющий себя

Реальные истории людей, которые победили болезни и преобразили свой мозг

kiozk originals
Механизм подражания vs желание выделиться: гештальт-терапевт о том, зачем нам нужна мода Механизм подражания vs желание выделиться: гештальт-терапевт о том, зачем нам нужна мода

Почему мода так важна для некоторых из нас?

Psychologies
От воздержания до терроризма: кто такие инцелы, где они обитают и чем опасны От воздержания до терроризма: кто такие инцелы, где они обитают и чем опасны

Глава из книги «Инцелы. Как девственники становятся террористами»

Psychologies
Как перестать довольствоваться малым: 5 способов начать получать удовольствие от жизни Как перестать довольствоваться малым: 5 способов начать получать удовольствие от жизни

Пять способов, которые помогут сохранить веру в свои силы

Psychologies
Молодое поколение этого не знает! Вот как Битлз изменили мир музыки Молодое поколение этого не знает! Вот как Битлз изменили мир музыки

Как Битлз завоевали сердца не только слушательниц, но и аудиофилов

ТехИнсайдер
Осьминогу приснились кошмары Осьминогу приснились кошмары

Не только людям могут сниться кошмары

N+1
Робопчелу научили контролировать рысканье Робопчелу научили контролировать рысканье

Инженеры разработали прототип миниатюрного орнитоптера под названием Bee++

N+1
7 лучших ролей Алексея Серебрякова 7 лучших ролей Алексея Серебрякова

Алексей Серебряков — человек поразительно долгой карьеры

Maxim
Диабет 2 типа стремительно распространяется по миру — врачи винят в этом неправильное питание Диабет 2 типа стремительно распространяется по миру — врачи винят в этом неправильное питание

Как неправильное питание влияет на здоровье людей?

ТехИнсайдер
Стилист раскрывает карты: 3 простейших приема, которые заставят тебя выглядеть, как фэшн-блогер Стилист раскрывает карты: 3 простейших приема, которые заставят тебя выглядеть, как фэшн-блогер

Самые простые и действенные приемы фэшн-блогеров

VOICE
«Когда все снова придет в норму?»: искусственный интеллект отвечает на 8 сложных жизненных вопросов «Когда все снова придет в норму?»: искусственный интеллект отвечает на 8 сложных жизненных вопросов

Как GPT-3 отвечает на философские вопросы о нашей жизни?

Psychologies
«Ушац», покоривший Париж: как советский мем вошел в историю и что он значит «Ушац», покоривший Париж: как советский мем вошел в историю и что он значит

«Ушац»: не просто набор букв, а советский мем с историей

VOICE
Всему голова: почему в России высокий спрос на очень дорогой хлеб Всему голова: почему в России высокий спрос на очень дорогой хлеб

Почему люди готовы переплачивать за самый базовый продукт — хлеб

Forbes
Японские машины JDM: что это за феномен и откуда он взялся Японские машины JDM: что это за феномен и откуда он взялся

JDM-машины — это легковые автомобили, производившиеся в Японии в 1990-х годах

РБК
Стройный рацион Стройный рацион

Продукты для похудения. Список, который пригодится на любой диете

Лиза
«Как рассказать женщине, что мне хочется?»: 3 совета сексолога «Как рассказать женщине, что мне хочется?»: 3 совета сексолога

Как поговорить с партнершей о сокровенном?

Psychologies
Генетики проанализировали ДНК 240 видов млекопитающих и нашли их исключительные черты Генетики проанализировали ДНК 240 видов млекопитающих и нашли их исключительные черты

Чем все млекопитающие похожи друг на друга?

ТехИнсайдер
Создан первый в истории деревянный транзистор: на что он способен? Создан первый в истории деревянный транзистор: на что он способен?

Древесина не умела питать функциональные электроприборы… до недавнего времени

ТехИнсайдер
В древнеримском унгвентарии обнаружили остатки пачули В древнеримском унгвентарии обнаружили остатки пачули

Химики и археологи исследовали древнеримский унгвентарий в городе Кармона

N+1
«У меня сердце плачет»: Татьяна Веденеева рассказала, почему носила платья от Зайцева, а не от Юдашкина «У меня сердце плачет»: Татьяна Веденеева рассказала, почему носила платья от Зайцева, а не от Юдашкина

Татьяна Веденеева рассказала об опыте сотрудничества с российскими модельерами

VOICE
Роман Мурадов Роман Мурадов

Роман Мурадов сочетает оригинальную рисовку с литературностью

Правила жизни
Пицца пойдет на пользу: 5 лайфхаков итальянок для красоты и здоровья Пицца пойдет на пользу: 5 лайфхаков итальянок для красоты и здоровья

Можно ли постоянно есть пасту, мороженое и сыр и оставаться подтянутой?

VOICE
Режиссер Егор Перегудов: Театр проходит циклы своего развития и умирает Режиссер Егор Перегудов: Театр проходит циклы своего развития и умирает

О преодолении кризиса и проблеме режиссерских лабораторий

СНОБ
Фавориты и фаворитки Фавориты и фаворитки

Самые знаменитые фавориты и фаворитки

Дилетант
Боль в висках. Почему возникает и 6 способов быстро от нее избавиться Боль в висках. Почему возникает и 6 способов быстро от нее избавиться

Причин боли в висках много – от усталости до серьезных заболеваний

Лиза
В иерусалимских туалетах нашли древнейшие случаи заражения кишечными лямблиями В иерусалимских туалетах нашли древнейшие случаи заражения кишечными лямблиями

В отложениях возрастом более 2600 лет обнаружили следы паразитов

N+1
Открыть в приложении