Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Меланжевые войны Меланжевые войны

Выгодно ли превращать ресурсы в оружие

N+1
«Не одинокая, а свободная»: почему женщины после 30 не так активно ищут партнеров? «Не одинокая, а свободная»: почему женщины после 30 не так активно ищут партнеров?

Почему после 30 меняется отношение к поискам партнера

Psychologies
Ветряки, солнечные панели и декарбонизация бизнеса: какой будет энергетика будущего Ветряки, солнечные панели и декарбонизация бизнеса: какой будет энергетика будущего

Есть ли у человечества возможность отказаться от грязных ресурсов?

Forbes
Как понять, что мужчина вас использует: 4 красных флажка Как понять, что мужчина вас использует: 4 красных флажка

Что может указывать на то, что ваш новый друг с вами не вполне искренен?

Psychologies
Психология влияния Психология влияния

Как не стать жертвой мастера влияния и убеждения

kiozk originals
Три сыночка и лапочка-дочка: как складывается личная жизнь Саши Зверевой Три сыночка и лапочка-дочка: как складывается личная жизнь Саши Зверевой

10 фактов о Саше Зверевой

Cosmopolitan
Выход за границы: как «Яндекс» расширяет борьбу с реальностью Выход за границы: как «Яндекс» расширяет борьбу с реальностью

Как новое поколение менеджеров «Яндекса» трансформирует реальность

Forbes
Палеонтологи разобрались в родственных связях древних и современных медоедов Палеонтологи разобрались в родственных связях древних и современных медоедов

Древний медоед был мельче современного и приходился ему сестринским видом

N+1
Затенение Земли аэрозолями не спасет от потери слоисто-кучевых облаков Затенение Земли аэрозолями не спасет от потери слоисто-кучевых облаков

Затенение Земли с помощью аэрозолей не сможет бороться с глобальным потеплением

N+1
Как открыть свой бизнес: 9 главных шагов для желающих начать свое дело Как открыть свой бизнес: 9 главных шагов для желающих начать свое дело

Подробный гайд для начинающих предпринимателей

Playboy
Как сложилась личная жизнь выпускницы «Фабрики звезд» Юлии Михальчик? Как сложилась личная жизнь выпускницы «Фабрики звезд» Юлии Михальчик?

История личной жизни и карьеры Юлии Михальчик

Cosmopolitan
Авторская кухня Авторская кухня

Ресторатор Илья Тютенков за девять лет запустил шесть модных заведений в Москве

Forbes
«Почему я плету индейские мандалы» «Почему я плету индейские мандалы»

Это древнее рукоделие помогло нашей героине пережить большое горе

Psychologies
Как правильно держать палочки для суши: самые подробные и понятные инструкции Как правильно держать палочки для суши: самые подробные и понятные инструкции

Японская, китайская и корейская кухни — это особый этикет

Cosmopolitan
Отрывок из книги Андерса Хансена «На цифровой игле» Отрывок из книги Андерса Хансена «На цифровой игле»

Почему правило «выживает сильнейший» в большинстве случаев не работает?

СНОБ
«Нам удается стать свидетелями настоящих космических драм» «Нам удается стать свидетелями настоящих космических драм»

Интервью с астрофизиком Рашидом Сюняевым: о карте Вселенной и многом другом

Огонёк
Грубые ошибки с длиной верхней одежды: исправь их, чтобы не выглядеть безвкусно Грубые ошибки с длиной верхней одежды: исправь их, чтобы не выглядеть безвкусно

Рассказываем обо всех нюансах, связанных с длиной верхней одежды

Cosmopolitan
В Мьянме открыли новый вид обезьян. Он уже под угрозой исчезновения В Мьянме открыли новый вид обезьян. Он уже под угрозой исчезновения

Численность нового вида составляет всего 199-259 особей

N+1
Андрей Житинкин. Перемена участи Андрей Житинкин. Перемена участи

Артист пойдет на любую провокацию, любой сложный ход ради успеха

Караван историй
Полутьма египетская Полутьма египетская

«Паранормальные явления» — очень симпатичный арабском хоррор-сериал Netflix

Weekend
Концентрация таланта: почему в компании не нужно оставлять середнячков и меланхоликов Концентрация таланта: почему в компании не нужно оставлять середнячков и меланхоликов

Отрывок из книги CEO Netflix Ричарда Хастингса «Никаких правил»

Inc.
Роман с киллером и бесконечные измены: 6 громких скандалов в королевской семье Роман с киллером и бесконечные измены: 6 громких скандалов в королевской семье

Вспомним скандалы, которые нанесли королевской семье серьезный урон

Cosmopolitan
9 важных вопросов про эректильную дисфункцию 9 важных вопросов про эректильную дисфункцию

Что вы знаете об эректильной дисфункции?

GQ
Дебютный роман Салли Руни «Разговоры с друзьями» впервые выходит на русском языке. Публикуем его фрагмент Дебютный роман Салли Руни «Разговоры с друзьями» впервые выходит на русском языке. Публикуем его фрагмент

Отрывок из романа Салли Руни, в котором выражены чувства поколения Z

Esquire
Вне времени: как Леонардо ДиКаприо транслирует с экрана идеальный классический мужской образ с налетом ретро Вне времени: как Леонардо ДиКаприо транслирует с экрана идеальный классический мужской образ с налетом ретро

Кинообразы Леонардо ДиКаприо — вечная классика мужского гардероба

Esquire
Пропавшая без вести: трагическая судьба легендарной детективщицы Агаты Кристи Пропавшая без вести: трагическая судьба легендарной детективщицы Агаты Кристи

Ты знала, что Агата Кристи недолюбливала Эркюля Пуаро?

Cosmopolitan
Женщина, которая хотела быть врачом, а не акушеркой Женщина, которая хотела быть врачом, а не акушеркой

История Анны Шабановой, прабабушки российского феминизма

Weekend
Шторм на двоих Шторм на двоих

Какой смысл из времени добывают Борис Гребенщиков и Андрей Макаревич

Огонёк
Редкие животные, которых осталось меньше 100 особей Редкие животные, которых осталось меньше 100 особей

Уже сейчас эти виды находятся под угрозой исчезновения

Популярная механика
«Мы все, начиная с Чулпан, в этой стране первопроходцы»: Ингеборга Дапкунайте — о фонде «Вера», эффективной благотворительности и реакции на критику «Мы все, начиная с Чулпан, в этой стране первопроходцы»: Ингеборга Дапкунайте — о фонде «Вера», эффективной благотворительности и реакции на критику

Интервью с Ингеборгой Дапкунайте о благотворительности, черных экранах и критике

Forbes
Открыть в приложении