Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почти вся пластиковая упаковка загрязнила пищу микропластиком Почти вся пластиковая упаковка загрязнила пищу микропластиком

Микро- и нанопоастик переходит из пластикосодержащей упаковки в еду и напитки

N+1
Apple обвинили в слежке за пользователями. Разбираемся, как этого избежать Apple обвинили в слежке за пользователями. Разбираемся, как этого избежать

Facebook следит, Google следит, неужели Apple лучше их?

Maxim
Разработана система безопасности при проведении шоу с тысячами дронов Разработана система безопасности при проведении шоу с тысячами дронов

Как метод обучения «стай» дронов сможет гарантировать их безопасную работу

ТехИнсайдер
7 удивительных фактов о Зигмунде Фрейде, которые вы могли не знать 7 удивительных фактов о Зигмунде Фрейде, которые вы могли не знать

Старина Сигизмунд Шломо Фрейд и малоизвестные факты о его жизни и смерти

Популярная механика
Антиоксиданты: зачем они нужны и где их искать Антиоксиданты: зачем они нужны и где их искать

Какие продукты стоит внести в меню, чтобы поддерживать тело в тонусе?

Правила жизни
Безногие сцинки заново отрастили конечности ради выживания во влажном климате Безногие сцинки заново отрастили конечности ради выживания во влажном климате

Конечности помогают этим ящерицам бегать по поверхности и зарываться в почву

N+1
Здоровья и счастья Здоровья и счастья

Сильверио Мариан — итальянец, который живёт и работает в России и для России

SALON-Interior
Как быть, если вы принимаете все слишком близко к сердцу Как быть, если вы принимаете все слишком близко к сердцу

Советы для тех, кто очень эмоционально реагирует на события в жизни

Psychologies
6 рок-групп, которые вдруг стали лучше после потери товарища 6 рок-групп, которые вдруг стали лучше после потери товарища

Группы, которые после изменения состава, стали только лучше и громче

Maxim
Старина DJ Groove: ничего положительного из локдауна я не вынес Старина DJ Groove: ничего положительного из локдауна я не вынес

Playboy задал 25 коротких вопросов легендарному Груву

Playboy
Почему смеяться над властью снова становится страшно Почему смеяться над властью снова становится страшно

Каждый десятый россиянин, как выясняется, не решается шутить о политике в сети

СНОБ
Все невротики — перфекционисты: так ли это на самом деле? Все невротики — перфекционисты: так ли это на самом деле?

Как понять, перфекционист вы или нет?

Psychologies
Как студент Физтеха попал в инвестфонд и получил право распоряжаться миллиардами рублей Как студент Физтеха попал в инвестфонд и получил право распоряжаться миллиардами рублей

История успеха управляющего партнера «ТилТех Капитала» Андрея Кобякова

Forbes
Ядовитые косматые хомяки оказались моногамными Ядовитые косматые хомяки оказались моногамными

Зоологам впервые удалось понаблюдать за социальной жизнью этих грызунов

N+1
7 привычек, которые делают тебя непривлекательным в глазах женщин 7 привычек, которые делают тебя непривлекательным в глазах женщин

Привычки, которых нужно избегать, чтобы быть привлекательным для женщин

Maxim
Первая помощь при переломе: что предпринять до приезда врача Первая помощь при переломе: что предпринять до приезда врача

Разбираемся, что можно и нельзя делать при переломах

РБК
Лысая голова у мошенников: узнай какой ты преступник по системе Ломброзо Лысая голова у мошенников: узнай какой ты преступник по системе Ломброзо

Можно ли вычислить преступника по чертам лица и анатомическим особенностям?

Maxim
Все аппараты, коснувшиеся поверхности Марса Все аппараты, коснувшиеся поверхности Марса

Практика показывает, что до Марса проще долететь, чем сесть на него

Популярная механика
Групповая терапия: 12 советов, как получить от нее максимальную пользу Групповая терапия: 12 советов, как получить от нее максимальную пользу

Извлечь максимум пользы из работы в группе и помочь своему ментальному здоровью

Psychologies
Индивидуально подобранная стимуляция помогла улучшить речь после инсульта Индивидуально подобранная стимуляция помогла улучшить речь после инсульта

Ученые опробовали транскраниальную микрополяризацию на пациентах с афазией

N+1
Лига чемпионов асов Второй мировой — кто сбивал больше всех Лига чемпионов асов Второй мировой — кто сбивал больше всех

Главные бомбардиры своих стран

Maxim
«Заранее решено, что выиграет Березовский»: отрывок о приватизации в России из новой книги Михаила Зыгаря «Все свободны» «Заранее решено, что выиграет Березовский»: отрывок о приватизации в России из новой книги Михаила Зыгаря «Все свободны»

Отрывок из книги «Все свободны» — как проходили залоговые аукционы 1995 года

Forbes
Новая роскошь Новая роскошь

Как экостиль может быть люксовым

SALON-Interior
Из другой оперы Из другой оперы

Не все наставления старших родственников идут нам на пользу

Лиза
8 ложных убеждений, которые мешают вашему психическому здоровью 8 ложных убеждений, которые мешают вашему психическому здоровью

Думая об этом, можно навредить самому себе

Psychologies
Почему стандартные ванны обычно короче человеческого роста Почему стандартные ванны обычно короче человеческого роста

Рассказываем, кто и зачем придумал делать ванны короткими

Популярная механика
Системный подход Системный подход

Как правильно поддержать иммунитет в сезон простуд и вирусов

Grazia
Как Станислав Черчесов превратился из героя чемпионата мира в одного из главных злодеев российского футбола Как Станислав Черчесов превратился из героя чемпионата мира в одного из главных злодеев российского футбола

Разбираемся, почему главного тренера сборной России стали так часто критиковать

GQ
Лучшие фильмы про британских королей и королев Лучшие фильмы про британских королей и королев

Что еще посмотреть, если вам мало сериала «Корона»

GQ
Кость даю Кость даю

Семейная коллекция северного косторезного искусства Михаила Карисалова

Forbes
Открыть в приложении