Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Гейдельбергский человек из Петралонской пещеры умер не меньше 277 тысяч лет назад Гейдельбергский человек из Петралонской пещеры умер не меньше 277 тысяч лет назад

Как ученые установили датировку древнего черепа из пещеры Петралона

N+1
Песнь льда и пламени Песнь льда и пламени

Сказка «Серебряные коньки» станет звездным часом для этих питерских актеров

Vogue
Драгоценная наука: кто и зачем выращивает в лабораториях бриллианты Драгоценная наука: кто и зачем выращивает в лабораториях бриллианты

В чем заключается уникальность лабораторных бриллиантов?

Forbes
Юозас Будрайтис. Одинокий ковбой Юозас Будрайтис. Одинокий ковбой

«Тебя можно обвинить в бродяжничестве», — говорили мне в советские времена

Караван историй
Крупным планом: что происходит с отечественным кинорынком Крупным планом: что происходит с отечественным кинорынком

Какое кино сейчас интересно зрителям в России?

Inc.
Сергей Лебедев: Дебютант. Первая глава романа об изобретателе смертельного советского яда Сергей Лебедев: Дебютант. Первая глава романа об изобретателе смертельного советского яда

Первая глава из книги о создателе смертельного советского яда «Дебютант»

СНОБ
8 поразительных фактов о «Фердинанде» — самой грозной самоходке Второй мировой 8 поразительных фактов о «Фердинанде» — самой грозной самоходке Второй мировой

Пробить этого гиганта в лоб не мог никто

Maxim
Почему сегодня актуальны нормы цифрового этикета Почему сегодня актуальны нормы цифрового этикета

Как трансформировалось поведение в новом рабочем пространстве

СНОБ
В Назарете обнаружен дом, в котором мог провести свое детство Иисус В Назарете обнаружен дом, в котором мог провести свое детство Иисус

Археолог Кен Дарк сообщил, что обнаружил дом, в котором прошло детство Иисуса

Популярная механика
Монстры в небе: 8 самых больших самолетов в мире Монстры в небе: 8 самых больших самолетов в мире

Двухэтажные тяжеловесы с размахом крыльев длиннее футбольного поля

Популярная механика
Как расположить к себе собеседника — метод агентов ФБР Как расположить к себе собеседника — метод агентов ФБР

Как применить науку ведения переговоров в повседневной жизни?

Inc.
5 самых страшных космических происшествий 5 самых страшных космических происшествий

Космос осваивают силами лучших ученых, но катастрофы все равно случаются

Maxim
Сын уборщицы и работника завода: как воспитывали родители Лионеля Месси Сын уборщицы и работника завода: как воспитывали родители Лионеля Месси

Лионель Месси родился в семье, где все были немного увлечены футболом

Cosmopolitan
Авторская кухня Авторская кухня

Ресторатор Илья Тютенков за девять лет запустил шесть модных заведений в Москве

Forbes
Из другой оперы Из другой оперы

Не все наставления старших родственников идут нам на пользу

Лиза
«Карантинные разводы»: как не пополнить печальную статистику? «Карантинные разводы»: как не пополнить печальную статистику?

Как не разрушить отношения, находясь с мужем дома 24/7 – рассказывает психолог

Cosmopolitan
Метель времени: сериал «Перевал Дятлова» как выдающийся экскурс в советское прошлое Метель времени: сериал «Перевал Дятлова» как выдающийся экскурс в советское прошлое

Что сокрыто в сюжете сериала «Перевала Дятлова»

Esquire
Боты против уток. Сможет ли искусственный интеллект избавить соцсети от Fake News Боты против уток. Сможет ли искусственный интеллект избавить соцсети от Fake News

Мы считаем, что интернет создан ради нас, но на деле его пользователи — боты

РБК
Отпуск по обмену Отпуск по обмену

Восстановление дома 1485 года постройки

AD
«Один или два середнячка в команде расхолаживают всех»: миллиардер и CEO Netflix Рид Хастингс о том, как создать сверхэффективную команду «Один или два середнячка в команде расхолаживают всех»: миллиардер и CEO Netflix Рид Хастингс о том, как создать сверхэффективную команду

Отрывок из книги про Netflix о том, как собрать коллектив мечты

Forbes
Мы с вами давно знакомы Мы с вами давно знакомы

Саксония – самый восточный регион Германии – всегда привлекала русских туристов

Лиза
Три мужа и два «Оскара»: удивительная судьба «секси-кошечки» Джейн Фонды Три мужа и два «Оскара»: удивительная судьба «секси-кошечки» Джейн Фонды

Актерская карьера и личная жизнь Джейн Фонда

Cosmopolitan
«Столкнулся с возражением? Давай, убей его»: почему авторитет, основанный на власти, больше не работает «Столкнулся с возражением? Давай, убей его»: почему авторитет, основанный на власти, больше не работает

Отрывок из книги Джослин Дэвис «Искусство мягкого влияния»

Forbes
Курсы для беременных: как выбрать школу для будущих мам? Курсы для беременных: как выбрать школу для будущих мам?

Врачи-гинекологи рекомендуют будущим мамам посещать курсы для беременных

9 месяцев
Группа В: нехватку ликвидировать Группа В: нехватку ликвидировать

Недостаток витаминов группы В опасен для организма. Как с ним бороться?

Здоровье
Самец складчатомордого листоноса приспустил маску на время спаривания Самец складчатомордого листоноса приспустил маску на время спаривания

Зоологи впервые описали брачное поведение складчатомордых листоносов

N+1
«Это не каннибализм, это просто поедание себя»: ученые и дизайнеры создали стейк, выращенный из клеток человека «Это не каннибализм, это просто поедание себя»: ученые и дизайнеры создали стейк, выращенный из клеток человека

Стейк-уроборос создается из просроченной плазмы крови, собранных из полости рта

Esquire
Полутьма египетская Полутьма египетская

«Паранормальные явления» — очень симпатичный арабском хоррор-сериал Netflix

Weekend
Юрий Тарасов. Бабочки на снегу Юрий Тарасов. Бабочки на снегу

Актер Юрий Тарасов: «Честно говоря, устал от ограниченности выбора»

Караван историй
Нет офиса, нет проблем: как «единорог» с украинскими корнями учит мир работать на удаленке Нет офиса, нет проблем: как «единорог» с украинскими корнями учит мир работать на удаленке

GitLab стал одним из самых дорогих стартапов в мире, не открыв ни одного офиса

Forbes
Открыть в приложении