Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Дети и шимпанзе отказались от вознаграждения ради видео с социальными взаимодействиями Дети и шимпанзе отказались от вознаграждения ради видео с социальными взаимодействиями

Дети и взрослые шимпанзе проявляют особый интерес к социальным взаимодействиям

N+1
Spider-Man: Miles Morales — игра, которая разбудит в вас ребенка. Обзор одного из флагманов новой консоли PS5 Spider-Man: Miles Morales — игра, которая разбудит в вас ребенка. Обзор одного из флагманов новой консоли PS5

Обзор продолжения Spider-Man, где нужно сыграть за Майлза Моралеса

Esquire
Безопасность использования ИИ в банках: что важно знать Безопасность использования ИИ в банках: что важно знать

Как именно работает искусственный интеллект в финансовом секторе

Inc.
Правила жизни Мэттью Макконахи Правила жизни Мэттью Макконахи

Правила жизни актера Мэттью Макконахи

Esquire
Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно

О словах, за которые вам не должно быть стыдно, пусть и звучат они забавно

ТехИнсайдер
Праздник к нам приходит Праздник к нам приходит

Светлана Лобода откровенно рассказала о том, как ей удается быть праздником

Cosmopolitan
Ольгерд vs Дмитрий Ольгерд vs Дмитрий

«Собирателем» русских земель могло стать Литовское, а не Московское княжество

Дилетант
Первый сексуальный опыт: отрывок из сборника «Ее тело и другие» Кармен Марии Мачадо Первый сексуальный опыт: отрывок из сборника «Ее тело и другие» Кармен Марии Мачадо

Отрывок из книги Кармен Марии Мачадо о женской телесности и сексуальности

Esquire
Гудбай, Америка: 10 фактов о Христофоре Колумбе, которых вы не знали Гудбай, Америка: 10 фактов о Христофоре Колумбе, которых вы не знали

Все самые интересные факты о Христофоре Колумбе в нашей подборке

Популярная механика
Школьные травмы моих взрослых учеников Школьные травмы моих взрослых учеников

В успешных взрослых людях могут прятаться запуганные школьными учителями дети

Psychologies
«Лернинг ту флай» — невыдуманная история летающего внедорожника «Лернинг ту флай» — невыдуманная история летающего внедорожника

Этот летающий внедорожник звали «Ротабагги»

Maxim
Функциональный спектрометр-шапочку впервые испытали на шестимесячных младенцах Функциональный спектрометр-шапочку впервые испытали на шестимесячных младенцах

Британские исследователи впервые испытали LUMO на шестимесячных младенцах

N+1
7 российских страшилок, популярных на Западе 7 российских страшилок, популярных на Западе

А мы еще удивляемся, почему русских так боятся

Maxim
Как избежать ошибок с широкими брюками: модные правила от стилиста Как избежать ошибок с широкими брюками: модные правила от стилиста

Стилист объясняет, как носить брюки-палаццо

Cosmopolitan
Умная почка Умная почка

Почки создают условия для высокой эффективности работы клеток всех органов

Наука и жизнь
Пришла в чувство Пришла в чувство

Актриса Юлия Персильд рассказала, что делать с внезапно нахлынувшим чувством

Grazia
Чем заняться в долгой поездке: 15 способов не умереть со скуки в дороге Чем заняться в долгой поездке: 15 способов не умереть со скуки в дороге

Как скоротать время в поездке на общественном транспорте и в автомобиле

Playboy
Как планировать свой день: 6 простых шагов к контролю над своим временем Как планировать свой день: 6 простых шагов к контролю над своим временем

Полезные советы, как все успевать и правильно расставлять задачи

Playboy
Девушка из «Завтрака у Тиффани»: как Маргарет Литтман вдохновила Трумена Капоте и собрала миллионы долларов на борьбу с ВИЧ Девушка из «Завтрака у Тиффани»: как Маргарет Литтман вдохновила Трумена Капоте и собрала миллионы долларов на борьбу с ВИЧ

Какой была Маргарет Литтман — прообраз героини Хепберн в «Завтраке у Тиффани»

Forbes
Физики объяснили появление параллельных бороздок на известняковых склонах Физики объяснили появление параллельных бороздок на известняковых склонах

Физики установили, как образуются желобковые карры

N+1
Безопасный тренд: как промышленники используют интернет вещей Безопасный тренд: как промышленники используют интернет вещей

Цифровизация производства дает промышленным компаниям колоссальные эффекты

Forbes
В онлайне с головой: как изоляция образования стала угрозой и возможностью одновременно В онлайне с головой: как изоляция образования стала угрозой и возможностью одновременно

Какие шансы и возможности открылись для студентов в эру онлайн-образования?

Forbes
Чтобы мечты сбывались Чтобы мечты сбывались

Чтобы изменить жизнь, нужно правильно ставить цели и формулировать желания

Добрые советы
Шервуд Андерсон Шервуд Андерсон

Американский писатель Шервуд Андерсон глазами Дмитрия Быкова

Дилетант
Отрывок из книги «Зачем мы стареем» Отрывок из книги «Зачем мы стареем»

Отрывок из книги «Зачем мы стареем. Наука о долголетии: как продлить молодость»

СНОБ
Писатели и мода. Часть 2 Писатели и мода. Часть 2

Что Владимир Маяковский считал «самым красивым в человеке»?

Культура.РФ
8 неприятных побочных эффектов похудения (да, они есть) 8 неприятных побочных эффектов похудения (да, они есть)

К чему стоит быть готовым, садясь на диету

Playboy
Убивающий тасманийских дьяволов рак оказался эволюционно консервативным Убивающий тасманийских дьяволов рак оказался эволюционно консервативным

Инфекционный рак поставил тасманийских дьяволов на грань вымирания

N+1
Рассеянный склероз: причины, симптомы и лечение Рассеянный склероз: причины, симптомы и лечение

Разбираемся, что такое рассеянный склероз и можно ли его вылечить

РБК
Как ухаживать за замшевой обувью: эксплуатация, чистка и 6 лучших средств Как ухаживать за замшевой обувью: эксплуатация, чистка и 6 лучших средств

Замшевая обувь неприхотлива в уходе, но даже тут есть свои нюансы и тонкости

Cosmopolitan
Открыть в приложении