Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Император Святой Руси» «Император Святой Руси»

Что в XV-XVIII веках означало слово «чин»?

N+1
Мне снится пепел: кто такой Чжан Хуань Мне снится пепел: кто такой Чжан Хуань

Чжан Хуань — один из ведущих китайских художников наших дней

Школа Masters
Миниатюрный орнитоптер стал одноногим прыгуном Миниатюрный орнитоптер стал одноногим прыгуном

Как инженеры создали робота-прыгуна массой меньше грамма

N+1
Вечерний алкоголь и частые перекусы: 4 безболезненных способа избавиться от вредных привычек Вечерний алкоголь и частые перекусы: 4 безболезненных способа избавиться от вредных привычек

Пора взяться за себя!

Playboy
Вся правда о холестерине Вся правда о холестерине

Что на самом деле вызывает заболевания сердца и сосудов

kiozk originals
О чем говорят наши фантазии О чем говорят наши фантазии

Сегодня стремление быть осознанным распространяется и на сексуальную жизнь

СНОБ
Из развалюхи в особняк: дома знаменитостей до начала карьеры и после Из развалюхи в особняк: дома знаменитостей до начала карьеры и после

Дома, в которых звезды жили до славы, и те, в которых они живут сейчас

Cosmopolitan
Что посмотреть и попробовать в Костроме. Гид «РБК Стиль» Что посмотреть и попробовать в Костроме. Гид «РБК Стиль»

Рассказываем, что посмотреть в Костроме, где остановиться и пообедать

РБК
Кто инициировал путь «из варяг в греки»? Кто инициировал путь «из варяг в греки»?

Путь «из варяг в греки» стал главным для формирования древнерусского государства

Культура.РФ
А ну, дыхни! А ну, дыхни!

Какие тесты на содержание алкоголя в крови существуют, и чем они отличаются?

Здоровье
На вилле в Помпеях нашли останки двух человек. Они пытались спрятаться в подземном портике На вилле в Помпеях нашли останки двух человек. Они пытались спрятаться в подземном портике

В Помпеях нашли тела жертв извержения Везувия 79 года

N+1
4 реальные истории о людях, выживших на необитаемом острове 4 реальные истории о людях, выживших на необитаемом острове

Оказывается, в выживании на необитаемом острове нет ничего романтичного

Maxim
Андрей Алексеенко: «Кровеносная система» бизнеса. Почему предпринимателям нужно обратить внимание на аналитику данных Андрей Алексеенко: «Кровеносная система» бизнеса. Почему предпринимателям нужно обратить внимание на аналитику данных

Рынок аналитики данных развивается стремительными темпами

СНОБ
Расстрел и Людмила Расстрел и Людмила

Неудачная попытка превратить советскую историю в античную трагедию

Weekend
Нейросеть напрямую определила пищевую ценность блюда по фотографии Нейросеть напрямую определила пищевую ценность блюда по фотографии

Новый алгоритм напрямую определяет содержание белков, жиров и углеводов в блюдах

N+1
Древесину превратили в гибкий светящийся материал Древесину превратили в гибкий светящийся материал

Ученые превратили древесину в люминесцентный материал

N+1
Физики объяснили появление параллельных бороздок на известняковых склонах Физики объяснили появление параллельных бороздок на известняковых склонах

Физики установили, как образуются желобковые карры

N+1
Концентрация таланта: почему в компании не нужно оставлять середнячков и меланхоликов Концентрация таланта: почему в компании не нужно оставлять середнячков и меланхоликов

Отрывок из книги CEO Netflix Ричарда Хастингса «Никаких правил»

Inc.
Правила женственного образа: как не переборщить и выглядеть стильно Правила женственного образа: как не переборщить и выглядеть стильно

Анастасия Алексеенко рассматривает образы Джессики Симпсон и Розалин Санчес

Cosmopolitan
Не только балет и хоккей: Netflix рассказал о том, как Россия стала лучшей в танцах с собаками Не только балет и хоккей: Netflix рассказал о том, как Россия стала лучшей в танцах с собаками

Танцы с собаками – очень красивый вид состязаний

Forbes
Куклы в инвалидной коляске и со слуховым аппаратом: игрушки с особенностями Куклы в инвалидной коляске и со слуховым аппаратом: игрушки с особенностями

Инклюзия наконец дошла и до мира игрушек

Cosmopolitan
Две тонны тротила: все о пользе взрывов Две тонны тротила: все о пользе взрывов

Для взрывников две тонны тротилла – это «пшик»

Популярная механика
Радуга над мысом Горн Радуга над мысом Горн

История одного морского круиза

Наука и жизнь
Парное интервью: Сюзанна и Мальбэк — о пути художника, репутационных рисках и призвании Парное интервью: Сюзанна и Мальбэк — о пути художника, репутационных рисках и призвании

Сюзанна и Мальбэк рассказывают о музыке, творчестве и пути художника

Esquire
6 самых смачных забастовок в истории 6 самых смачных забастовок в истории

Самые интересные и необычные забастовки в истории

Maxim
Дружба на расстоянии Дружба на расстоянии

Сохранить отношения с лучшими друзьями всегда легко, было бы желание

Здоровье
10 известных фильмов, съемки которых чуть было не сорвались 10 известных фильмов, съемки которых чуть было не сорвались

Эти знаменитые ленты мы могли бы никогда не увидеть

Maxim
Монстры в небе: 8 самых больших самолетов в мире Монстры в небе: 8 самых больших самолетов в мире

Двухэтажные тяжеловесы с размахом крыльев длиннее футбольного поля

Популярная механика
Люблю абсурд: почему стоит посмотреть фильм «Человек из Подольска» Люблю абсурд: почему стоит посмотреть фильм «Человек из Подольска»

Рецензия на абсурдистскую комедию «Человек из Подольска» Семена Серзина

РБК
Дыхательная гимнастика Стрельниковой: упражнения, эффективность, отзывы Дыхательная гимнастика Стрельниковой: упражнения, эффективность, отзывы

Разбираемся, что такое дыхательная гимнастика Стрельниковой и кому она полезна

РБК
Открыть в приложении