Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Машинное обучение помогло сгенерировать больше вариантов векторов для генной терапии Машинное обучение помогло сгенерировать больше вариантов векторов для генной терапии

Созданные нейросетям векторы сильнее отличаются от природных вариантов

N+1
Почему телефон быстро разряжается и как это исправить: 5 советов Почему телефон быстро разряжается и как это исправить: 5 советов

Разбираемся, что делать, если телефон быстро разряжается

CHIP
Это электробус: как «Московский транспорт» становится «зелёным» Это электробус: как «Московский транспорт» становится «зелёным»

Как развиваются электробусы — технологичный и экологичный вид транспорта ?

Inc.
Евгений Водолазкин: Оправдание острова. Отрывок из седьмого романа лауреата «Большой книги» Евгений Водолазкин: Оправдание острова. Отрывок из седьмого романа лауреата «Большой книги»

Отрывок из романа Евгения Водолазкина об острове, которого нет на картах

СНОБ
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Мужчина и его собаки: Джо Байден и его немецкие овчарки Чемп и Мейджор Мужчина и его собаки: Джо Байден и его немецкие овчарки Чемп и Мейджор

Если вам нужен друг в Вашингтоне, заведите собаку

Esquire
Одержимость сексом: что делать, если партнер страдает зависимостью? Одержимость сексом: что делать, если партнер страдает зависимостью?

Возможно ли сохранить отношения, если у одного из партнеров зависимость от секса

Psychologies
20 ошибок при самостоятельном окрашивании волос, которых легко избежать 20 ошибок при самостоятельном окрашивании волос, которых легко избежать

Что греха таить: все мы периодически красим (и портим) волосы дома

Cosmopolitan
Винтокрыл против конвертоплана Винтокрыл против конвертоплана

«Вертолет» не самый подходящий термин для описания этих воздушных монстров

Популярная механика
«Один или два середнячка в команде расхолаживают всех»: миллиардер и CEO Netflix Рид Хастингс о том, как создать сверхэффективную команду «Один или два середнячка в команде расхолаживают всех»: миллиардер и CEO Netflix Рид Хастингс о том, как создать сверхэффективную команду

Отрывок из книги про Netflix о том, как собрать коллектив мечты

Forbes
Маленький человек 2.0 Маленький человек 2.0

«Человек из Подольска» — кафкианская история с фальшивым хеппи-эндом

Weekend
5 приятных фактов про боль 5 приятных фактов про боль

Безболезненно о наболевшем

Maxim
Портрет писателя с котиком Портрет писателя с котиком

Домашние животные, помогавшие писателям писать

Weekend
Да ты «Псих»: каким получился первый сериал Федора Бондарчука Да ты «Псих»: каким получился первый сериал Федора Бондарчука

Какой жизнь предстает в сериале «Псих» от Федора Бондарчука

РБК
Не изменяй свой почерк Не изменяй свой почерк

Второй раз раскрутить бренд одного и того же продукта удается не каждому

Эксперт
Любовь или легкая влюбленность? 16 важных отличий Любовь или легкая влюбленность? 16 важных отличий

Чем отличается легкое увлечение от настоящей любви?

Psychologies
Почему черные дыры — самые страшные объекты во Вселенной Почему черные дыры — самые страшные объекты во Вселенной

В черных дырах нарушаются законы физики, но это не самое страшное

Популярная механика
50 самых быстрорастущих компаний России 50 самых быстрорастущих компаний России

РБК представляет седьмой ежегодный рейтинг самых быстрорастущих компаний России

РБК
Грубые ошибки с длиной верхней одежды: исправь их, чтобы не выглядеть безвкусно Грубые ошибки с длиной верхней одежды: исправь их, чтобы не выглядеть безвкусно

Рассказываем обо всех нюансах, связанных с длиной верхней одежды

Cosmopolitan
Технология блокчейн Технология блокчейн

То, что движет финансовой революцией сегодня

kiozk originals
«Секс без людей, мясо без животных. Кто проектирует мир будущего» «Секс без людей, мясо без животных. Кто проектирует мир будущего»

Выращенное в лаборатории мясо и его преимуществам над животным аналогом

N+1
«Король» гормонов, гормон королей «Король» гормонов, гормон королей

Как мужской гормон тестостерон помогает женщинам похудеть

Худеем правильно
Модель ESCIMO указала на пройденную точку невозврата в потеплении климата Модель ESCIMO указала на пройденную точку невозврата в потеплении климата

Полное прекращение выбросов парниковых газов не остановит потепление

N+1
5 возможных причин, почему ты стал бегать в туалет чаще (при том, что пьешь столько же) 5 возможных причин, почему ты стал бегать в туалет чаще (при том, что пьешь столько же)

Часто ходишь в туалет? Возможно, твой мочевой пузырь пытается что-то сказать

Playboy
Отрывок из книги Андерса Хансена «На цифровой игле» Отрывок из книги Андерса Хансена «На цифровой игле»

Почему правило «выживает сильнейший» в большинстве случаев не работает?

СНОБ
12 вещей, которые использовали вместо денег 12 вещей, которые использовали вместо денег

Во времена натурального обмена в роли денег выступали совершенно разные объекты

Maxim
Если коллега — ваш друг: правила субординации Если коллега — ваш друг: правила субординации

Возможно ли разделить дружеские и рабочие отношения?

Psychologies
7 лучших фильмов о Японии 7 лучших фильмов о Японии

Фильмы, которые помогут лучше понять Японию и японцев

GQ
Наличие смысла жизни и самоконтроль помогают справиться со стрессом из-за пандемии Наличие смысла жизни и самоконтроль помогают справиться со стрессом из-за пандемии

Что помогает людям справиться со стрессом и пережить кризис

Inc.
Лучшие фильмы про Англию Лучшие фильмы про Англию

Фильмы о старом Лондоне, поместьях аристократов и пабах

GQ
Открыть в приложении