Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Буддийские и даосские храмы Китая оказались убежищами для вековых деревьев Буддийские и даосские храмы Китая оказались убежищами для вековых деревьев

На территории буддийских и даосских храмов Китая сохранились вековые деревья

N+1
Экстремальное вождение: 6 главных трюков с пошаговыми инструкциями и видеопримерами Экстремальное вождение: 6 главных трюков с пошаговыми инструкциями и видеопримерами

Научись делать автомобильные трюки, которые видел в кино

Maxim
Цифровое око правосудия. Как роботы помогают искать преступников в России Цифровое око правосудия. Как роботы помогают искать преступников в России

Смогут ли роботы заменить следователей и нужно ли это?

Inc.
Что нужно знать о Маргерит Литтман — светской даме, активистке и прототипе героини Одри Хепберн Что нужно знать о Маргерит Литтман — светской даме, активистке и прототипе героини Одри Хепберн

Именно она вдохновила Трумена Капоте на историю «Завтрака у Тиффани»

Esquire
Что такое калланетика и помогает ли она похудеть: 9 упражнений Что такое калланетика и помогает ли она похудеть: 9 упражнений

Эффективный комплекс упражнений для укрепления мышц, которые можно делать дома

РБК
Такими ты их не помнишь! Звезды, которые сильно похудели и невероятно изменились Такими ты их не помнишь! Звезды, которые сильно похудели и невероятно изменились

Вспомнили истории знаменитостей, которым удалось сильно похудеть

Cosmopolitan
Здоровья и счастья Здоровья и счастья

Сильверио Мариан — итальянец, который живёт и работает в России и для России

SALON-Interior
Правила жизни Гаспара Ноэ Правила жизни Гаспара Ноэ

Правила жизни французского режиссера Гаспара Ноэ

Esquire
Убивающий тасманийских дьяволов рак оказался эволюционно консервативным Убивающий тасманийских дьяволов рак оказался эволюционно консервативным

Инфекционный рак поставил тасманийских дьяволов на грань вымирания

N+1
Правила жизни Тильды Суинтон Правила жизни Тильды Суинтон

Правила жизни актрисы Тильды Суинтон

Esquire
Быть плохой девочкой: как найти ресурс в «нехороших» качествах Быть плохой девочкой: как найти ресурс в «нехороших» качествах

Качества, которые ценятся в ребенке, и качества взрослого очень отличаются

Psychologies
История одного посещения История одного посещения

Мария Степанова о неизвестной встрече на высшем уровне

Weekend
Сами мы местные: как производят оптоволокно в России Сами мы местные: как производят оптоволокно в России

Российскому рынку оптоволокна есть куда расти

Inc.
Как написать книгу и раскрутить ее: полезное руководство начинающего писателя Как написать книгу и раскрутить ее: полезное руководство начинающего писателя

Писательство — дело благородное, но требующее больших усилий.

Playboy
Если коллега — ваш друг: правила субординации Если коллега — ваш друг: правила субординации

Возможно ли разделить дружеские и рабочие отношения?

Psychologies
Модель, ведьма, королева: кто такая Аня Тейлор-Джой Модель, ведьма, королева: кто такая Аня Тейлор-Джой

Рассказываем об актрисе, которая заполняет кинопрокат, стриминги и умы зрителей

РБК
Кто делает сумки для королевы Елизаветы II и где их купить Кто делает сумки для королевы Елизаветы II и где их купить

Британский бренд Launer стал очень популярен после выхода 4 сезона «Короны»

РБК
Как исполнить мечту Как исполнить мечту

Пришла пора призвать на помощь карту желаний, психологию и магию

Домашний Очаг
Как распознать киберпреступников в «черную пятницу» Как распознать киберпреступников в «черную пятницу»

Эксперт рассказывает, как распознать киберпреступников в дни распродаж

СНОБ
8 ложных убеждений, которые мешают вашему психическому здоровью 8 ложных убеждений, которые мешают вашему психическому здоровью

Думая об этом, можно навредить самому себе

Psychologies
Модель ESCIMO указала на пройденную точку невозврата в потеплении климата Модель ESCIMO указала на пройденную точку невозврата в потеплении климата

Полное прекращение выбросов парниковых газов не остановит потепление

N+1
«Зачем делать длинную песню — можно сделать две коротких и заработать больше»: как современные технологии меняют музыку «Зачем делать длинную песню — можно сделать две коротких и заработать больше»: как современные технологии меняют музыку

Как меняется современная музыка и медиарынок в целом

VC.RU
Дежурный по стране. Памяти Михаила Жванецкого — великого советского сатирика Дежурный по стране. Памяти Михаила Жванецкого — великого советского сатирика

Михаил Жванецкий — великий комедийный артист

Esquire
Правила жизни Мэттью Макконахи Правила жизни Мэттью Макконахи

Правила жизни актера Мэттью Макконахи

Esquire
Софья Эрнст: «При встрече с сильным соперником думаю, как превратить его в соратника» Софья Эрнст: «При встрече с сильным соперником думаю, как превратить его в соратника»

Софья Эрнст рассказала, как обычно реагирует на появление сильного соперника

Grazia
Мадрид: от рассвета до заката Мадрид: от рассвета до заката

Давай отправимся в гастрономический марафон по испанской столице

Лиза
Дарья Мороз: “За четыре года я стала другим человеком” Дарья Мороз: “За четыре года я стала другим человеком”

Дарья Мороз и стереотипы — две несовместимые вещи

Psychologies
Правила жизни Натальи Бонк Правила жизни Натальи Бонк

Правила жизни лингвиста и педагога Натальи Бонк

Esquire
Если тебе кажется, что ты сходишь с ума, — это газлайтинг: как ему противостоять Если тебе кажется, что ты сходишь с ума, — это газлайтинг: как ему противостоять

Разбираемся в природе газлайтинга и способах борьбы с ним

Cosmopolitan
А ну, дыхни! А ну, дыхни!

Какие тесты на содержание алкоголя в крови существуют, и чем они отличаются?

Здоровье
Открыть в приложении