Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Астрономы подтвердили существование экзогиганта на ретроградной орбите в тесной двойной системе Астрономы подтвердили существование экзогиганта на ретроградной орбите в тесной двойной системе

Астрономы нашли экзогиганта на необычно широкой и ретроградной орбите

N+1
Кубок Карьяла – турнир, который сборная России по хоккею запомнит надолго Кубок Карьяла – турнир, который сборная России по хоккею запомнит надолго

Почему победа в товарищеском турнире вдруг стала триумфом сборной России в 2020

GQ
Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков

Настроить телевизор правильно — проще, чем кажется

ТехИнсайдер
Древнее индейское проклятие продолжает убивать президентов США. Джо Байден в группе риска! Древнее индейское проклятие продолжает убивать президентов США. Джо Байден в группе риска!

Это не бред сивых уфологов с РЕН ТВ, а исторически задокументированная история.

Maxim
Пять языков любви Пять языков любви

Секрет прочных отношений

kiozk originals
Сергей Кузин: Как выиграть в онлайн-битве за внимание Сергей Кузин: Как выиграть в онлайн-битве за внимание

Как работать с аудиторией в онлайне?

СНОБ
Как ухаживать за замшевой обувью: эксплуатация, чистка и 6 лучших средств Как ухаживать за замшевой обувью: эксплуатация, чистка и 6 лучших средств

Замшевая обувь неприхотлива в уходе, но даже тут есть свои нюансы и тонкости

Cosmopolitan
Крайний север, одна река и три страны: путешествие по долине реки Паз. Фотоистория Крайний север, одна река и три страны: путешествие по долине реки Паз. Фотоистория

Паз — река, которую делят три страны

Esquire
Вот так встреча Вот так встреча

Долгие новогодние каникулы дают шанс поупражняться в искусстве принимать гостей

AD
Это мой бренд: Олеся Шиповская Это мой бренд: Олеся Шиповская

Костюмы бренда Lesyanebo Олеси Шиповской носят Джиджи Хадид и Наталья Водянова

Glamour
12 вещей, которые использовали вместо денег 12 вещей, которые использовали вместо денег

Во времена натурального обмена в роли денег выступали совершенно разные объекты

Maxim
10 имен из мира компьютерных игр, которые должен знать каждый 10 имен из мира компьютерных игр, которые должен знать каждый

Имена этих гениев игровой индустрии будут изучать в школе

Maxim
5 приятных фактов про боль 5 приятных фактов про боль

Безболезненно о наболевшем

Maxim
Мало, мало, мало огня Мало, мало, мало огня

Год, когда непостижимость божественного замысла включилась на максимум

Tatler
Их объединила трагедия: трогательная история любви Павла Воли и Ляйсан Утяшевой Их объединила трагедия: трогательная история любви Павла Воли и Ляйсан Утяшевой

Вспоминаем, как развивались отношения Павла Воли и Ляйсан Утяшевой

Cosmopolitan
7 секретов счастливой жизни от автора «Секс в большом городе» 7 секретов счастливой жизни от автора «Секс в большом городе»

Кэндес Бушнелл делится правилами своего успеха

Cosmopolitan
Вопрос психологу: что такое синдром самозванца? Вопрос психологу: что такое синдром самозванца?

Синдром самозванца — это не медицинский диагноз, но он может испортить жизнь

Esquire
Жесткая конкуренция Жесткая конкуренция

История медиавойны между Playboy и его амбициозным подражателем

Playboy
У Гугла за пазухой: во что вкладывают деньги корпорации и какое будущее они нам готовят У Гугла за пазухой: во что вкладывают деньги корпорации и какое будущее они нам готовят

Когда в мире восстанут машины, получится, что мы сами это оплатили

Maxim
Ретроградный Меркурий и президентская гонка Ельцина. Отрывок из новой книги Михаила Зыгаря Ретроградный Меркурий и президентская гонка Ельцина. Отрывок из новой книги Михаила Зыгаря

Фрагмент из книги Михаила Зыгаря о президентский выборах в России в 1996 году

СНОБ
5 писателей-фантастов, предсказавших будущее 5 писателей-фантастов, предсказавших будущее

Этим авторам удалось предвидеть тенденции развития нашего мира

Популярная механика
Как Чаушеску однажды чуть не разбился на самолете под Москвой Как Чаушеску однажды чуть не разбился на самолете под Москвой

Случилось это возле аэропорта Внуково…

Maxim
Поставь смайлик: в чем секрет неотразимой улыбки? Поставь смайлик: в чем секрет неотразимой улыбки?

В чем заключается природа улыбки, почему и в каких ситуациях мы улыбаемся?

Psychologies
Индейцы пожевали галлюциногенного дурмана и нарисовали его цветок в пещере Индейцы пожевали галлюциногенного дурмана и нарисовали его цветок в пещере

Ученые выяснили, что спиральный узор на потолке пещеры — изображение дурмана

N+1
10 композиторов советского кино: от лучшего к самому лучшему 10 композиторов советского кино: от лучшего к самому лучшему

Как прекрасно звучала музыка в советских фильмах

Maxim
Отказалась от сотрудничества с КГБ и еще 9 фактов о Людмиле Гурченко Отказалась от сотрудничества с КГБ и еще 9 фактов о Людмиле Гурченко

Имя Людмилы Гурченко известно всем россиянам, и это неудивительно

Cosmopolitan
Ингибиторы эндоманнозидазы подавили репликацию вирусов Ингибиторы эндоманнозидазы подавили репликацию вирусов

Эти ингибиторы мешают сборке вирусных частиц

N+1
Моя терапия: «Я пообещала маме и себе, что буду счастливой» Моя терапия: «Я пообещала маме и себе, что буду счастливой»

Когда мир рушится и все против нас, очень сложно найти опору в себе

Psychologies
Почему мы продолжаем отношения, которые давно пора закончить? Почему мы продолжаем отношения, которые давно пора закончить?

Причины, по которым мы остаемся в отношениях, которые нам не нужны

Cosmopolitan
Лучшие фильмы про Англию Лучшие фильмы про Англию

Фильмы о старом Лондоне, поместьях аристократов и пабах

GQ
Открыть в приложении