Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Нечеловеческим животным отказали в чувстве справедливости Нечеловеческим животным отказали в чувстве справедливости

Ученые не обнаружили у животных непринятия несправедливости

N+1
А теперь — Горбатый!.. За что мы любим Армена Джигарханяна А теперь — Горбатый!.. За что мы любим Армена Джигарханяна

Армен Джигарханян ушел — и нам грустно. Хотя…

Maxim
Как сделать удаленный рабочий стол и какой софт для этого использовать Как сделать удаленный рабочий стол и какой софт для этого использовать

Как сделать подключение к удаленному рабочему столу под управлением Windows

CHIP
Любимые рецепты Лали Чочия. Маффины из тыквы Любимые рецепты Лали Чочия. Маффины из тыквы

Лали Чочия делится рецептом сытных и полезных тыквенных маффинов

Seasons of life
Как утолить эмоциональный голод, если у вас нет партнера: 5 сфер, на которые стоит обратить внимание женщине Как утолить эмоциональный голод, если у вас нет партнера: 5 сфер, на которые стоит обратить внимание женщине

Одиночество — это не пустота, а пространство для наполнения своей жизни смыслами

Psychologies
«Если вы такие умные, почему такие бедные»: математик Эдвард Торп обыграл казино и заработал $800 млн на Уолл-стрит «Если вы такие умные, почему такие бедные»: математик Эдвард Торп обыграл казино и заработал $800 млн на Уолл-стрит

История математика, которому наука помогла зарабатывать деньги

VC.RU
Что делать, если забыл пароль от роутера? Что делать, если забыл пароль от роутера?

Как быть, если вы забыли пароль от собственной домашней сети Wi-Fi?

CHIP
Расстрел и Людмила Расстрел и Людмила

Неудачная попытка превратить советскую историю в античную трагедию

Weekend
«Яндекс» раскрыл 38 принципов, которых придерживается в работе «Яндекс» раскрыл 38 принципов, которых придерживается в работе

«Яндекс» сформулировал 38 принципов, которым следуют их сотрудники в работе

Inc.
Почему смеяться над властью снова становится страшно Почему смеяться над властью снова становится страшно

Каждый десятый россиянин, как выясняется, не решается шутить о политике в сети

СНОБ
Как тренироваться в мороз Как тренироваться в мороз

Улица — отличное место для тренировки даже зимой

Maxim
7 фактов о первом «Чужом» плюс полная хронология вселенной Чужих 7 фактов о первом «Чужом» плюс полная хронология вселенной Чужих

Ридли Скотт — человек, который в себе тайком провез с небес Чужого людям

Maxim
Как одна исповедь изничтожила акциониста Павленского. И почему для гражданского общества это пшик Как одна исповедь изничтожила акциониста Павленского. И почему для гражданского общества это пшик

Бывшая жена Павленского выпустила книгу о своих отношениях с художником

СНОБ
Как правильно держать палочки для суши: самые подробные и понятные инструкции Как правильно держать палочки для суши: самые подробные и понятные инструкции

Японская, китайская и корейская кухни — это особый этикет

Cosmopolitan
9 частей вашего тела, о которых вы наверняка ничего не знали 9 частей вашего тела, о которых вы наверняка ничего не знали

Уверены, что хорошо знаете все укромные уголки вашего тела?

Популярная механика
Белые рыцари Amazon: как зарабатывать миллионы на миллиардах Джеффа Безоса Белые рыцари Amazon: как зарабатывать миллионы на миллиардах Джеффа Безоса

Amazon преуспел в развитии предпринимательства больше, чем кто-либо другой

Forbes
Мама может Мама может

Все самое важное и актуальное о материнском капитале

Лиза
Как бренд Jil Sander возвращает себе былую славу Как бренд Jil Sander возвращает себе былую славу

Говорим «минимализм 1990-х» – подразумеваем «дом Jil Sander»

GQ
Субантарктических пингвинов предложили разделить на четыре вида Субантарктических пингвинов предложили разделить на четыре вида

Субантарктические пингвины — не один вид, а четыре

N+1
Что почитать о путешествиях, если надоели travel-блоги? Что почитать о путешествиях, если надоели travel-блоги?

Эти произведения — отличный способ проникнуться другими странами

МегаФон Путешествия
Лиза Арзамасова: Каждый новый день жду как чуда Лиза Арзамасова: Каждый новый день жду как чуда

Актриса Лиза Арзамасова не утратила веру в добрую сказку, даже став взрослой

Добрые советы
Абрау-Дюрсо: путешествие со вкусом игристого Абрау-Дюрсо: путешествие со вкусом игристого

Путешествие в столицу российского шампанского – Абрау-Дюрсо!

Домашний Очаг
Муж принцессы Дианы поступил отвратительно по отношению к ней и младшему сыну Муж принцессы Дианы поступил отвратительно по отношению к ней и младшему сыну

Диана Спенсер страдала в браке со старшим сыном Елизаветы II

Cosmopolitan
Как советский замполит захватил корабль, чтобы устроить революцию, и добрался до США Как советский замполит захватил корабль, чтобы устроить революцию, и добрался до США

История бунта, который все не так поняли

Weekend
Типично псковские дали Типично псковские дали

Едем на длинные выходные в Псковскую область

Seasons of life
Русские сезоны. Часть 2 Русские сезоны. Часть 2

Как покоряли мир отечественные танцовщики, художники и музыканты

Культура.РФ
Как относились друг к другу Бунин и Горький? Как относились друг к другу Бунин и Горький?

В отношениях Ивана Бунина и Максима Горького можно выделить три этапа

Культура.РФ
Даже лучший алгоритм может навредить человеку Даже лучший алгоритм может навредить человеку

Олег Бяхов — об этичных трендах и общении с искусственным интеллектом

РБК
Клиенты-целовашки и волшебный пендель. Кому и как правильно задавать вопросы, чтобы стать лучше Клиенты-целовашки и волшебный пендель. Кому и как правильно задавать вопросы, чтобы стать лучше

Отрывок из книги «Энергия клиента. Как окупается человеческий подход в бизнесе»

Inc.
«Никто не понимает, на чём мы зарабатываем. И слава богу!»: чем примечателен бизнес Fix Price с оценкой в $6 млрд «Никто не понимает, на чём мы зарабатываем. И слава богу!»: чем примечателен бизнес Fix Price с оценкой в $6 млрд

Рассказываем, что известно о сети Fix Price, ее владельцах и доходах

VC.RU
Открыть в приложении