Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1Hi-Tech

Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Григорий Копиев

David Gaddy, Dan Klein / EMNLP 2020

Американские исследователи создали прототип системы, которая считывает беззвучную речь при помощи электродов на лице и шее и превращает ее в слышимую речь с помощью нейросети. Потенциально это позволяет создать Bluetooth-гарнитуру, позволяющую разговаривать по телефону, не издавая звуков, или искусственный голосовой аппарат для людей с травмами гортани. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц.

В основном нейромышечные интерфейсы для распознавания субковализации используют для превращения беззвучной речи в текст. Дэвид Гэдди (David Gaddy) и Дэн Кляйн (Dan Klein) из Калифорнийского университета в Беркли создали алгоритм для превращения беззвучной речи в слышимую. Ранее другие исследователи уже решали эту задачу: на человеке закрепляли электроды и он произносил текст, а параллельно с этим исследователи записывали звук и электрическую активность. Затем они обучали алгоритм на парах звук-электрическая активность, что позволяло восстановить первое из второго. Этот подход изначально закладывает в результаты неточность, потому что электрическая активность мышц голосового аппарата при слышимой и неслышимой речи похожа, но не идентична.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Американец начал употреблять бром по совету ChatGPT и заработал психоз Американец начал употреблять бром по совету ChatGPT и заработал психоз

Мужчина заработал психоз после совета ChatGPT

N+1
Кислородная катастрофа: событие, запустившее эволюцию жизни на Земле Кислородная катастрофа: событие, запустившее эволюцию жизни на Земле

«Кислородная революция» изменила химический состав поверхности планеты

Популярная механика
Что такое ИИ-агент, и чем он отличается от обычной нейросети? Что такое ИИ-агент, и чем он отличается от обычной нейросети?

ИИ-агенты сильно упростят нам жизнь — если, конечно, научатся корректно работать

CHIP
Городские чайки выследили идущих на обед школьников Городские чайки выследили идущих на обед школьников

Кроме того, птицы ориентировались на работу центра сбора мусора

N+1
Возможно, математик раскрыл тайну красивейших птичьих мурмураций Возможно, математик раскрыл тайну красивейших птичьих мурмураций

Математик Энди Рейнольдс, возможно, разгадал тайну птичьих мурмураций

ТехИнсайдер
С миру по нитке С миру по нитке

Разочаровавшись в моде, Азиза Азим запустила собственную марку

Vogue
Безумие близнецов: загадочный психоз сестер Урсулы и Сабины Эриксон Безумие близнецов: загадочный психоз сестер Урсулы и Сабины Эриксон

В 2008 году о шведских сестрах-близнецах Эриксон писали все британские газеты

Cosmopolitan
Мята, фисташка и немного Tiffany Мята, фисташка и немного Tiffany

Современная интерпретация модного сегодня стиля 60‑х годов

SALON-Interior
Люблю абсурд: почему стоит посмотреть фильм «Человек из Подольска» Люблю абсурд: почему стоит посмотреть фильм «Человек из Подольска»

Рецензия на абсурдистскую комедию «Человек из Подольска» Семена Серзина

РБК
Год выбирали одно слово: как бывший менеджер «Яндекса» разрабатывал для «Сбера» семейство голосовых помощников Год выбирали одно слово: как бывший менеджер «Яндекса» разрабатывал для «Сбера» семейство голосовых помощников

Кто стоял за разработкой голосовых помощников для «Сбера»

Forbes
Неудачник против везунчика Неудачник против везунчика

«Имя, сестра, имя!» — крылатая фраза из фильма «Д’Артаньян и три мушкетёра»

Дилетант
Как одна исповедь изничтожила акциониста Павленского. И почему для гражданского общества это пшик Как одна исповедь изничтожила акциониста Павленского. И почему для гражданского общества это пшик

Бывшая жена Павленского выпустила книгу о своих отношениях с художником

СНОБ
Город без нагромождений Город без нагромождений

Новое оборудование для сотовых сетей не портит городских пейзажей

РБК
«Не со мной»: как мы реагируем на насилие по отношению к другим «Не со мной»: как мы реагируем на насилие по отношению к другим

Почему мы иногда замираем от ужаса, увидев ссору или драку?

Psychologies
«В классической музыке господствует патриархат»: пианистка Полина Осетинская — о плате за оппозиционность и женщинах в профессии «В классической музыке господствует патриархат»: пианистка Полина Осетинская — о плате за оппозиционность и женщинах в профессии

Интервью с пианисткой и лауреаткой премии «Триумф» Полиной Осетинской

Forbes
Если хочешь быть здоров Если хочешь быть здоров

Полезные подсказки: обустраиваем спортивный уголок для всей семьи в квартире

Лиза
Как брат брату Как брат брату

Разговор по душам с Игорем Верником

OK!
Танцы со звездами Танцы со звездами

Выставка «Сесил Битон и культ звезд», посвященная великому фотографу моды

Vogue
Молодая проза Esquire: Молодая проза Esquire:

Башкирские заговоры в рассказе писательницы Дианы Давлетбердиной

Esquire
Правила современного этикета: что нужно знать о них женщинам? Правила современного этикета: что нужно знать о них женщинам?

Как изменился этикет для женщин

Psychologies
Миллионер из трущоб: почему Марадона такой великий и наглый Миллионер из трущоб: почему Марадона такой великий и наглый

Отрывок из книги «Игра народная. Русские писатели о футболе»

Forbes
На Мадагаскаре нашли мезозойскую птицу с клювом тукана На Мадагаскаре нашли мезозойскую птицу с клювом тукана

Палеонтологи нашли остатки древней птицы с необычным клювом

N+1
Ответственная за моду: Мирослава Дума Ответственная за моду: Мирослава Дума

Мирослава Дума вернулась в качестве соосновательницы бренда Pangaia

Glamour
Тысячи дворцов и лучшие верблюды: на что тратят миллиарды самые богатые арабы Тысячи дворцов и лучшие верблюды: на что тратят миллиарды самые богатые арабы

Их жизнь похожа на восточную сказку, рассказанную Шахерезадой

Cosmopolitan
Расширить границы возможностей Расширить границы возможностей

Многие артисты пробуют свои силы в разных форматах и осваивают новые площадки

OK!
Высокохудожественное надувательство Высокохудожественное надувательство

Анна Толстова о выставке Ли Бул и искусстве перенастройки смыслов

Weekend
Хурма – зимняя ягода Хурма – зимняя ягода

Рассказываем, в чем польза хурмы, как ее выбирать и какие блюда с ней готовить

Здоровье
10 известных фильмов, съемки которых чуть было не сорвались 10 известных фильмов, съемки которых чуть было не сорвались

Эти знаменитые ленты мы могли бы никогда не увидеть

Maxim
У бобовых нашли рецептор травоядной тревоги У бобовых нашли рецептор травоядной тревоги

Генетики обнаружили в коровьем горохе ген, распознающий нападение травоядных

N+1
5 глупых вещей, которые навсегда изменили наш мир 5 глупых вещей, которые навсегда изменили наш мир

Иногда какая-нибудь табуретка может сделать для истории больше, чем президент

Maxim
Открыть в приложении