Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ведро, чарка, мерзавчик: Как на Руси мерили водку Ведро, чарка, мерзавчик: Как на Руси мерили водку

Почему именно ведро стало точкой отсчета для торговли спиртным

Maxim
Знакомства в интернете: 9 способов привлечь к себе внимание Знакомства в интернете: 9 способов привлечь к себе внимание

Как выделиться в интернете, чтобы привлечь к себе внимание?

Psychologies
Человек, который измерил алгеброй гармонию | Decoding Harmony Through Algebra Человек, который измерил алгеброй гармонию | Decoding Harmony Through Algebra

Виктор Петренко и психосемантика в киноискусстве

Позитивные изменения
7 научно обоснованных способов, как быстро побороть стресс на работе 7 научно обоснованных способов, как быстро побороть стресс на работе

Как справиться с резким скачком агрессии и быстро вернуться в нужное русло

ТехИнсайдер
Дубайская земля Дубайская земля

Сложно представить, но лет сорок назад Дубай был сонной рыбацкой деревушкой

Robb Report
Откуда взялся мем про 40 кошек: ни одна женщина не обидится на эту шутку, если узнает ее происхождение Откуда взялся мем про 40 кошек: ни одна женщина не обидится на эту шутку, если узнает ее происхождение

Почему считается, что у сильной и независимой женщины должно быть 40 кошек?

VOICE
Как восточные женщины сохраняют шлейф и аромат парфюма вокруг себя - три простых секрета, которые ты захочешь повторить Как восточные женщины сохраняют шлейф и аромат парфюма вокруг себя - три простых секрета, которые ты захочешь повторить

Несколько секретов, которые восточные женщины применяют каждый день

VOICE
Держись подальше Держись подальше

7 заблуждений об алкогольной зависимости, в которые до сих пор многие верят

Лиза
Свежевыжатые соки Свежевыжатые соки

Какие плюсы и минусы скрываются в ароматных соблазнах свежевыжатых соков?

Здоровье
«Как в «Жигулях». Что водители рассказали о новом «Москвиче 3» «Как в «Жигулях». Что водители рассказали о новом «Москвиче 3»

Водители перечислили плюсы и минусы кроссоверов «Москвич 3»

РБК
Послеродовая депрессия бывает даже у молодых отцов. Вот как справиться с этим Послеродовая депрессия бывает даже у молодых отцов. Вот как справиться с этим

По оценкам исследований, послеродовой депрессии подвержены около 10% отцов

ТехИнсайдер
Проклятие «Титаника»: почему говорят, что спустя 111 лет лайнер продолжает губить людей Проклятие «Титаника»: почему говорят, что спустя 111 лет лайнер продолжает губить людей

Когда «Титаник» потерпел крушение, тут же поползли слухи о проклятии

VOICE
«Накачать» точку G и увеличить влагалище: для чего нужна интимная косметология «Накачать» точку G и увеличить влагалище: для чего нужна интимная косметология

Интимная косметология: как она избавляет от дискомфорта?

Psychologies
Пожилая британка искупалась в холодной воде и потеряла память Пожилая британка искупалась в холодной воде и потеряла память

Британские врачи описали случай потери памяти после купания в холодной воде

N+1
Правила коррекции Правила коррекции

7 простых способов выглядеть стройнее с помощью одежды

Лиза
Марафон выбора: как мы находим друг друга — 4 вечно актуальных принципа Марафон выбора: как мы находим друг друга — 4 вечно актуальных принципа

Почему из множества потенциальных партнеров мы выбираем одного-единственного?

Psychologies
«Это же подросток»: почему нельзя запрещать гаджеты детям в период пубертата «Это же подросток»: почему нельзя запрещать гаджеты детям в период пубертата

Отрывок из книги «Это же подросток!» — как жить и общаться с взрослеющими детьми

Forbes
Как преодолеть любые жизненные испытания: 3 главных шага Как преодолеть любые жизненные испытания: 3 главных шага

Можем ли мы научиться чему-то у героев жизнеутверждающих фильмов?

Psychologies
Когда не стоит возвращаться к бывшему: 5 неправильных поводов Когда не стоит возвращаться к бывшему: 5 неправильных поводов

В каких случаях не стоит давать себе и партнеру второй шанс

Psychologies
Палеогенетики впервые прочитали ядерные геномы вымерших европейских ослов Палеогенетики впервые прочитали ядерные геномы вымерших европейских ослов

Европейские ослы из Центральной Анатолии — самый поздние особи этого вида

N+1
Милютины Милютины

В отличие от большей части тогдашней элиты, Милютины поднялись из низов

Дилетант
Из бункера к звездам Из бункера к звездам

«Укрытие»: детектив, вестерн и тоталитарная антиутопия в одном сериале

Weekend
Откуда взялся Indian Pale Ale (IPA) и чем отличаются его сорта между собой. История и краткий гид Откуда взялся Indian Pale Ale (IPA) и чем отличаются его сорта между собой. История и краткий гид

Пора разобраться со путаницей Indian Pale Ale: с ее истоками и последствиями.

Maxim
Нина Усатова Нина Усатова

Нина Николаевна выдает мощнейший перформанс про «простую русскую женщину»

Собака.ru
Азима Петра: Алексей Петренко. История любви Азима Петра: Алексей Петренко. История любви

Азима Петра поделилась историей любви с Алексеем Петренко

Коллекция. Караван историй
«Осьминоги, каракатицы, адские вампиры» «Осьминоги, каракатицы, адские вампиры»

500 миллионов лет истории головоногих моллюсков

N+1
Тося Чайкина Тося Чайкина

Королева непредсказуемых фитов и певица из среды академических музыкантов

Собака.ru
Зеркало эмоций: что тело говорит о чувствах — выполните полезное упражнение Зеркало эмоций: что тело говорит о чувствах — выполните полезное упражнение

Как научиться жить в гармонии со своим телом и чувствами?

Psychologies
Технологические новинки для обычных людей: «Тесла» для младенцев, модный скафандр и переносной дом Технологические новинки для обычных людей: «Тесла» для младенцев, модный скафандр и переносной дом

Ученые изобретают не только технологичные ракеты, но и бытовые инновации

ТехИнсайдер
Он шантажом заставлял Софью рожать все чаще и чаще: жуткие факты из жизни Льва Толстого Он шантажом заставлял Софью рожать все чаще и чаще: жуткие факты из жизни Льва Толстого

Софья и Лев Толстой познакомились, когда ей было 18, а ему 34

ТехИнсайдер
Открыть в приложении