Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Поощрялись ли в старину неравные браки? Поощрялись ли в старину неравные браки?

Какими были браки и венчания в старину

Культура.РФ
Дело Кобе живет: как вдова баскетболиста увеличивает капитал семьи после трагедии Дело Кобе живет: как вдова баскетболиста увеличивает капитал семьи после трагедии

Как после трагедии Кобе Брайанта его вдова взяла все в свои руки

Forbes
«Мой муж не стал приматом»: Анна Снаткина призналась, что Виктор Васильев снялся во втором сезоне сериале «Два холма» «Мой муж не стал приматом»: Анна Снаткина призналась, что Виктор Васильев снялся во втором сезоне сериале «Два холма»

Анна Снаткина рассказала о закулисье телепроекта «Два холма»

VOICE
Что произойдет, если Земля начнет вращаться быстрее? Что произойдет, если Земля начнет вращаться быстрее?

Что будет, если наши привычные 24 часа в сутках сократятся?

ТехИнсайдер
Возраст красоты Возраст красоты

Когда и как бороться с возрастными изменениями

Лиза
Милютины Милютины

В отличие от большей части тогдашней элиты, Милютины поднялись из низов

Дилетант
Постель, сбивающая с ног Постель, сбивающая с ног

«Париж, 13-й округ»: Жак Одьяр экранизирует американский комикс

Weekend
Книги жалоб Книги жалоб

Ярмо жизни и тень рая в прозе Людмилы Петрушевской

Weekend
Рассада растет, как на дрожжах: 5 способов повторно использовать чайные пакетики на огороде Рассада растет, как на дрожжах: 5 способов повторно использовать чайные пакетики на огороде

На даче найдется много способов применения использованных чайных пакетиков

ТехИнсайдер
Почему 14-летний подросток из Москвы поджег своего друга: объяснение психологов Почему 14-летний подросток из Москвы поджег своего друга: объяснение психологов

Почему подростки порой становятся жестокими?

Psychologies
Каждый день или раз в месяц: как часто нужно заниматься сексом — мнение психологов Каждый день или раз в месяц: как часто нужно заниматься сексом — мнение психологов

Много, мало, достаточно — можно ли применять эти понятия к интимным отношениям?

Psychologies
Правила жизни Арама Хачатуряна Правила жизни Арама Хачатуряна

Правила жизни советского композитора, дирижера и педагога Арама Хачатуряна

Правила жизни
«Книгу писать или жизнь жить»: как участники группы Anacondaz написали детскую сказку «Книгу писать или жизнь жить»: как участники группы Anacondaz написали детскую сказку

Весной 2023 года группа Anacondaz выпустила книгу «Энтони: дорога к дракону»

Forbes
Крымов, Диденко и Gogol School: какие культурные проекты создают русские эмигранты Крымов, Диденко и Gogol School: какие культурные проекты создают русские эмигранты

Чем русские театральные деятели занимаются за границей

Forbes
«Людей нужно где-то кормить»: почему регионы переживают бум ресторанных франшиз «Людей нужно где-то кормить»: почему регионы переживают бум ресторанных франшиз

Как развивается российский общепит в регионах

Forbes
Сергей Сельянов Сергей Сельянов

Патриарх независимого российского кинематографа

Собака.ru
8 бытовых проблем, с которыми может справиться обычный пинцет — берите на заметку! 8 бытовых проблем, с которыми может справиться обычный пинцет — берите на заметку!

Это крошечное, но очень полезное приспособление должно быть в каждом доме

ТехИнсайдер
«Кластерный механизм — ключевой фактор развития химпрома» «Кластерный механизм — ключевой фактор развития химпрома»

Как сегодня развивается химическая отрасль и какие задачи решает бизнес

РБК
Нейросеть точно оценила хаос и помогла найти признаки болезни Альцгеймера на энцефалограммах Нейросеть точно оценила хаос и помогла найти признаки болезни Альцгеймера на энцефалограммах

Алгоритм смог рассортировать ЭЭГ здоровых людей и пациентом с Альцгеймером

ТехИнсайдер
Готовимся к отпуску: как правильно чистить чемодан Готовимся к отпуску: как правильно чистить чемодан

Как правильно почистить чемодан из ткани и из пластика

ТехИнсайдер
«Пусть она уйдет»: роман о жизни женщины с ментальными особенностями «Пусть она уйдет»: роман о жизни женщины с ментальными особенностями

Отрывок из книги «Маленькие птичьи сердца»

Forbes
Что такое гастрономический жанр в кино и с чем его едят Что такое гастрономический жанр в кино и с чем его едят

«Сноб» окидывает взглядом историю жанра и прослеживает путь еды в истории кино

СНОБ
Закрыть потребность: что мы можем дать друг другу в отношениях — 2 примера из практики психолога Закрыть потребность: что мы можем дать друг другу в отношениях — 2 примера из практики психолога

Что мы так хотим получить от отношений?

Psychologies
Аквапорины астроцитов оказались ответственными за отек мозга после инсульта Аквапорины астроцитов оказались ответственными за отек мозга после инсульта

Острая ишемия вызвала рост внутриклеточной концентрации кальция

N+1
Пятое поколение. Land Rover Discovery и Ford Explorer на вторичном рынке Пятое поколение. Land Rover Discovery и Ford Explorer на вторичном рынке

Land Rover Discovery и Ford Explorer — какой из автомобилей предпочтительней?

4x4 Club
6 животных, которые научились разговаривать так же, как люди — вы будете удивлены! 6 животных, которые научились разговаривать так же, как люди — вы будете удивлены!

Некоторые млекопитающие и птицы могут имитировать звук человеческого голоса

ТехИнсайдер
Война заканчивается, а «послевойны» — никогда Война заканчивается, а «послевойны» — никогда

Побежденная Германия глазами Генриха Бёлля

Weekend
Ледяной дрейф Ледяной дрейф

21 мая в России отметили день полярника. И дата выбрана неслучайно

Отдых в России
Такие одинаковые, но разные ягоды: чем отличается черешня от вишни Такие одинаковые, но разные ягоды: чем отличается черешня от вишни

Вишня и черешня похожи между собой, но все же отличаются

ТехИнсайдер
Ученые озадачены! У белокожих меньше пищевых аллергий, чем у людей с другими цветами кожи Ученые озадачены! У белокожих меньше пищевых аллергий, чем у людей с другими цветами кожи

Уровень дохода и цвет кожи человека влияют на развитие пищевых аллергий

ТехИнсайдер
Открыть в приложении