Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Поощрялись ли в старину неравные браки? Поощрялись ли в старину неравные браки?

Какими были браки и венчания в старину

Культура.РФ
Пятиминутный путеводитель по подводной археологии Пятиминутный путеводитель по подводной археологии

Разбираем самые интересные находки старинных кораблей.

Правила жизни
«Кластерный механизм — ключевой фактор развития химпрома» «Кластерный механизм — ключевой фактор развития химпрома»

Как сегодня развивается химическая отрасль и какие задачи решает бизнес

РБК
Дубайская земля Дубайская земля

Сложно представить, но лет сорок назад Дубай был сонной рыбацкой деревушкой

Robb Report
Лидия Смирнова покоряла мужские сердца и в 80 лет Лидия Смирнова покоряла мужские сердца и в 80 лет

В фильмографии Смирновой много ярких образов

Коллекция. Караван историй
От функции к форме От функции к форме

Нетипичный для отечественной архитектуры, внешне простой, но элегантный дом

Идеи Вашего Дома
Перовскитные солнечные элементы потеряли менее двух процентов эффективности за тысячу часов Перовскитные солнечные элементы потеряли менее двух процентов эффективности за тысячу часов

Химики удержали органические катионы в перовскитных солнечных элементах

N+1
Без главного лица Без главного лица

«Он — это пуля»: несостоявшийся культовый триллер

Weekend
«Я не прожил и дня без любви к тебе»: история Наполеона и Жозефины в письмах французского императора «Я не прожил и дня без любви к тебе»: история Наполеона и Жозефины в письмах французского императора

Роман Жозефины Богарне и Наполеона Бонапарта — чувственный бестселлер о любви

Правила жизни
Как перестать соглашаться делать то, что не хочется: 5 способов научиться отказывать — советы психолога Как перестать соглашаться делать то, что не хочется: 5 способов научиться отказывать — советы психолога

Как выстроить здоровые границы и научиться отказывать окружающим?

Psychologies
От блокбастеров до острой курицы: как голливудский продюсер развивает сферу общепита От блокбастеров до острой курицы: как голливудский продюсер развивает сферу общепита

Продюсер Джон Дэвис развивает рестораны формата fast casual

Forbes
Обед с метеоритом Обед с метеоритом

Как знаменитый Челябинский метеорит оставил след на кулинарной карте региона

Лиза
(Не)отцовская любовь: как понять, что ребенка подвергают сексуальному насилию дома (Не)отцовская любовь: как понять, что ребенка подвергают сексуальному насилию дома

Опасность может подстерегать детей даже в самом безопасном по определению месте

Psychologies
Целый зоопарк: необычные домашние питомцы звезд — осел, обезьяна и даже свинья Целый зоопарк: необычные домашние питомцы звезд — осел, обезьяна и даже свинья

Эти звезды проявили фантазию при поиске питомца

VOICE
Каким был Эрнесто Че Гевара — рассказывает его брат Каким был Эрнесто Че Гевара — рассказывает его брат

Младший брат Че рассказывает об их детстве и о жизни в тени протеста

Правила жизни
Тюрьмы по всему миру не зарегистрировали половину случаев туберкулеза Тюрьмы по всему миру не зарегистрировали половину случаев туберкулеза

Россия оказалась среди стран с наибольшей частотой туберкулеза среди заключенных

N+1
Миссия допустима: 5 случаев, когда можно шпионить за партнером Миссия допустима: 5 случаев, когда можно шпионить за партнером

По мнению экспертов, есть ситуации, в которых можно следить за партнером

VOICE
Юмор и смех действительно помогают при депрессии и тревожности Юмор и смех действительно помогают при депрессии и тревожности

Может ли "веселая" терапия уменьшить депрессию и тревогу?

ТехИнсайдер
Бессмысленно и бестактно: почему не стоит советовать женщинам выходить замуж Бессмысленно и бестактно: почему не стоит советовать женщинам выходить замуж

Могут ли женщины состояться в жизни, не выходя замуж?

Forbes
Родителям на заметку! Речь взрослых влияет на когнитивное развитие ребенка Родителям на заметку! Речь взрослых влияет на когнитивное развитие ребенка

Родители, которые разговаривают со своими младенцами, улучшают развитие их мозга

ТехИнсайдер
Если вы пострадали от домашнего насилия: что нужно знать — 9 полезных выводов Если вы пострадали от домашнего насилия: что нужно знать — 9 полезных выводов

Насилие может быть не только физическим

Psychologies
Борьба с домогательствами и самоирония: как женщины добивались равноправия в XXI веке Борьба с домогательствами и самоирония: как женщины добивались равноправия в XXI веке

Отрывок из книги Марисы Бейт «Периодическая таблица феминизма»

Forbes
Почему секс полезен для здоровья Почему секс полезен для здоровья

Способность наслаждаться интимной близостью продлевает нам жизнЬ

Psychologies
Зеркало эмоций: что тело говорит о чувствах — выполните полезное упражнение Зеркало эмоций: что тело говорит о чувствах — выполните полезное упражнение

Как научиться жить в гармонии со своим телом и чувствами?

Psychologies
Седло и стремя Седло и стремя

Как люди изобретали приспособления для управления лошадью

Вокруг света
15 самых дорогих мобильных телефонов в мире 15 самых дорогих мобильных телефонов в мире

Представляем пятнадцать самых дорогих мобильников в мире!

ТехИнсайдер
12 лучших и интересных шпионских фильмов СССР 12 лучших и интересных шпионских фильмов СССР

Необходимые для полноты картины советские шпионские триллеры 80-х

Maxim
Почему вам срочно нужно начать есть клетчатку: плюсы и преимущества Почему вам срочно нужно начать есть клетчатку: плюсы и преимущества

Ешьте больше клетчатки! Ведь клетчатка критически важна для здоровья

ТехИнсайдер
Рыбный день Рыбный день

Самые интересные места для рыбалки

Robb Report
Технологические новинки для обычных людей: «Тесла» для младенцев, модный скафандр и переносной дом Технологические новинки для обычных людей: «Тесла» для младенцев, модный скафандр и переносной дом

Ученые изобретают не только технологичные ракеты, но и бытовые инновации

ТехИнсайдер
Открыть в приложении