Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Раскрыта тайна камней Стоунхенджа: ученые развенчали очередной миф Раскрыта тайна камней Стоунхенджа: ученые развенчали очередной миф

Как добывали камни для мегалитов 5000 лет назад

Популярная механика
Лиза Шакира Лиза Шакира

«Шакира-Шакира» мы начали скандировать сразу

Собака.ru
Король говорит! Король говорит!

Георг VI оказался именно тем королём, который был нужен стране в трудные годы

Дилетант
«Мы решили жить вместе»: к чему нужно приготовиться — 3 важных этапа «Мы решили жить вместе»: к чему нужно приготовиться — 3 важных этапа

Как облегчить процесс привыкания друг к другу

Psychologies
Окнами в лес Окнами в лес

Интерьер оформлен так, чтобы поддерживать эффект единения с природой

Идеи Вашего Дома
«Красные партизаны на востоке России» «Красные партизаны на востоке России»

Девиации, анархия и террор партизанщины

N+1
Как поступить, если жена призналась в измене? Как поступить, если жена призналась в измене?

Психолог делится взглядом на причины, тему выбора и способы принятия измены

Psychologies
Максим Пратусевич и Кирилл Сухов Максим Пратусевич и Кирилл Сухов

Физматлицей № 239 — феномен среди образовательных брендов Петербурга

Собака.ru
Гардеробная своими руками. Дизайнерские идеи для любого помещения Гардеробная своими руками. Дизайнерские идеи для любого помещения

Хорошо спроектированная гардеробная обеспечивает достаточно места для хранения

Лиза
Российские астрономы подсчитали сколько весит Млечный путь Российские астрономы подсчитали сколько весит Млечный путь

Хотите узнать, сколько весит Млечный путь?

ТехИнсайдер
Астрономы нашли самые быстрые звезды Млечного пути. Они покидают нашу галактику Астрономы нашли самые быстрые звезды Млечного пути. Они покидают нашу галактику

Как звезды убегают в межгалактическое пространство?

ТехИнсайдер
Герой триллеров: 5 лучших аудиокниг легендарного Джона Маррса Герой триллеров: 5 лучших аудиокниг легендарного Джона Маррса

Отправляемся в мир историй, леденящих душу!

Maxim
Формула везения: можно ли объяснить удачу с научной точки зрения Формула везения: можно ли объяснить удачу с научной точки зрения

Что делать, чтобы удачные случайности стали происходить чаще?

Forbes
Что такое гастрономический жанр в кино и с чем его едят Что такое гастрономический жанр в кино и с чем его едят

«Сноб» окидывает взглядом историю жанра и прослеживает путь еды в истории кино

СНОБ
Имитация человеческого глаза подняла роботизированное Имитация человеческого глаза подняла роботизированное

Нейроморфное устройство позволит роботам принимать быстрые решения

ТехИнсайдер
На разных языках На разных языках

Отношение к религии у советской власти было всегда негативным

Дилетант
6 признаков хорошей тренировки 6 признаков хорошей тренировки

Сигналы организма дадут понять, каких результатов стоит ждать от тренировок

Maxim
Платья Дороти и «суеверные туфли»: что носила звезда мюзиклов Джуди Гарленд Платья Дороти и «суеверные туфли»: что носила звезда мюзиклов Джуди Гарленд

Джуди Гарленд не стала иконой стиля, но свой след в моде оставила

Правила жизни
Нутрия: инвазивные грызуны необычного размера Нутрия: инвазивные грызуны необычного размера

Нутрии не только грызуны с прекрасным мехом, но и настоящие вредители

ТехИнсайдер
Любовь Аркус Любовь Аркус

Киновед, основатель журнала «Сеанс» и фонда поддержки людей с аутизмом

Собака.ru
Синтия Никсон и Кристин Дэвис хотели сыграть Кэрри Брэдшоу в «Сексе в большом городе» Синтия Никсон и Кристин Дэвис хотели сыграть Кэрри Брэдшоу в «Сексе в большом городе»

Синтия Никсон и Кристин Дэвис изначально пробовались на роль Кэрри Брэдшоу

Forbes
В Англии есть специальное кладбище для ампутированных конечностей. Пугающе интересно! В Англии есть специальное кладбище для ампутированных конечностей. Пугающе интересно!

Куда люди могут девать свои ампутированные конечности

ТехИнсайдер
Понять и простить: почему вам изменили — 7 причин Понять и простить: почему вам изменили — 7 причин

Почему люди изменяют?

Psychologies
Девушка из STEM: как Энн-Мари Имафидон стала самой известной британкой в технологиях Девушка из STEM: как Энн-Мари Имафидон стала самой известной британкой в технологиях

Главная заслуга Имафидон — системная поддержка девушек в науке и технологиях

Forbes
Как и почему сидр унес жизни 18 человек: объяснение врача-терапевта Как и почему сидр унес жизни 18 человек: объяснение врача-терапевта

Как выявить симптомы отравления метанолом на первых порах?

Psychologies
Полюбить будни: как находить радость в повседневной жизни и рабочей рутине Полюбить будни: как находить радость в повседневной жизни и рабочей рутине

Отрывок из книги «Обычный вторник» — о том, как наполнить смыслом повседневность

Forbes
5 признаков, что ты пришла в плохую парикмахерскую: их должна знать каждая женщина 5 признаков, что ты пришла в плохую парикмахерскую: их должна знать каждая женщина

Выбрать хорошего парикмахера не так просто, как кажется на первый взгляд

VOICE
На северо-западе Франции нашли три клада эпохи бронзы На северо-западе Франции нашли три клада эпохи бронзы

Во французской Бретани обнаружили три древних клада

N+1
История одного свадебного платья: почему иорданская принцесса Рим Аль Али двадцать лет носит наряд, пошитый в России История одного свадебного платья: почему иорданская принцесса Рим Аль Али двадцать лет носит наряд, пошитый в России

Почему принцесса Рим до сих пор носит свой свадебный наряд?

VOICE
5 книг о медицине будущего 5 книг о медицине будущего

Как развивается медицина и что ожидает человечество в будущем

СНОБ
Открыть в приложении