Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше

Недосып прибавляет к ощущаемому возрасту человека почти 4,5 года

ТехИнсайдер
Бережный уход: как получить все, если приходится сменить работу Бережный уход: как получить все, если приходится сменить работу

Итак, ты решила: пора увольняться, как сделать это правильно?

VOICE
«Моя печальная участь внушала уважение, сиротство я причислял к своим добродетелям»: 11 фактов о Жан-Поле Сартре «Моя печальная участь внушала уважение, сиротство я причислял к своим добродетелям»: 11 фактов о Жан-Поле Сартре

11 интересных фактов биографии Жан-Поля Сартра

Правила жизни
Закрыть потребность: что мы можем дать друг другу в отношениях — 2 примера из практики психолога Закрыть потребность: что мы можем дать друг другу в отношениях — 2 примера из практики психолога

Что мы так хотим получить от отношений?

Psychologies
Антон Уткин — о том, как найти свое счастье, занимаясь чем-то эфемерным Антон Уткин — о том, как найти свое счастье, занимаясь чем-то эфемерным

Сценарист Антон Утки — почему порой горящие глаза гораздо важнее правил

РБК
Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдер
«Левое полушарие мозга отвечает за логику, а правое — за творчество»: правда или миф? «Левое полушарие мозга отвечает за логику, а правое — за творчество»: правда или миф?

Как на самом деле работает наш мозг?

Psychologies
Дневник предпринимательницы: сколько упаковки нужно для одного батона Дневник предпринимательницы: сколько упаковки нужно для одного батона

Как устроены поставки хлеба в крупные сети и сколько коробок для этого нужно

Forbes
В сердечном ритме В сердечном ритме

Почему у современного ритма жизни есть «сердечное» сопровождение?

Лиза
Подлинная история игрушек: почему дети изобретательницы Барби ненавидели эту куклу Подлинная история игрушек: почему дети изобретательницы Барби ненавидели эту куклу

Как кукла Барби повлияла на детей изобретательницы Рут Хэндлер?

VOICE
Как получать удовольствие от повседневных дел: секреты позитивной психологии Как получать удовольствие от повседневных дел: секреты позитивной психологии

Как сделать каждый день ярким, а рутинные дела — приятными?

Psychologies
Как формируется пищевая зависимость? Отрывок из книги «Почему я не худею» Как формируется пищевая зависимость? Отрывок из книги «Почему я не худею»

Отрывок из книги «Почему я не худею» о формировании пищевых зависимостей.

Правила жизни
ВОЗ советует не использовать заменители сахара для похудения: объясняем, почему ВОЗ советует не использовать заменители сахара для похудения: объясняем, почему

Почему не стоит использовать сахарозаменители?

VOICE
Из чего состоит роман Ивана Тургенева «Отцы и дети» Из чего состоит роман Ивана Тургенева «Отцы и дети»

Как роман Ивана Тургенева «Отцы и дети» повлиял на культуру и политику страны

СНОБ
Эпоха «посткремниевой долины» Эпоха «посткремниевой долины»

В России создается элементная база, работающая на новых физических принципах

Наука
То исчезает, то появляется… То исчезает, то появляется…

Возможно, ты тоже сталкивалась с мужчинами, которые пропадали из твоей жизни

Лиза
Объединение страны и репрессии: как королева Изабелла I Кастильская правила Испанией Объединение страны и репрессии: как королева Изабелла I Кастильская правила Испанией

Королева Изабелла I Кастильская разрушала стереотипы о женственности

Forbes
Городские синицы накопили меньше кортикостерона в перьях за период установления иерархии Городские синицы накопили меньше кортикостерона в перьях за период установления иерархии

Чем городские синицы отличаются от лесных

N+1
Думскроллинг: как перестать листать новости и уберечь себя от тревоги Думскроллинг: как перестать листать новости и уберечь себя от тревоги

Как перестать настойчивость читать новости? Как успокоиться?

Psychologies
Нос кошки устроен как отличный газовый хроматограф Нос кошки устроен как отличный газовый хроматограф

Ученые создали трехмерную компьютерную модель носа кошки

ТехИнсайдер
«Базовая задача — регулирование трансграничного рынка» «Базовая задача — регулирование трансграничного рынка»

Каких мер ожидают от государства производители биологически активных добавок

РБК
Маршрут перестроен. Гид по винодельням Краснодарского края Маршрут перестроен. Гид по винодельням Краснодарского края

Маршрут из шести виноделен Краснодарского края — от Геленджика до Голубицкой

СНОБ
Tesla так не может. Первый тест-драйв электромобиля Avatr 11 Tesla так не может. Первый тест-драйв электромобиля Avatr 11

Первый тест-драйв и обзор китайского электрического кроссовера Avatr 11

РБК
В чем разница между красным, белым и желтым репчатым луком? Дело не только в цвете! В чем разница между красным, белым и желтым репчатым луком? Дело не только в цвете!

Теперь вы будете знать, какой лук лучше выбирать в магазине!

ТехИнсайдер
10 самых живописных пляжей России 10 самых живописных пляжей России

Песок и галька, косы и мысы, горы и скалы

Караван историй
Икота Икота

Даже физиологи не до конца понимают, почему мозг «клинит» на дыхании

Здоровье
Когда воссияли звезды: ученые рассказали, какой была таинственная «эпоха Реионизации» на заре времен Когда воссияли звезды: ученые рассказали, какой была таинственная «эпоха Реионизации» на заре времен

Астрономы пытаются разгадать секреты того, когда Вселенная зажгла свои огни

ТехИнсайдер
Инвестиции в антикварные книги: доводы за и против Инвестиции в антикварные книги: доводы за и против

Как разнообразить свой портфель, вложившись в этот не самый очевидный актив

РБК
«Была подвержена влиянию молодого человека из США»: почему Юлия Паршута ушла из группы «Инь-Ян» «Была подвержена влиянию молодого человека из США»: почему Юлия Паршута ушла из группы «Инь-Ян»

Юлия Паршута захотела изменить свою жизнь из-за бойфренда, живущего за границей

VOICE
Принцесса, которую любят за золотое сердце: как племянница иорданского короля Айя доказывает, что внешность - не главное Принцесса, которую любят за золотое сердце: как племянница иорданского короля Айя доказывает, что внешность - не главное

Айя бинт аль Фейсал — трудолюбивая и вдумчивая принцесса хашимитского двора

VOICE
Открыть в приложении