Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ведро, чарка, мерзавчик: Как на Руси мерили водку Ведро, чарка, мерзавчик: Как на Руси мерили водку

Почему именно ведро стало точкой отсчета для торговли спиртным

Maxim
5 фактов об испанской инквизиции, о которых мало кто знает 5 фактов об испанской инквизиции, о которых мало кто знает

Оказывается, инквизиция не такая кровожадная организация, как мы привыкли думать

Maxim
Спасаем любимые вещи: как отстирать любую краску с одежды Спасаем любимые вещи: как отстирать любую краску с одежды

Можно ли спасти любимую одежду от краски?

ТехИнсайдер
На северо-западе Франции нашли три клада эпохи бронзы На северо-западе Франции нашли три клада эпохи бронзы

Во французской Бретани обнаружили три древних клада

N+1
Глубоководные осьминоги спустились на 2600 метров ради охоты Глубоководные осьминоги спустились на 2600 метров ради охоты

Большую часть времени эти осьминоги проводят в толще воды, а охотятся на дне

N+1
Аглая Иванoвна Аглая Иванoвна

Бухгалтер переезжает в Петербург и за пару лет становится топ-моделью

Собака.ru
Самые популярные мужские вопросы про косметические процедуры Самые популярные мужские вопросы про косметические процедуры

Основные  вопросы на косметологические услуги от мужчин звучат примерно так

Maxim
Длительную контрацепцию на основе вирусного вектора испытали на кошках Длительную контрацепцию на основе вирусного вектора испытали на кошках

Биологи предлагают использовать антимюллеров гормон для контрацепции кошек

N+1
Илья Дель Илья Дель

Илья Дель дождался роли, в которой выкрутил тумблер своего таланта на максимум

Собака.ru
Портрет антигероя: как Джеймс Гандольфини вдохнул жизнь в Тони Сопрано и навсегда изменил телевидение Портрет антигероя: как Джеймс Гандольфини вдохнул жизнь в Тони Сопрано и навсегда изменил телевидение

«Клан Сопрано» подарил миру новый тип героя — антогониста, которому сопереживают

Правила жизни
Геймпад для управления и никакой сертификации: что известно об OceanGate, батискаф которой затонул возле «Титаника» Геймпад для управления и никакой сертификации: что известно об OceanGate, батискаф которой затонул возле «Титаника»

OceanGate: как был устроен «Титан» и почему он затонул?

VC.RU
Алиментное соглашение: как превратить худшую часть развода в заботу о ребенке Алиментное соглашение: как превратить худшую часть развода в заботу о ребенке

Почему алиментное соглашение лучше судебного решения

Forbes
Делегирование полномочий: как отпустить контроль и научиться передавать задачи другим Делегирование полномочий: как отпустить контроль и научиться передавать задачи другим

Как сделать процесс делегирования эффективным?

Forbes
«Я боялась вынашивать эмбрион»: жена Алека Болдуина рассказала, как у нее родились двое детей с разницей в полгода «Я боялась вынашивать эмбрион»: жена Алека Болдуина рассказала, как у нее родились двое детей с разницей в полгода

Хилария Болдуин рассказала, как в ее семье появился ребенок от суррогатной мамы

VOICE
Как законно обогащаться за счет ошибок и просчетов продавцов дорогостоящих товаров Как законно обогащаться за счет ошибок и просчетов продавцов дорогостоящих товаров

Как Стив Белкин обогатился за счет авиакомпаний

Forbes
Мозг человека постоянно воспроизводит прошлые события, чтобы понять настоящее Мозг человека постоянно воспроизводит прошлые события, чтобы понять настоящее

Зачем человеческому мозгу необходимо помнить прошлое?

ТехИнсайдер
Что такое «дофаминовая перезагрузка» и почему она так нужна нам сегодня Что такое «дофаминовая перезагрузка» и почему она так нужна нам сегодня

Что такое дофаминовая система, как она связана с получением удовольствия

Psychologies
Деревянные руки для робота: необычное изобретение Деревянные руки для робота: необычное изобретение

Теперь ученые использовали древесину для роботизированного захвата

ТехИнсайдер
Что заставляет женщин выбирать женатых мужчин: 3 мотива Что заставляет женщин выбирать женатых мужчин: 3 мотива

Можно корить за выбор несвободных мужчин, а можно попытаться понять

Psychologies
Узнайте удивительную историю этой фотографии! Как американец стал “человеком-спутником” Узнайте удивительную историю этой фотографии! Как американец стал “человеком-спутником”

Как человек совершил первый выход в открытый космос без страховочного троса

ТехИнсайдер
Откуда взялся Indian Pale Ale (IPA) и чем отличаются его сорта между собой. История и краткий гид Откуда взялся Indian Pale Ale (IPA) и чем отличаются его сорта между собой. История и краткий гид

Пора разобраться со путаницей Indian Pale Ale: с ее истоками и последствиями.

Maxim
Wi-Fi-радар: как нас выслеживают, чтобы замучить рекламой Wi-Fi-радар: как нас выслеживают, чтобы замучить рекламой

На вас сыплется интернет-реклама, стоит вам только зайти в магазин?

CHIP
Ретропраздник! 19 мобильников золотого 2003 года Ретропраздник! 19 мобильников золотого 2003 года

Перед вами обзор мобильников, которые появились на свет 20 лет назад

Maxim
Как правильно и легко худеть в жару: простые лайфхаки от диетолога Как правильно и легко худеть в жару: простые лайфхаки от диетолога

Как без проблем потерять лишний вес даже в разгар знойного лета?

VOICE
Рыбный день Рыбный день

Самые интересные места для рыбалки

Robb Report
Отец отказался от короны: кто такая Виттория ди Савойя, внезапно ставшая первой наследницей трона Италии за 1000 лет Отец отказался от короны: кто такая Виттория ди Савойя, внезапно ставшая первой наследницей трона Италии за 1000 лет

Кто такая Виттория ди Савойя, и в каком положении она оказалась?

VOICE
Самый знаменитый американский пикап. Краткая история Chevrolet Silverado Самый знаменитый американский пикап. Краткая история Chevrolet Silverado

Что сделало грузовик Chevrolet Silverado такими востребованным?

4x4 Club
Эстетика простоты Эстетика простоты

Текучая, визуально чистая архитектура, игра света и магия искусства

SALON-Interior
4 ошибки с колготками, которые допускают даже продвинутые модницы 4 ошибки с колготками, которые допускают даже продвинутые модницы

Подводных камней в вопросе колготок куда больше, чем ты думала

VOICE
Нейробиологи нашли, где в мозге человека находится его телесное Нейробиологи нашли, где в мозге человека находится его телесное

Удалось впервые локализовать "самоощущение" человека

ТехИнсайдер
Открыть в приложении