Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше

Недосып прибавляет к ощущаемому возрасту человека почти 4,5 года

ТехИнсайдер
«Кто-то где-то»: драмеди о том, как женщина ищет смысл жизни посреди ничего «Кто-то где-то»: драмеди о том, как женщина ищет смысл жизни посреди ничего

«Кто-то где-то» настолько хороший сериал, что его не стоит пропускать

Forbes
Бактерии-металлурги: предотвратят ли биотехнологии войны за редкоземельные металлы Бактерии-металлурги: предотвратят ли биотехнологии войны за редкоземельные металлы

Бурный рост производства электроники обостряет конкуренцию за редкоземы

Forbes
Будут как новые: 5 способов, как очистить инструменты от ржавчины Будут как новые: 5 способов, как очистить инструменты от ржавчины

Эти методы помогут убрать как небольшую, так и застарелую ржавчину!

ТехИнсайдер
Делиться ли проблемами с близкими? Делиться ли проблемами с близкими?

Стоит ли делиться наболевшим с близкими? Или наш долг — оградить их от забот?

Psychologies
Как привить ребенку самостоятельность Как привить ребенку самостоятельность

Как научить ребенка принимать решения и брать на себя ответственность?

СНОБ
Как Мэри-Кейт и Эшли Олсен ушли в бизнес, а их сестра Элизабет стала звездой кино Как Мэри-Кейт и Эшли Олсен ушли в бизнес, а их сестра Элизабет стала звездой кино

История карьеры и бизнеса сестёр Олсен

Forbes
Вспомнить все Вспомнить все

Лайфхаки для улучшения памяти

Лиза
Совместное творчество: как искусство пришло в индустрию красоты Совместное творчество: как искусство пришло в индустрию красоты

Рассказываем о точках соприкосновения мира искусства и индустрии красоты

Правила жизни
Перезапись страшных воспоминаний мышей разорвала связь с изначальной нейронной сетью Перезапись страшных воспоминаний мышей разорвала связь с изначальной нейронной сетью

Нейроны, хранящие страшное воспоминание мышей, поменяли паттерн кодирования

N+1
«Она была раздавлена»: Арнольд Шварценеггер рассказал, как жена узнала о его романе с домработницей и о внебрачном сыне «Она была раздавлена»: Арнольд Шварценеггер рассказал, как жена узнала о его романе с домработницей и о внебрачном сыне

Арнольд Шварценеггер заявил, что жалеет о боли, которую причинил жене и детям

VOICE
Физик разобрался в стабильности нити стрингшутера Физик разобрался в стабильности нити стрингшутера

Физик экспериментально и теоретически исследовал вращение нити в стрингшутере

N+1
Почему мы так любим кино про недалекое прошлое: 4 причины Почему мы так любим кино про недалекое прошлое: 4 причины

Что стоит за любовью россиян к фильмам про прошлое?

Psychologies
Только для женщин Только для женщин

Симптомы, которые сигнализируют, что тебе срочно нужно на прием к гинекологу

Лиза
Современные популяции бурых медведей разделились около 150-100 тысяч лет назад Современные популяции бурых медведей разделились около 150-100 тысяч лет назад

Генетики исследовали ДНК 39 современных и 12 древних бурых медведей

N+1
«Хорея»: дочь радиобиолога о болезни отца и принятии особенностей близких «Хорея»: дочь радиобиолога о болезни отца и принятии особенностей близких

Отрывок из автофикшна «Хорея» Марины Кочан

Forbes
Почему мы теряем веру в себя и как ее вернуть? Почему мы теряем веру в себя и как ее вернуть?

Почему порой мы чувствуем, что не заслуживаем ничего хорошего?

Psychologies
Ни в коем случае не пейте это в жару: топ-5 обезвоживающих напитков Ни в коем случае не пейте это в жару: топ-5 обезвоживающих напитков

Напитки, которые могут не помочь утолить жажду, а, наоборот, усилить её

ТехИнсайдер
Что такое шугаринг и как его правильно делать Что такое шугаринг и как его правильно делать

Шугаринг — метод удаления волос, которым пользовались еще древние египтяне

РБК
В Стамбуле открывается Музей современного искусства от архитектора ГЭС-2 Ренцо Пьяно В Стамбуле открывается Музей современного искусства от архитектора ГЭС-2 Ренцо Пьяно

Яна Жиляева изучила, как устроен новый Музей современного искусства в Турции

Forbes
Травматический опыт: что происходит с психикой при ПТСР и как это описать Травматический опыт: что происходит с психикой при ПТСР и как это описать

Как у людей проявляется посттравматическое стрессовое расстройство

Psychologies
«Тед Лассо»: чему нас научил заключительный сезон самого жизнеутверждающего телешоу «Тед Лассо»: чему нас научил заключительный сезон самого жизнеутверждающего телешоу

Как «Тед Лассо» научил нас, что настоящая поддержка побеждает боль?

Psychologies
«Производственная цепочка в кластере будет крепкой и гибкой» «Производственная цепочка в кластере будет крепкой и гибкой»

О перспективах химического кластера в Московской области

РБК
Влюбленный в себя соперников не имеет. Почему футболу будет скучно без Златана Ибрагимовича Влюбленный в себя соперников не имеет. Почему футболу будет скучно без Златана Ибрагимовича

Спортивный журналист Павел Занозин проважает Ибру на «пенсию»

Правила жизни
«Ношу эту рубашку 20 лет». Пять историй о долгожителях гардероба «Ношу эту рубашку 20 лет». Пять историй о долгожителях гардероба

Девушки рассказали об одежде, обуви и сумках, которые они купили 10-20 лет

РБК
Лоскут, игрушка, одеяло Лоскут, игрушка, одеяло

Создатели семейного бренда Galka исследуют образ дома

Seasons of life
Экономика будущего глазами футурологов | Economy of the Future Through the Eyes of Futurologists Экономика будущего глазами футурологов | Economy of the Future Through the Eyes of Futurologists

Дискуссия экспертов журнала «Позитивные изменения»

Позитивные изменения
Что такое мысленный эксперимент с «кораблем Тесея»? Что такое мысленный эксперимент с «кораблем Тесея»?

Корабль — это сумма его досок, сумма историй его плаваний или все вместе?

ТехИнсайдер
Искусство займа Искусство займа

Почему реальная цена кредитов больше заявленной

Деньги
Олег Чечик: «Любое искусство — это техника плюс эмоции» Олег Чечик: «Любое искусство — это техника плюс эмоции»

Олег Чечик о своей профессии

Maxim
Открыть в приложении