Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ведро, чарка, мерзавчик: Как на Руси мерили водку Ведро, чарка, мерзавчик: Как на Руси мерили водку

Почему именно ведро стало точкой отсчета для торговли спиртным

Maxim
10-летний мальчик после спуска с горки в США остался без головы! Трагичная история 10-летний мальчик после спуска с горки в США остался без головы! Трагичная история

Калеб Шваб буквально лишился головы из-за неудачного спуска с водной горки

ТехИнсайдер
Изменение климата в Европе ведет к росту вирусных заболеваний, переносимых комарами Изменение климата в Европе ведет к росту вирусных заболеваний, переносимых комарами

Тенденция к потеплению делает условия приятнее для инвазивных видов комаров

ТехИнсайдер
Чем занимаются люди в течение дня? В основном, собой Чем занимаются люди в течение дня? В основном, собой

Более трети всего своего времени человек уделяет себе самому

ТехИнсайдер
Бежим, но не со всех ног Бежим, но не со всех ног

Лето – особая активност бегунов. На пути к цели их могут ждать сюрпризы

Здоровье
Самые травмоопасные виды спорта среди популярных Самые травмоопасные виды спорта среди популярных

Даже занятия бадминтоном могут привести к травме

Maxim
«Накачать» точку G и увеличить влагалище: для чего нужна интимная косметология «Накачать» точку G и увеличить влагалище: для чего нужна интимная косметология

Интимная косметология: как она избавляет от дискомфорта?

Psychologies
Секс втроем и подглядывание: 7 самых популярных женских сексуальных фантазий Секс втроем и подглядывание: 7 самых популярных женских сексуальных фантазий

Образы, с которыми связаны женские эротические фантазии, озвучил психоаналитик

Maxim
Время Змееносца. Летнее небо Время Змееносца. Летнее небо

Змееносец — крупное экваториальное созвездие, пересекающее эклиптику

Наука и жизнь
Ищу хорошего психолога Ищу хорошего психолога

Найти хорошего психолога самостоятельно непросто

Лиза
Вдова Георгия Буркова: «После выхода «Иронии судьбы» Жора не мог спокойно выйти на улицу» Вдова Георгия Буркова: «После выхода «Иронии судьбы» Жора не мог спокойно выйти на улицу»

Бурков трижды приезжал в Москву поступать в театральное училище, но безуспешно

Коллекция. Караван историй
Выражайте благодарность и проявляйте сочувствие: 5 шагов к улучшению отношений — попробуйте на практике Выражайте благодарность и проявляйте сочувствие: 5 шагов к улучшению отношений — попробуйте на практике

Мы часто слышим: отношения — это работа. Но что именно следует делать?

Psychologies
В Кыргызстане едят камни? Поразительно, но да! Вот чем это объясняется В Кыргызстане едят камни? Поразительно, но да! Вот чем это объясняется

Зачем люди в Центральной Азии едят глину?

ТехИнсайдер
Модный ресейл: как заработать на перепродаже одежды и аксессуаров Модный ресейл: как заработать на перепродаже одежды и аксессуаров

Можно ли в мире быстрой моды заработать на перепродаже вещей?

РБК
Ода сексизму: почему все критикуют новый сериал «Идол» с Лили-Роуз Депп и The Weeknd Ода сексизму: почему все критикуют новый сериал «Идол» с Лили-Роуз Депп и The Weeknd

Как сериал «Идол» создает стереотипы про музыкальную индустрию

Forbes
Необычный отдых с детьми Необычный отдых с детьми

Летом для актуален вопрос, как полезно и увлекательно провести каникулы с детьми

Здоровье
Вниманию шопоголиков Вниманию шопоголиков

6 уловок в магазинах одежды, на которые мы часто попадаемся

Лиза
Палеогенетики впервые прочитали ядерные геномы вымерших европейских ослов Палеогенетики впервые прочитали ядерные геномы вымерших европейских ослов

Европейские ослы из Центральной Анатолии — самый поздние особи этого вида

N+1
Как и почему сидр унес жизни 18 человек: объяснение врача-терапевта Как и почему сидр унес жизни 18 человек: объяснение врача-терапевта

Как выявить симптомы отравления метанолом на первых порах?

Psychologies
Медоносные пчелы плохо справились с опылением американских растений Медоносные пчелы плохо справились с опылением американских растений

Медоносные пчелы в Калифорнии оказались не слишком эффективными опылителями

N+1
Найдена мутация, которая отвечает за высоту голоса человека Найдена мутация, которая отвечает за высоту голоса человека

Обнаружены мутации, которые коррелируют с более высоким тоном голоса

ТехИнсайдер
На страже равнин На страже равнин

Как сохранить cтепи, прерии, саванны и пампасы?

Вокруг света
Младенцы «лепечут» чаще, когда они окружены искусственными, а не природными объектами Младенцы «лепечут» чаще, когда они окружены искусственными, а не природными объектами

Искусственное окружение гораздо сильнее стимулирует речь детей, чем естественное

ТехИнсайдер
Как космические путешествия медленно убивают иммунитет человека: что ждет астронавтов будущего Как космические путешествия медленно убивают иммунитет человека: что ждет астронавтов будущего

Условия космических путешествий изменяют экспрессию генов астронавтов

ТехИнсайдер
5 самых распространенных наказаний в отношениях 5 самых распространенных наказаний в отношениях

Допустимы ли наказания в отношениях?

Psychologies
Илья Рашкин и Игорь Гирдин Илья Рашкин и Игорь Гирдин

Бизнесмены запустили производство первого в России электрогрузомобиля

Собака.ru
Алгоритм сортировки, созданный ИИ, работает в 3 раза быстрее всех придуманных математиками за столетие Алгоритм сортировки, созданный ИИ, работает в 3 раза быстрее всех придуманных математиками за столетие

Искусственный интеллект нашел самые быстрые способы сортировки

ТехИнсайдер
Цветочный спецназ Цветочный спецназ

Разбить сад буквально за пару часов на пустом месте? Это возможно!

Лиза
На разных языках На разных языках

Отношение к религии у советской власти было всегда негативным

Дилетант
Миссия допустима: 5 случаев, когда можно шпионить за партнером Миссия допустима: 5 случаев, когда можно шпионить за партнером

По мнению экспертов, есть ситуации, в которых можно следить за партнером

VOICE
Открыть в приложении