Нейроинтерфейсы научились переводить сигналы мозга в текст в четыре раза быстрее
Одна парализованная пациентка смогла «произносить» 62 слова в минуту, а другая — 78
Две команды ученых из США научили декодеры превращать сигналы мозга парализованных пациентов в текст в три-четыре раза быстрее, чем удавалось прежде. Статьи об этом опубликованы в Nature. Одни исследователи создали декодер, который переводил в текст беззвучную речь пациентки в текст со скоростью 62 слова в минуту, а вторая группа разработала немного другой интерфейс и перевела сигналы мозга не только в текст, но и в устную речь цифрового аватара и в его мимику. Их декодер генерировал текст со скоростью 78 слов в минуту. Предыдущий рекорд для подобных интерфейсов — 18 слов в минуту.
Речевые интерфейсы мозг-компьютер могут переводить нейронную активность мозга парализованных людей в текст или звук. Обычно для этого в мозг пациентов имплантируют электроды, которые получают сигналы от нейронов, когда человек пытается что-то произнести, думает о том, что хочет сказать (если произносить не может) или читает. Эти сигналы затем преобразовываются в текст с помощью нейросетей. Однако восстанавливать целые предложения — сложно, и обычно удается декодировать лишь отдельные слова и фразы, да и синтезируется такой текст медленнее, чем люди обычно говорят.
Две команды исследователей смогли улучшить работу таких декодеров. Ученые из Стэндфордского университета под руководством Фрэнсиса Уиллера (Francis R. Willer) декодировали речь пациентки с боковым амиотрофическим склерозом. Обычно боковой амиотрофический склероз начинается с разрушения нейронов спинного мозга и приводит к параличу конечностей, однако в редких случаях — как и в случае этой пациентки — первым поражается головной мозг. Женщина могла передвигаться, одеваться самостоятельно и печатать текст, однако не могла двигать челюстью и языком, чтобы говорить. Исследователи имплантировали в ее мозг четыре небольших датчика, в каждом из которых было 64 электрода.