Тренировка на одних фразах помогла нейросети распознать по активности мозга другие
Нейросеть обучили распознавать речь по активности коры мозга человека. Алгоритм обучали и тестировали на ограниченном наборе из 50 предложений, точность распознавания в среднем составила 97 процентов. Обучение на дополнительных данных снизило количество ошибок, что говорит о том, что алгоритм не просто запоминает предложения, а находит общие закономерности. Статья опубликована в журнале Nature Neuroscience.
Современные нейроинтерфейсы умеют хорошо расшифровывать активность мозга, которая связана с движениями, — таким образом человек может управлять, например, искусственными конечностями. А вот напрямую переводить электрические сигналы мозга в речь до сих пор было невозможно, поэтому повсеместно используется схема, в которой человек управляет курсором и печатает текст на экране компьютера. Но даже если бы точность контроля курсора была идеальной, говорить таким способом все равно получалось бы очень медленно — максимальная скорость была бы как при печати одним пальцем.
Были и попытки расшифровать речь из активности мозга напрямую, однако пока удавалось понять лишь отдельные фонемы или звуки, а распознать речь, которая состояла из ограниченного набора в 100 слов, ученым удалось с точностью менее 40 процентов.
Ученые из Калифорнийского университета в Сан-Франциско под руководством Джозефа Мэйкина (Joseph Makin) воспользовались методами машинного обучения для того, чтобы расшифровать речь по активности мозга. У четырех добровольцев записывали электрокортикограмму, аналог электроэнцефалограммы, в котором электроды накладывают непосредственно на кору мозга (электроды пациентам установили по медицинским показаниям). Решетка электродов покрывала область коры вокруг боковой борозды — эта зона включает в себя речевые центры.