Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Скажите Скажите

Такая странная и необычная буква "ы"

ТехИнсайдер
Уроки сербского Уроки сербского

Милош Бикович — о тех уроках, которые ему преподнесла жизнь

Men Today
Кто и зачем на самом деле изобрел кириллицу (спойлер — нет, не Кирилл и Мефодий) Кто и зачем на самом деле изобрел кириллицу (спойлер — нет, не Кирилл и Мефодий)

Некоторые незыблемые знания не выдерживают столкновения с фактами

Maxim
Как пережить период сессии без вреда для ментального здоровья: советы от психолога Как пережить период сессии без вреда для ментального здоровья: советы от психолога

Эксперт расскажет, как бороться с возникающими на фоне учебы проблемами

Psychologies
Странные факты о саке, которое вовсе не водка Странные факты о саке, которое вовсе не водка

Саке премиального качества появилось только во второй половине XX века

Maxim
Suzuki Vitara и пределы её проходимости Suzuki Vitara и пределы её проходимости

Suzuki Vitara качестве кроссовера хороша не только на асфальте

4x4 Club
Кому и зачем нужна осиная талия Кому и зачем нужна осиная талия

Зачем насекомым тонкая талия?

Наука и жизнь
Вот почему богатые люди не носят чехлы на телефонах. Интересный факт! Вот почему богатые люди не носят чехлы на телефонах. Интересный факт!

Отказ от чехла для телефона — это, вероятно, последний символ скрытого богатства

ТехИнсайдер
Срочно удали! 8 вещей, которые испортят любой кадр — секреты профессионального фотографа Срочно удали! 8 вещей, которые испортят любой кадр — секреты профессионального фотографа

Разбираемся с главными ошибками, которые портят 90% снимков

VOICE
Что для вас значит еда? Что для вас значит еда?

За дверью холодильника скрываются не только продукты! Она открывает наши тайны

Psychologies
Идеальный партнер: в чем опасность мифа о единственном подходящем человеке — ответ ученых Идеальный партнер: в чем опасность мифа о единственном подходящем человеке — ответ ученых

Существует ли на свете идеальный партнер?

Psychologies
Лягушек впервые застали за кормлением нектаром и заподозрили в опылении растений Лягушек впервые застали за кормлением нектаром и заподозрили в опылении растений

Ромбоглазые квакши из Бразилии оказались любительницами нектара

N+1
Бразилец, покоривший мир: чем хорош орех кешью и кому нужно включить его в рацион Бразилец, покоривший мир: чем хорош орех кешью и кому нужно включить его в рацион

Мы спросили нутрициологов, в чем польза и вред кешью для здоровья человека

Вокруг света
«Это было прекрасное путешествие»: какими были жизнь и карьера Тины Тернер «Это было прекрасное путешествие»: какими были жизнь и карьера Тины Тернер

Когершын Сагиева вспоминает личную историю Тины Тернер

Forbes
Создан первый в истории деревянный транзистор: на что он способен? Создан первый в истории деревянный транзистор: на что он способен?

Древесина не умела питать функциональные электроприборы… до недавнего времени

ТехИнсайдер
Аккреционный диск черной дыры воссоздали без стенок в лаборатории Аккреционный диск черной дыры воссоздали без стенок в лаборатории

Британские и американские физики создали лабораторный аналог аккреционного диска

N+1
Экзотика, идеальная картинка, небанальный сюжет: за что мы любим корейские дорамы Экзотика, идеальная картинка, небанальный сюжет: за что мы любим корейские дорамы

Корейские дорамы: что это за жанр и почему его так любят?

Psychologies
Потерять счет времени в Венёве: что посмотреть и чем заняться в старинном тульском городе Потерять счет времени в Венёве: что посмотреть и чем заняться в старинном тульском городе

Экскурсия на день по родине лихого гусара поручика Ржевского и булочки «Венёвки»

Вокруг света
Удары судьбы: что помогает нам подняться? Удары судьбы: что помогает нам подняться?

Выжить психически порой куда труднее, чем физически

Psychologies
«С детьми что-то не так»: шесть по-настоящему страшных фильмов о материнстве «С детьми что-то не так»: шесть по-настоящему страшных фильмов о материнстве

Семь фильмов, которые переосмысляют деторождение

Forbes
Шевелить мозгами: какое будущее у нейроинтерфейсов и инвестиций в это направление Шевелить мозгами: какое будущее у нейроинтерфейсов и инвестиций в это направление

О рисках и перспективах применения технологий нейроинтерфейсов

Forbes
10 самых крутых и диких русских злодеев в голливудских фильмах 10 самых крутых и диких русских злодеев в голливудских фильмах

Самые известные русские злодеи в голливудских фильмах

Maxim
Окситоцин помог мозгу психопатов распознать испуг на лицах Окситоцин помог мозгу психопатов распознать испуг на лицах

После введения окситоцина мозг психопатов начинает лучше распознавать испуг

N+1
Вдумчивый, тревожный, сдержанный: какой вы интроверт? Вдумчивый, тревожный, сдержанный: какой вы интроверт?

Наши представления об интровертах нуждаются в пересмотре, считают психологи

Psychologies
«Летят журавли» и «Вероника»: как два режиссера переосмысляют одну пьесу о войне «Летят журавли» и «Вероника»: как два режиссера переосмысляют одну пьесу о войне

Чем привлекает сегодня режиссеров исторический материал?

Forbes
Алгоритмы против инфляции: что такое флэткоины и помогут ли они криптоинвесторам Алгоритмы против инфляции: что такое флэткоины и помогут ли они криптоинвесторам

Флэткоин — это новая криптовалюта, цена которой привязана к стоимости жизни

Forbes
От суфражисток до #MeToo: все, что нужно знать о четырех волнах женского движения От суфражисток до #MeToo: все, что нужно знать о четырех волнах женского движения

Женское движение за свою почти двухсотлетнюю историю прошло серьезную эволюцию

Forbes
Индустрия впечатлений: что такое авторские туры и кому они нужны Индустрия впечатлений: что такое авторские туры и кому они нужны

Как появились авторские туры и чем они примечательны

РБК
Почему гималайская соль считается полезной: правда или миф Почему гималайская соль считается полезной: правда или миф

Стоит ли вам поменять свою соль?

ТехИнсайдер
Сергей Бурунов: «Я так горжусь, что в нашей стране столько талантливых людей» Сергей Бурунов: «Я так горжусь, что в нашей стране столько талантливых людей»

Один из самых популярных актеров нашего ТВ о своих хобби и работе

Лиза
Открыть в приложении