Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Скажите Скажите

Такая странная и необычная буква "ы"

ТехИнсайдер
Как гражданину России разблокировать активы в Credit Suisse Как гражданину России разблокировать активы в Credit Suisse

На этапе нашей работы с банком Credit Suisse мы выбрали стратегию защиты клиента

Forbes
«Кроссовки продаются вместе с Тицианом»: Екатерина Макдугалл о современных аукционах «Кроссовки продаются вместе с Тицианом»: Екатерина Макдугалл о современных аукционах

Зачем аукционные дома выстраивают вокруг себя целые экосистемы

Forbes
Главное вовремя начать Главное вовремя начать

Какие протоколы красоты сочетают антиэйдж и превент в одном флаконе

Собака.ru
Инженеры сделали физически точную модель океанических течений Инженеры сделали физически точную модель океанических течений

Эта модель пригодится для прогноза погоды и поиска загрязнений в океане

N+1
Надо было просто умножить на 20: как ученые разгадали секрет «космического» календаря майя Надо было просто умножить на 20: как ученые разгадали секрет «космического» календаря майя

Ученые увидели, что древний календарь майя отражает синодические периоды планет

Вокруг света
Магические места силы: как найти свое и что там делать Магические места силы: как найти свое и что там делать

Твоим личным местом силы может стать любое здание!

VOICE
Темнокожие красотки: кем были бывшие жены Роберта Де Ниро Темнокожие красотки: кем были бывшие жены Роберта Де Ниро

Предлагаем посмотреть на бывших жен Роберта Де Ниро

VOICE
Ромул и Рем: чей Рим? Ромул и Рем: чей Рим?

Как на самом деле был основан Рим?

Дилетант
В глубине Тихого океана нашли 4600 неизвестных видов животных. Поразительно! В глубине Тихого океана нашли 4600 неизвестных видов животных. Поразительно!

В зоне Кларион Клиппертон в Тихом океане обнаружено несколько странных существ

ТехИнсайдер
Экзистенция и искусственный интеллект: почему бастуют сценаристы Экзистенция и искусственный интеллект: почему бастуют сценаристы

Как забастовка Гильдии сценаристов США может отразиться на мире вокруг

РБК
От «Вестника парижских мод» до «Работницы»: женская пресса в дореволюционной России От «Вестника парижских мод» до «Работницы»: женская пресса в дореволюционной России

Forbes Woman рассказывает об эволюции женских СМИ в России

Forbes
Из маминой тени в леди-независимость: как менялся стиль Дакоты Джонсон - и чего ей это стоило Из маминой тени в леди-независимость: как менялся стиль Дакоты Джонсон - и чего ей это стоило

Вместе с профессиональным становлением Дакоты её стиль претерпевал изменения

VOICE
Когда спреи не помогли: 7 простых шагов, как снять зуд от укуса комара в домашних условиях Когда спреи не помогли: 7 простых шагов, как снять зуд от укуса комара в домашних условиях

Как избавиться от последствий комариного укуса?

ТехИнсайдер
Вдумчивый, тревожный, сдержанный: какой вы интроверт? Вдумчивый, тревожный, сдержанный: какой вы интроверт?

Наши представления об интровертах нуждаются в пересмотре, считают психологи

Psychologies
«От настоящей любви не бывает больно»: певица Асия и ее возлюбленный Олег Мартышкин — о чувствах и отношениях «От настоящей любви не бывает больно»: певица Асия и ее возлюбленный Олег Мартышкин — о чувствах и отношениях

Что такое любовь? И как сохранять ее несмотря ни на что?

Psychologies
Ген тревожности: найден способ избавиться от панических атак на молекулярном уровне Ген тревожности: найден способ избавиться от панических атак на молекулярном уровне

Новое открытие поможет создать лекарства от тревожных расстройств и ПТСР

Вокруг света
Приложение усилий: что происходит на рынке мобильной разработки в России Приложение усилий: что происходит на рынке мобильной разработки в России

Тренды на рынке мобильной разработки: на что нужно обратить внимание заказчикам

Forbes
История Валентина Юдашкина и его жены Марины: быстрый брак и вечная любовь История Валентина Юдашкина и его жены Марины: быстрый брак и вечная любовь

История Валентина Юдашкина и его жены Марины: пример любви и верности

VOICE
Коллекционирование, слет каббалистов и дельфинотерапия: как и зачем мы выбираем хобби Коллекционирование, слет каббалистов и дельфинотерапия: как и зачем мы выбираем хобби

Как в нашу жизнь приходят хобби? И почему именно такие? Зачем они нужны?

Psychologies
Кремль раскритиковал проект закона о праве регионов решать судьбу бездомных животных Кремль раскритиковал проект закона о праве регионов решать судьбу бездомных животных

ГПУ высказало критические замечания к законопроекту о бездомных животных

Forbes
Лесной «подземный интернет» приносит не только пользу, но и вред деревьям Лесной «подземный интернет» приносит не только пользу, но и вред деревьям

Почему «гипотеза материнского дерева» поставлена под сомнение

ТехИнсайдер
Как долго может прожить курица без головы? И почему с человеком этот трюк не пройдет? Как долго может прожить курица без головы? И почему с человеком этот трюк не пройдет?

История обезглавленного петуха Майка, который поставил мировой рекорд! Но как?

ТехИнсайдер
Скрывать корни, помнить про Рамадан и учить испанский: лайфхаки для пиара за рубежом Скрывать корни, помнить про Рамадан и учить испанский: лайфхаки для пиара за рубежом

Каково это — начинать PR с нуля на новом рынке

Forbes
Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023 Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023

Пять представителей в рейтинге самых высокооплачиваемых спортсменов мира до 25

Forbes
Раздел «Яндекса»: что получат инвесторы Раздел «Яндекса»: что получат инвесторы

Что инвесторы получат в результате раздела «Яндекса»?

Forbes
5 самых коротких войн в истории 5 самых коротких войн в истории

Войны, которые заканчивались за несколько часов

ТехИнсайдер
Mary Gu: Не надо молчать Mary Gu: Не надо молчать

Mary Gu впервые рассказала подробности своего развода

ЖАРА Magazine
В Шёнингене обнаружили 300-тысячелетние следы ног вымерших людей В Шёнингене обнаружили 300-тысячелетние следы ног вымерших людей

Ученые исследовали отпечатки ног, обнаруженные в местности Шёнинген

N+1
Как справиться с негативными эмоциями на работе: 5 способов справиться с гневом — извлеките выгоду Как справиться с негативными эмоциями на работе: 5 способов справиться с гневом — извлеките выгоду

Как справиться со злостью на рабочем месте и даже использовать ее во благо?

Psychologies
Открыть в приложении