Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как бизнесмен из Волжского создал сеть блинных по франшизе и вышел в Дубай Как бизнесмен из Волжского создал сеть блинных по франшизе и вышел в Дубай

Евгений Купко рассказывает, как ему пришла идея открыть блинную

Forbes
Другая вода и почти нет кислорода: чем манит ученых «голубая дыра» глубиной 274 м на дне океана? Другая вода и почти нет кислорода: чем манит ученых «голубая дыра» глубиной 274 м на дне океана?

Содержимое этого гигантского конуса расскажет о древней Земле

Вокруг света
20 фильмов Каннского фестиваля 20 фильмов Каннского фестиваля

Двадцатка лучших фильмов в программе Каннского кинофестиваля

Weekend
Блиц-интервью: Михаил Пореченков Блиц-интервью: Михаил Пореченков

Михаил Пореченков рассказал о подготовке к новой роли и воспитанию детей

Лиза
Как Валерия Костина создала крупнейший проект по сбору старых вещей в Приморском крае Как Валерия Костина создала крупнейший проект по сбору старых вещей в Приморском крае

Почему благотворительные магазины в Приморском крае столкнулись с хейтом?

Forbes
«Кристина у меня ушла под воду»: домработница Пугачевой призналась, что чуть не утопила Орбакайте «Кристина у меня ушла под воду»: домработница Пугачевой призналась, что чуть не утопила Орбакайте

Людмила Дороднова рассказала, как Кристина Орбакайте чуть не утонула в ванне

VOICE
Загадка дюн Утопии: когда Марс был полон влаги и почему стал безжизненной пустыней? Загадка дюн Утопии: когда Марс был полон влаги и почему стал безжизненной пустыней?

Из-за чего сосед по Солнечной системе потерял всю свою воду

Вокруг света
Мозг Мозг

Почему люди подвержены негативным мыслям?

ТехИнсайдер
В двух ипостасях: переезд и планы театра «Практика» В двух ипостасях: переезд и планы театра «Практика»

Как полтора сезона в Музее Москвы помогли перестроиться и расширить аудиторию

СНОБ
Гид в кармане Гид в кармане

7 полезных приложений для путешествий по России

Лиза
Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023 Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023

Пять представителей в рейтинге самых высокооплачиваемых спортсменов мира до 25

Forbes
Залог здоровой жизни! Узнайте четыре привычки большинства долгожителей Залог здоровой жизни! Узнайте четыре привычки большинства долгожителей

Что нужно учесть, чтобы прожить долгую и здоровую жизнь?

ТехИнсайдер
«5 уроков, которые я извлекла из психотерапии»: личный опыт «5 уроков, которые я извлекла из психотерапии»: личный опыт

Даже те, кто идет в психологи, не сразу могут оценить пользу психотерапии

Psychologies
Радиошум земных вышек мобильной связи оказался недоступен для обнаружения с ближайших звезд Радиошум земных вышек мобильной связи оказался недоступен для обнаружения с ближайших звезд

Утечка излучения от вышек мобильной связи на Земле не может быть обнаружена

N+1
Слайд-шоу Слайд-шоу

Космические корабли, инновационные мотоциклы и складные дома

ТехИнсайдер
«Я не могу написать свое имя, мне это запрещено»: Кейт Миддлтон не могла дать автографы детям «Я не могу написать свое имя, мне это запрещено»: Кейт Миддлтон не могла дать автографы детям

Кейт Миддлтон допустила редкие откровения о себе и о детях

VOICE
Полина Гагарина: «Я всё больше становлюсь домоседом» Полина Гагарина: «Я всё больше становлюсь домоседом»

Певица Полина Гагарина — о секретах восстановления и своих увлечениях

Здоровье
Начать питаться осознанно Начать питаться осознанно

Как использовать приложения для тренировки сознательного пищевого поведения

Psychologies
«При ближайшем рассмотрении оба оказались упырями»: история России глазами нечисти «При ближайшем рассмотрении оба оказались упырями»: история России глазами нечисти

Отрывок из книги Даниэль Бергер «О нечисти и не только»

Psychologies
Зоопарки России Зоопарки России

К Дню защиты детей сделали подборку лучших зоологических садов

Лиза
Сколько градусов в кефире, кумысе, квасе и безалкогольном пиве Сколько градусов в кефире, кумысе, квасе и безалкогольном пиве

Сколько надо выпить невинных напитков, чтобы получился эквивалент рюмки водки?

Maxim
Что посмотреть в ближайшем зарубежье: Узбекистан, Казахстан, Монголия Что посмотреть в ближайшем зарубежье: Узбекистан, Казахстан, Монголия

Кристина Резникова собрала гид по соседним с Россией безвизовым странам

РБК
Алексей Иорш Алексей Иорш

Алексей Иорш занимается живописью, графикой, стрит-артом и поднимает важные темы

Правила жизни
Король на Aston Martin. Какие автомобили любит новый британский монарх Король на Aston Martin. Какие автомобили любит новый британский монарх

Как и его покойная мать Елизавета II, Карл III известен любовью к автомобилям

РБК
Противоположности притягиваются? Истории любви непохожих друг на друга людей Противоположности притягиваются? Истории любви непохожих друг на друга людей

Действительно ли очень разные люди могут сблизиться и быть вместе?

Psychologies
«От 0 и выше»: сколько сексуальных партнеров в среднем у мужчин и женщин — результаты опроса и мнение психолога «От 0 и выше»: сколько сексуальных партнеров в среднем у мужчин и женщин — результаты опроса и мнение психолога

Количество сексуальных партнеров — деликатная тема

Psychologies
Евгений Писарев: «Пока не будешь знать весь театральный механизм, хозяином театра не станешь», — говорил мне Табаков» Евгений Писарев: «Пока не будешь знать весь театральный механизм, хозяином театра не станешь», — говорил мне Табаков»

Слава Богу, я не руковожу большим театром...

Караван историй
Осторожно: ультраобработано! Осторожно: ультраобработано!

Почему не стоит увлекаться полуфабрикатами

Здоровье
Почему сейчас кино Ингмара Бергмана может быть нам близко, как никогда раньше Почему сейчас кино Ингмара Бергмана может быть нам близко, как никогда раньше

Почему не нужно бояться фильмов Ингмара Бергмана?

Правила жизни
PandaX не нашла электромагнитно взаимодействующую темную материю PandaX не нашла электромагнитно взаимодействующую темную материю

Для поиска темной материи физики упрятали четыре тонны жидкого ксенона под гору

N+1
Открыть в приложении