Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

6 золотых правил нестареющих женщин: запомни их как мантру! 6 золотых правил нестареющих женщин: запомни их как мантру!

Простейшие привычки, которые помогут отсрочить старение на десятки лет

VOICE
Узнайте необычные привычки людей с высоким интеллектом! Интересные факты Узнайте необычные привычки людей с высоким интеллектом! Интересные факты

На умственные способности человека влияет множество факторов

ТехИнсайдер
Что нового в новом KIA Seltos? Что нового в новом KIA Seltos?

Обновлённый Seltos повысил свою ценность по всем параметрам

4x4 Club
Итальянское каприччо Итальянское каприччо

«Каприччо» прослеживаются в линиях силуэта Azimut Grande 36 Metri

Y Magazine
Главный летний напиток: чем полезен и чем вреден любимый многими квас Главный летний напиток: чем полезен и чем вреден любимый многими квас

Безопасно ли пить квас?

ТехИнсайдер
Маршруты, траты, цели: как изменились путешествия за границу в 2023 году Маршруты, траты, цели: как изменились путешествия за границу в 2023 году

Как события последнего года изменили жизнь путешественников

РБК
Иные миры Иные миры

Инопланетные пейзажи на Земле

Men Today
До «Мира» и МКС: как орбитальная станция «Скайлэб» помогла расширить знания о космосе До «Мира» и МКС: как орбитальная станция «Скайлэб» помогла расширить знания о космосе

Увлекательная история орбитальной станции «Скайлэб»

Вокруг света
Кому и зачем нужна осиная талия Кому и зачем нужна осиная талия

Зачем насекомым тонкая талия?

Наука и жизнь
Никита Ефремов: «Нужно признать: зависимость сильнее, чем я» Никита Ефремов: «Нужно признать: зависимость сильнее, чем я»

Никита Ефремов — очень тонко чувствующий и ранимый человек

Maxim
В ритме танца В ритме танца

5 простых танцевальных упражнений для подтянутой фигуры

Лиза
Аппетит уменьшается летом? Вот как стоит питаться в жару: советы эксперта! Аппетит уменьшается летом? Вот как стоит питаться в жару: советы эксперта!

Лайфхаки, которые помогут вашему организму чувствовать себя комфортнее в жару

ТехИнсайдер
Почему у Hyundai Creta есть будущее, а у Bentley Bentayga нет Почему у Hyundai Creta есть будущее, а у Bentley Bentayga нет

Автомобили повторяют судьбу мобильных телефонов

4x4 Club
Каково это — быть мазохистом: откровения хозяйки секретного места встреч Каково это — быть мазохистом: откровения хозяйки секретного места встреч

Что заставляет людей отправляться в специальные клубы, где над ними издеваются?

Psychologies
«Оппенгеймер. Триумф и трагедия американского Прометея» «Оппенгеймер. Триумф и трагедия американского Прометея»

Биография создателя ядерной бомбы

N+1
Любовь после фарфоровой свадьбы: советы людей, которые прожили вместе 20 лет и больше Любовь после фарфоровой свадьбы: советы людей, которые прожили вместе 20 лет и больше

Как пожилым парам удается оставаться вместе так долго?

VOICE
Рези и боль после секса: признаки и профилактика посткоитального цистита Рези и боль после секса: признаки и профилактика посткоитального цистита

Что может сигнализировать о том, что у пациентки появился посткоитальный цистит

Psychologies
Чем труднее задача, тем глубже морщинка между бровей Чем труднее задача, тем глубже морщинка между бровей

Как реагируют определенные мышцы лица, когда человек размышляет

ТехИнсайдер
Когда спреи не помогли: 7 простых шагов, как снять зуд от укуса комара в домашних условиях Когда спреи не помогли: 7 простых шагов, как снять зуд от укуса комара в домашних условиях

Как избавиться от последствий комариного укуса?

ТехИнсайдер
Запретов больше нет Запретов больше нет

Ешь углеводы даже на диете! Лови список продуктов для похудения

Лиза
Что обозначают значки на ярлыках одежды: вы до сих пор понимали их неправильно Что обозначают значки на ярлыках одежды: вы до сих пор понимали их неправильно

Если вы никогда не понимали, что означают эти значки на одежде, объсняем!

ТехИнсайдер
Токсичный брак: 5 признаков деструктивных отношений Токсичный брак: 5 признаков деструктивных отношений

Как распознать первые признаки деструктивных отношений?

Psychologies
Асия: «Я пока не ощущаю никакой популярности. И не мечтаю о ней» Асия: «Я пока не ощущаю никакой популярности. И не мечтаю о ней»

Асия рассказала, почему побаивается ехать в родной город с концертом

ЖАРА Magazine
Что делать, если бросила девушка: 9 советов мужчинам Что делать, если бросила девушка: 9 советов мужчинам

Как справиться, когда любимая уходит и эмоции берут верх?

Psychologies
Это вам не кино: ученые назвали растение, которое выживет и даст урожай на Марсе Это вам не кино: ученые назвали растение, которое выживет и даст урожай на Марсе

Сценарий выживания, как в фильме «Марсианин», оказался не самым перспективным

Вокруг света
Лучшие сериалы про маньяков. Часть 2 Лучшие сериалы про маньяков. Часть 2

Еще 13 сериалов для любителей безопасно пощекотать себе нервы

Maxim
Власть женщин: правда и мифы о матриархате Власть женщин: правда и мифы о матриархате

Откуда взялся миф о матриархате и какие задачи могут решать современные женщины

Psychologies
Наталия Деянова, Systeme Electric: Логотип — это только вершина айсберга Наталия Деянова, Systeme Electric: Логотип — это только вершина айсберга

Как преемникам уходящих с рынка компаний грамотно провести трансформацию бренда

СНОБ
«Я играю стерву. Любите ее и ненавидьте!»: Мария Горбань раскрыла секреты сериала «Звездный суд» «Я играю стерву. Любите ее и ненавидьте!»: Мария Горбань раскрыла секреты сериала «Звездный суд»

Мария Горбань сыграла вместе с Максимом Лагашкиным в комедийном сериале

VOICE
Как в России появились первые покровители художников и возникла мода на меценатство Как в России появились первые покровители художников и возникла мода на меценатство

Меценаты, которые оставили своим потомкам внушительное наследство

СНОБ
Открыть в приложении