Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Инженеры научились бесконтактно тыкать в сенсорный экран Инженеры научились бесконтактно тыкать в сенсорный экран

GhostTouch, который позволяет бесконтактно управлять сенсорными экранами

N+1
Скажите Скажите

Такая странная и необычная буква "ы"

ТехИнсайдер
Мобилизация по-екатеринински Мобилизация по-екатеринински

Как беспрецедентный рекрутский набор помог России в войне с Турцией

Дилетант
Шевелить мозгами: какое будущее у нейроинтерфейсов и инвестиций в это направление Шевелить мозгами: какое будущее у нейроинтерфейсов и инвестиций в это направление

О рисках и перспективах применения технологий нейроинтерфейсов

Forbes
Ген тревожности: найден способ избавиться от панических атак на молекулярном уровне Ген тревожности: найден способ избавиться от панических атак на молекулярном уровне

Новое открытие поможет создать лекарства от тревожных расстройств и ПТСР

Вокруг света
Натуральное автохозяйство Натуральное автохозяйство

Импортозамещение, технологический суверенитет и другие актуальные понятия

Автопилот
Запретная любовь в Сарае: как были устроены гаремы турецких султанов Запретная любовь в Сарае: как были устроены гаремы турецких султанов

Как был устроен султанский гарем

Вокруг света
Анна Рыжова Анна Рыжова

Путь Анны Рыжовой — образец для комиксиста

Правила жизни
Поддерживать, но не потакать: как помочь близкому, страдающему зависимостью Поддерживать, но не потакать: как помочь близкому, страдающему зависимостью

Важно четко осознать разницу между поддержкой зависимого человека и потаканием

Psychologies
Достопримечательности Земли обетованной: 7 удивительных чудес Израиля, которые должен увидеть каждый Достопримечательности Земли обетованной: 7 удивительных чудес Израиля, которые должен увидеть каждый

Эти места почитаются святыми в иудаизме, христианстве и исламе

Вокруг света
Компрессионный трикотаж: 3 правила правильного выбора Компрессионный трикотаж: 3 правила правильного выбора

Как снизить риски проявления варикоза?

Psychologies
Максим Матвеев Максим Матвеев

Актер Максим Матвеев — о том, почему сила искусства скрыта в милосердии

Собака.ru
Oasis, Blur, Pulp и Suede. Что такое брит-поп Oasis, Blur, Pulp и Suede. Что такое брит-поп

Что такое брит-поп и о чем были песни «Большой четверки»

СНОБ
Phoenix: амбициозный проект Phoenix: амбициозный проект

Проект Phoenix основан на аккуратном «пилотируемом» подходе к обучению

ТехИнсайдер
Просто лучшая: как Тина Тернер одевалась на сцене и в жизни — и оставалась иконой Просто лучшая: как Тина Тернер одевалась на сцене и в жизни — и оставалась иконой

Тина Тернер была невероятно цельной и могла зарядить всех и каждого.

Правила жизни
Виктория Толстоганова — о спектакле «Это все она» Виктория Толстоганова — о спектакле «Это все она»

Разговор с Викторией Толстогановой о спектакле «Это все она» и работе над ролью

СНОБ
10 тем, которые нужно обсудить в начале отношений 10 тем, которые нужно обсудить в начале отношений

Что такое «карта отношений» и как она помогает свести конфликты к минимуму?

Psychologies
Музей Ивана Музей Ивана

Однажды Иван Хафизов вдруг сфотографировал наличники...

Новый очаг
8 полезных привычек, которые помогут крепкому сну 8 полезных привычек, которые помогут крепкому сну

Что необходимо делать перед сном, чтобы сохранить свое здоровье

ТехИнсайдер
Миссия: металл Миссия: металл

Зонд Psyche должен будет осмотреть целиком металлический мир

ТехИнсайдер
Джеррикэн Джеррикэн

Как «джеррикэн» произвела настоящую техническую революцию

Автопилот
Осторожно: ультраобработано! Осторожно: ультраобработано!

Почему не стоит увлекаться полуфабрикатами

Здоровье
«Страшная Барби» оказалась разрывом гигантского молекулярного облака сверхмассивной черной дырой «Страшная Барби» оказалась разрывом гигантского молекулярного облака сверхмассивной черной дырой

Оптический транзиент AT2021lwx — самое яркое событие приливного разрушения

N+1
Потерять счет времени в Венёве: что посмотреть и чем заняться в старинном тульском городе Потерять счет времени в Венёве: что посмотреть и чем заняться в старинном тульском городе

Экскурсия на день по родине лихого гусара поручика Ржевского и булочки «Венёвки»

Вокруг света
Слайд-шоу Слайд-шоу

Космические корабли, инновационные мотоциклы и складные дома

ТехИнсайдер
Сатурн вновь стал лидером Солнечной системы по числу спутников. Теперь их больше ста Сатурн вновь стал лидером Солнечной системы по числу спутников. Теперь их больше ста

Открыто 28 новых спутников Сатурна

N+1
Тест только для умных: 5 вопросов о «Титанике», с которыми столкнулись знатоки «Что? Где? Когда?» Тест только для умных: 5 вопросов о «Титанике», с которыми столкнулись знатоки «Что? Где? Когда?»

Знатоков эти вопросы чуть не потопили. А чтобы ответить, нужна только смекалка!

Maxim
Музыкальная пауза: истории популярных саундтреков — от Игги Попа до The Streets Музыкальная пауза: истории популярных саундтреков — от Игги Попа до The Streets

О музыке, звучащей у Ромена Киро

Правила жизни
Нарушения менструального цикла связали с повышенным риском мерцательной аритмии Нарушения менструального цикла связали с повышенным риском мерцательной аритмии

Женщины с нерегулярным циклом более подвержены сердечно-сосудистым заболеваниям

N+1
Как блогеру не попасть под статью. Юридический чек-лист Как блогеру не попасть под статью. Юридический чек-лист

Какие у блогеров есть риски и как их снизить, чтобы не попасть под статью

Inc.
Открыть в приложении