Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Стобалльный стресс. Как помочь себе и ребенку успокоиться перед ЕГЭ Стобалльный стресс. Как помочь себе и ребенку успокоиться перед ЕГЭ

Как родителям поддержать выпускников и помочь им справиться со стрессом

СНОБ
Захар Ящин Захар Ящин

Захар Ящин известен как гениальный шрифтовик

Правила жизни
Максим Матвеев Максим Матвеев

Актер Максим Матвеев — о том, почему сила искусства скрыта в милосердии

Собака.ru
Настроим фокус. Неожиданные причины ухудшения зрения (и как связана близорукость с плоскостопием) Настроим фокус. Неожиданные причины ухудшения зрения (и как связана близорукость с плоскостопием)

Приобретенная близорукость влияет не только на нашу способность видеть

Лиза
Сатурн вновь стал лидером Солнечной системы по числу спутников. Теперь их больше ста Сатурн вновь стал лидером Солнечной системы по числу спутников. Теперь их больше ста

Открыто 28 новых спутников Сатурна

N+1
Катя Chepikk: «Стать большим артистом — это не мечта. Это мое предназначение» Катя Chepikk: «Стать большим артистом — это не мечта. Это мое предназначение»

Катя Chepikk не сомневается в своем успехе

ЖАРА Magazine
За хлебом тоже можно выходить красиво: как оставаться собранной в любой ситуации - гид от стилиста За хлебом тоже можно выходить красиво: как оставаться собранной в любой ситуации - гид от стилиста

Нет, не только модели выглядят отлично, пока просто гуляют по городу

VOICE
Взгляд на север Взгляд на север

Элина Туктамишева: «До двадцати одного года я не знала Россию»

Новый очаг
«Мерзлая земля»: каким получился сериал, основанный на реальных событиях в Хакасии «Мерзлая земля»: каким получился сериал, основанный на реальных событиях в Хакасии

Тру-крайм «Мерзлая земля» основан на реальных событиях в Хакасии

Forbes
Алгоритмы против инфляции: что такое флэткоины и помогут ли они криптоинвесторам Алгоритмы против инфляции: что такое флэткоины и помогут ли они криптоинвесторам

Флэткоин — это новая криптовалюта, цена которой привязана к стоимости жизни

Forbes
«Мне потребовалось много времени, чтобы вернуться в реальность»: Том Холланд и Дуэйн Джонсон рассказали о своем опыте проблем с психическим здоровьем «Мне потребовалось много времени, чтобы вернуться в реальность»: Том Холланд и Дуэйн Джонсон рассказали о своем опыте проблем с психическим здоровьем

Том Холланд и Дуэйн Джонсон рассказали о проблемах с психическим здоровьем

Правила жизни
«Плейлист волонтера»: почему это один из лучших сериалов о поиске пропавших без вести «Плейлист волонтера»: почему это один из лучших сериалов о поиске пропавших без вести

Зачем смотреть сериал и почему это одна из лучших историй про розыск людей

Forbes
«Оля хайпилась на разводе, меня хотели заснять с любовницей»: Дмитрий Тарасов рассказал, как ушел от Бузовой «Оля хайпилась на разводе, меня хотели заснять с любовницей»: Дмитрий Тарасов рассказал, как ушел от Бузовой

Дмитрий Тарасов заверил, что не изменял Ольге Бузовой с нынешней супругой

VOICE
Пять напитков, которыми нельзя запивать лекарства Пять напитков, которыми нельзя запивать лекарства

Почему нужно запивать лекарства только водой?

Здоровье
Выходные в другом городе: что посмотреть в Туле и ее окрестностях за два дня Выходные в другом городе: что посмотреть в Туле и ее окрестностях за два дня

Думаете, Тула — это самовары, пряники и атмосфера сонного уездного городка?

Правила жизни
Пять китайских автомобилей, за которые брендам теперь стыдно. Список Пять китайских автомобилей, за которые брендам теперь стыдно. Список

Как изменились китайские автомобили с момента прихода в Россию

РБК
Лучшие фильмы про сумасшедших и душевнобольных. Часть II Лучшие фильмы про сумасшедших и душевнобольных. Часть II

Фильмы о том, как безумие и ментальные проблемы влияют на людей и окружающих

Maxim
Морской царь юрского океана был вдвое больше косаток Морской царь юрского океана был вдвое больше косаток

Челюсти этого плиозавра были мощнее, чем у ти-рекса

ТехИнсайдер
Язык любовных прелюдий Язык любовных прелюдий

Предварительные ласки нужны только женщинам, а мужчины без них могут обойтись?

Psychologies
«От 0 и выше»: сколько сексуальных партнеров в среднем у мужчин и женщин — результаты опроса и мнение психолога «От 0 и выше»: сколько сексуальных партнеров в среднем у мужчин и женщин — результаты опроса и мнение психолога

Количество сексуальных партнеров — деликатная тема

Psychologies
Сканеры отпечатков пальцев на 10 смартфонах удалось взломать методом перебора Сканеры отпечатков пальцев на 10 смартфонах удалось взломать методом перебора

Ученые нашли уязвимости в смартфонах шести крупных компаний

N+1
Дело вкуса: как формируются и почему меняются предпочтения в еде — объяснение нутрициолога Дело вкуса: как формируются и почему меняются предпочтения в еде — объяснение нутрициолога

Вкусовые предпочтения меняются со временем. Но с чем это может быть связано?

Psychologies
Точка бифуркации: как еще могло закончиться Ледовое побоище Точка бифуркации: как еще могло закончиться Ледовое побоище

Каким был бы мир, если бы Александр Невский проиграл Ледовое побоище?

Вокруг света
Детские травмы не снизили продолжительность жизни взрослых горилл Детские травмы не снизили продолжительность жизни взрослых горилл

Порой детские травмы увеличивают продолжительность жизни горилл

N+1
Молодое поколение этого не знает! Вот как Битлз изменили мир музыки Молодое поколение этого не знает! Вот как Битлз изменили мир музыки

Как Битлз завоевали сердца не только слушательниц, но и аудиофилов

ТехИнсайдер
Экзистенция и искусственный интеллект: почему бастуют сценаристы Экзистенция и искусственный интеллект: почему бастуют сценаристы

Как забастовка Гильдии сценаристов США может отразиться на мире вокруг

РБК
Forbes представляет победителей юбилейного рейтинга «З0 до 30» Forbes представляет победителей юбилейного рейтинга «З0 до 30»

Многие наши герои строят карьеру или бизнес за рубежом

Forbes
Насколько велик Юпитер: масштабы самой большой планеты Солнечной системы Насколько велик Юпитер: масштабы самой большой планеты Солнечной системы

Как представить настоящий размер Юпитера?

ТехИнсайдер
Химики нашли общий метод получения молекулярных ремней с топологией Мебиуса Химики нашли общий метод получения молекулярных ремней с топологией Мебиуса

Химики впервые получили трижды скрученный мебиусовский ремень

N+1
Так ли хорош сериал «Укрытие», которым восторгаются все кинокритики? Так ли хорош сериал «Укрытие», которым восторгаются все кинокритики?

Сериал «Укрытие»: чем он всем нравится и что с ним не так?

Maxim
Открыть в приложении