Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Инженеры научились бесконтактно тыкать в сенсорный экран Инженеры научились бесконтактно тыкать в сенсорный экран

GhostTouch, который позволяет бесконтактно управлять сенсорными экранами

N+1
Что такое «синдром счастливчика» и почему позитивное мышление не всегда полезно Что такое «синдром счастливчика» и почему позитивное мышление не всегда полезно

Способно ли позитивное мышление изменить жизнь человека?

Maxim
А вы знаете, как правильно завести машину с механикой и автоматом? А вы знаете, как правильно завести машину с механикой и автоматом?

Нюансы при запуске двигателя автомобиля

РБК
«Страшная Барби» оказалась разрывом гигантского молекулярного облака сверхмассивной черной дырой «Страшная Барби» оказалась разрывом гигантского молекулярного облака сверхмассивной черной дырой

Оптический транзиент AT2021lwx — самое яркое событие приливного разрушения

N+1
«Сон под микроскопом» «Сон под микроскопом»

Чем обусловлена наша потребность во сне и откуда берется сонливость и усталость

N+1
Топ-6 нейросетей, которые умеют писать тексты Топ-6 нейросетей, которые умеют писать тексты

Рассказываем о лучших нейросетях, с помощью которых можно написать текст

CHIP
Виктор Сухоруков Виктор Сухоруков

Актер Виктор Сухоруков — о 90-х и сериале «Мир! Дружба! Жвачка!»

Собака.ru
Не жена, а «мамочка» Не жена, а «мамочка»

Некоторые женщины не замечают, что воспитывают своего мужа

Лиза
Ильдар Абузяров: «Корабль Тесея. Черно-белый роман» Ильдар Абузяров: «Корабль Тесея. Черно-белый роман»

Отрывок из книги «Корабль Тесея. Черно-белый роман» Ильдара Абузярова

СНОБ
Любовь тут ни при чем Любовь тут ни при чем

Что такое «синдром разбитого сердца» и чем он опасен

Лиза
«Звезды в полдень»: шпионская драма о любви журналистки и сотрудника спецслужб «Звезды в полдень»: шпионская драма о любви журналистки и сотрудника спецслужб

Шпионская драма с деколониальной оптикой получилась не слишком впечатляющей

Forbes
А были ли деревни? А были ли деревни?

Как возник миф о потёмкинских деревнях?

Дилетант
Вот почему с годами кажется, что время идет быстрее! А вы это замечали? Вот почему с годами кажется, что время идет быстрее! А вы это замечали?

Восприятие времени сильно меняется по мере старения

ТехИнсайдер
В древнеримском унгвентарии обнаружили остатки пачули В древнеримском унгвентарии обнаружили остатки пачули

Химики и археологи исследовали древнеримский унгвентарий в городе Кармона

N+1
Возрастная забывчивость или болезнь Альцгеймера: когда пора бить тревогу — 5 примеров из жизни Возрастная забывчивость или болезнь Альцгеймера: когда пора бить тревогу — 5 примеров из жизни

Как понять, что пора беспокоиться об изменениях памяти ваших пожилых близких?

Psychologies
7 советов, как укротить женский коллектив 7 советов, как укротить женский коллектив

Советы, которые пригодятся любому руководителю женского коллектива

Maxim
Стражи Галактики: Джеймс Ганн трогательно прощается с любимой бандой аутсайдеров вселенной Marvel Стражи Галактики: Джеймс Ганн трогательно прощается с любимой бандой аутсайдеров вселенной Marvel

Какой получилась третья часть «Стражей галактики»

Правила жизни
«Выпустить ярость, не причинив вреда»: 6 способов справиться с агрессией «Выпустить ярость, не причинив вреда»: 6 способов справиться с агрессией

Как взять под контроль эмоции?

Psychologies
Осторожно: ультраобработано! Осторожно: ультраобработано!

Почему не стоит увлекаться полуфабрикатами

Здоровье
От Комсомольца и Большевика до Октябрьской революции: 10 самых больших островов России От Комсомольца и Большевика до Октябрьской революции: 10 самых больших островов России

Десять крупнейших островов России

Вокруг света
Лук-порей Лук-порей

Чем лук-порей отличается от своих собратьев и что с ним можно приготовить?

Здоровье
Какие тайны скрывают названия автопроизводителей Какие тайны скрывают названия автопроизводителей

Времена, когда компании брали фамилию основателя, давно прошли

4x4 Club
Современный московский Современный московский

Светлый лёгкий интерьер в квартире с нестандартной планировкой

SALON-Interior
Транспорт будущего Транспорт будущего

Вот уже шесть лет мы пишем про летающие автомобили и стоим рядом с прототипами

ТехИнсайдер
Что нужно знать о легендарном фотографе Ричарде Аведоне Что нужно знать о легендарном фотографе Ричарде Аведоне

Показываем знаковые работы модного фотографа Ричарда Аведоне

Правила жизни
Каково это — быть мазохистом: откровения хозяйки секретного места встреч Каково это — быть мазохистом: откровения хозяйки секретного места встреч

Что заставляет людей отправляться в специальные клубы, где над ними издеваются?

Psychologies
«Я забыла, что была беременна»: люди, впадавшие в кому, рассказали, что было, когда они очнулись «Я забыла, что была беременна»: люди, впадавшие в кому, рассказали, что было, когда они очнулись

Люди, впадавшие в кому, рассказали, как они очнулись — и как изменились

VOICE
Как перестать просыпаться до будильника, и почему это происходит? Интересные факты! Как перестать просыпаться до будильника, и почему это происходит? Интересные факты!

Почему некоторые люди склонны постоянно просыпаться чуть раньше будильника

ТехИнсайдер
Изящная сирень Изящная сирень

Как ухаживать за сиренью?

Лиза
Инженеры научили робомедузу переносить предметы Инженеры научили робомедузу переносить предметы

Инженеры разработали робомедузу с актуаторами на жидком диэлектрике

N+1
Открыть в приложении