Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Стобалльный стресс. Как помочь себе и ребенку успокоиться перед ЕГЭ Стобалльный стресс. Как помочь себе и ребенку успокоиться перед ЕГЭ

Как родителям поддержать выпускников и помочь им справиться со стрессом

СНОБ
Инженеры сделали полностью мягкий электродвигатель Инженеры сделали полностью мягкий электродвигатель

Этот электродвигатель можно сдавливать и растягивать во время работы

N+1
Топ-5 классических фильмов с эротическими сценами Топ-5 классических фильмов с эротическими сценами

Эротические этюды всегда привлекали режиссеров и продюсеров

Maxim
Я — сноб: режиссер Олег Трофим Я — сноб: режиссер Олег Трофим

Режиссер Олег Трофим: чем он гордится и без чего не представляет свой день?

СНОБ
Забудь Серкана: невероятно красивые турецкие актеры, в которых невозможно не влюбиться Забудь Серкана: невероятно красивые турецкие актеры, в которых невозможно не влюбиться

Горячие красавцы из турецких сериалов. Собрали специально для тебя!

VOICE
Выбрать себя: 6 способов поднять самооценку Выбрать себя: 6 способов поднять самооценку

Как определить уровень самооценки и как изменить ситуацию в лучшую сторону?

Правила жизни
12 лучших современных черно-белых фильмов 12 лучших современных черно-белых фильмов

Монохромная гамма еще не ушла из кинематографа

Maxim
Привередливость в еде: черта характера, избалованность или расстройство пищевого поведения? Привередливость в еде: черта характера, избалованность или расстройство пищевого поведения?

Как отличить простую привередливость в еде и РПП?

Psychologies
Планета по имени Инна Планета по имени Инна

Бывают актеры способные, бывают талантливые, а иногда случаются — великие

Караван историй
Аппетит уменьшается летом? Вот как стоит питаться в жару: советы эксперта! Аппетит уменьшается летом? Вот как стоит питаться в жару: советы эксперта!

Лайфхаки, которые помогут вашему организму чувствовать себя комфортнее в жару

ТехИнсайдер
«Все страхи Бо»: фильм о неврозах и фобиях городского жителя от Ари Астера «Все страхи Бо»: фильм о неврозах и фобиях городского жителя от Ари Астера

Фильм, в котором всевозможные фобии перемешались с бессмысленностью бытия

Forbes
Почему Анды такие высокие? Ученые заглянули внутрь Земли, чтобы ответить, и вот что они выяснили Почему Анды такие высокие? Ученые заглянули внутрь Земли, чтобы ответить, и вот что они выяснили

Узнать, как растут горы, мы можем благодаря науке

Вокруг света
Что ваш ребенок запомнит на всю жизнь: 5 советов от матери 17 детей Что ваш ребенок запомнит на всю жизнь: 5 советов от матери 17 детей

Детские чувства формируют основу того, кем мы становимся во взрослой жизни

Psychologies
Начать питаться осознанно Начать питаться осознанно

Как использовать приложения для тренировки сознательного пищевого поведения

Psychologies
Больцман на танцполе Больцман на танцполе

Исследовали ли физики мош? Я вышел в интернет с таким вопросом

N+1
Анализ скопившегося за 2200 лет гуано указал на смену рациона андских кондоров Анализ скопившегося за 2200 лет гуано указал на смену рациона андских кондоров

Ученые реконструировали историю андских кондоров

N+1
Сто цветов китайского автопрома Сто цветов китайского автопрома

Автомобильная промышленность КНР готова преподать урок конкурентам

Эксперт
Не греет душу: как Disney продолжает капитализировать ностальгию в фильме «Индиана Джонс и колесо судьбы» Не греет душу: как Disney продолжает капитализировать ностальгию в фильме «Индиана Джонс и колесо судьбы»

Харрисон Форд прощается с образом неутомимого харизматичного археолога

Правила жизни
Аскольд Акишин Аскольд Акишин

Современный российский комикс нельзя представить без Аскольда Акишина

Правила жизни
«Стань свободным от чужого мнения и делай то, что хочется» «Стань свободным от чужого мнения и делай то, что хочется»

Как понять, зависите ли вы от мнения окружающих?

Psychologies
Как справиться с негативными эмоциями на работе: 5 способов справиться с гневом — извлеките выгоду Как справиться с негативными эмоциями на работе: 5 способов справиться с гневом — извлеките выгоду

Как справиться со злостью на рабочем месте и даже использовать ее во благо?

Psychologies
6 продуктов с высоким содержанием коллагена для здоровья суставов и гладкой кожи 6 продуктов с высоким содержанием коллагена для здоровья суставов и гладкой кожи

Коллаген - очень важный белок для нашего организма

ТехИнсайдер
Запутались в своих мыслях? Этот психологический тест Роршаха расскажет, что творится у вас в голове Запутались в своих мыслях? Этот психологический тест Роршаха расскажет, что творится у вас в голове

Готовы пройти тест Роршаха и узнать кое-что интересное о себе?

ТехИнсайдер
Эти кувшины купили на барахолке за 25 долларов и потом продали за 75 тысяч! Вот что в них особенного Эти кувшины купили на барахолке за 25 долларов и потом продали за 75 тысяч! Вот что в них особенного

Кувшины династии Цин XVIII века были найдены покупателем комиссионного магазина

ТехИнсайдер
Есть мнение Есть мнение

Обсуждаем причинно-следственные связи наших отношений с едой

Psychologies
«Убийца «Священный паук»: история религиозного фанатика, убивавшего женщин «Убийца «Священный паук»: история религиозного фанатика, убивавшего женщин

«Убийца «Священный паук»: картина Али Аббаси, основанная на реальных событиях

Forbes
«Да пребудет с тобой сила»: как сохранять равновесие в кризис — 10 стратегий «Да пребудет с тобой сила»: как сохранять равновесие в кризис — 10 стратегий

Эта стратегия может оказаться весьма полезной в трудной ситуации

Psychologies
Волки, зараженные этим паразитом, многократно повышают свои шансы стать вожаками стаи Волки, зараженные этим паразитом, многократно повышают свои шансы стать вожаками стаи

Заражение паразитом повышает вероятность того, что волки станут вожаками

ТехИнсайдер
Пастораль Пастораль

Как живут сойоты, потомки древнейшего самодийского народа Восточных Саян

Вокруг света
Иммунолог о вспышке птичьего гриппа в Москве Иммунолог о вспышке птичьего гриппа в Москве

Что за болезнь птичий грипп и опасна ли она для человека

СНОБ
Открыть в приложении