Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как бизнесмен из Волжского создал сеть блинных по франшизе и вышел в Дубай Как бизнесмен из Волжского создал сеть блинных по франшизе и вышел в Дубай

Евгений Купко рассказывает, как ему пришла идея открыть блинную

Forbes
«Отсутствие диалога между поколениями в прямом смысле слова убивает» «Отсутствие диалога между поколениями в прямом смысле слова убивает»

Алиса Хазанова о своем фильме «Белый список»

Weekend
Промокнуть за $80: в Дубае создали улицу, на которой всегда будет идти дождь Промокнуть за $80: в Дубае создали улицу, на которой всегда будет идти дождь

Эмираты представили туристам еще одно необычное развлечение

Вокруг света
7 приложений для учета расходов и доходов и планирования бюджета 7 приложений для учета расходов и доходов и планирования бюджета

Не понимаете, куда уходят деньги? Эти мобильные приложения для вас

CHIP
Когда спреи не помогли: 7 простых шагов, как снять зуд от укуса комара в домашних условиях Когда спреи не помогли: 7 простых шагов, как снять зуд от укуса комара в домашних условиях

Как избавиться от последствий комариного укуса?

ТехИнсайдер
Закон Парето, или правило 80/20: как достигать большего при минимальных усилиях Закон Парето, или правило 80/20: как достигать большего при минимальных усилиях

Как работает принцип Парето на практике и почему усердие не всегда окупается?

Forbes
Миллион пробил: самые дорогие наручные часы, проданные на аукционах Миллион пробил: самые дорогие наручные часы, проданные на аукционах

10 самых интересных мировых рекордов, проданных на аукционах наручных часов

Forbes
Наука о чужих. Жизнь и разум во Вселенной Наука о чужих. Жизнь и разум во Вселенной

Как складывались теории формирования Солнечной системы и Земли

Наука и жизнь
«Олейну» разливает новый собственник «Олейну» разливает новый собственник

Последний российский актив Bunge продан с 50 %-ным дисконтом

Агроинвестор
«Оля хайпилась на разводе, меня хотели заснять с любовницей»: Дмитрий Тарасов рассказал, как ушел от Бузовой «Оля хайпилась на разводе, меня хотели заснять с любовницей»: Дмитрий Тарасов рассказал, как ушел от Бузовой

Дмитрий Тарасов заверил, что не изменял Ольге Бузовой с нынешней супругой

VOICE
Чем можно заменить таблетку Чем можно заменить таблетку

7 самых полезных для здоровья продуктов, которые стоит включить в рацион

Лиза
Охота на ведьм: за что женщин отправляли на костры и причем тут рыжие и красивые Охота на ведьм: за что женщин отправляли на костры и причем тут рыжие и красивые

За что невинных женщин бросали в темницы, пытали и сжигали на кострах

Forbes
Яндекс встроил в Алису нейросеть YandexGPT Яндекс встроил в Алису нейросеть YandexGPT

YandexGPT поможет написать что угодно: план тренировки или список подарков

N+1
13 самых проблемных подержанных автомобилей. Все они продаются в России 13 самых проблемных подержанных автомобилей. Все они продаются в России

Какие подержанные автомобили грозят проблемами с ремонтом своим владельцам

РБК
Странная история: как 62 ребенка в Зимбабве увидели инопланетян. Поразительно! Странная история: как 62 ребенка в Зимбабве увидели инопланетян. Поразительно!

"Феномен Ариэля" произошел в сентябре 1994 года

ТехИнсайдер
«Сила волчьей стаи» «Сила волчьей стаи»

Реальные истории из жизни диких хищников

N+1
Родителям на заметку! Разговор с младенцем влияет на силу нервных сигналов в мозге Родителям на заметку! Разговор с младенцем влияет на силу нервных сигналов в мозге

Ученые обнаружили связь между уровнями речи взрослых и младенческим «миелином»

ТехИнсайдер
Молодое поколение этого не знает! Вот как Битлз изменили мир музыки Молодое поколение этого не знает! Вот как Битлз изменили мир музыки

Как Битлз завоевали сердца не только слушательниц, но и аудиофилов

ТехИнсайдер
Что делать, если у вашего партнера другие ценности и принципы? Что делать, если у вашего партнера другие ценности и принципы?

Отличия в системах ценностей и принципов способны вызвать серьезные конфликты

Psychologies
Алгоритмы против инфляции: что такое флэткоины и помогут ли они криптоинвесторам Алгоритмы против инфляции: что такое флэткоины и помогут ли они криптоинвесторам

Флэткоин — это новая криптовалюта, цена которой привязана к стоимости жизни

Forbes
Таксистов попросили оставить без второй страховки. Почему это важно Таксистов попросили оставить без второй страховки. Почему это важно

О поправках введения дополнительного страхового полиса для таксистов

РБК
Не дай взять себя в клещи Не дай взять себя в клещи

Резкое потепление привело к раннему пробуждению клещей. Как себя обезопасить?

Лиза
6 продуктов с высоким содержанием коллагена для здоровья суставов и гладкой кожи 6 продуктов с высоким содержанием коллагена для здоровья суставов и гладкой кожи

Коллаген - очень важный белок для нашего организма

ТехИнсайдер
Бывший муж не хочет общаться с ребенком после развода: как быть? Бывший муж не хочет общаться с ребенком после развода: как быть?

Что делать, если бывший муж отказывается от встреч с ребенком

Psychologies
Тайна Рюрика: кем же был основатель первой правящей династии на Руси Тайна Рюрика: кем же был основатель первой правящей династии на Руси

Тайна появления Рюрика на Руси до сих пор не разгадана

Вокруг света
Как отключить сигнализацию на машине: где находится секретная кнопка Как отключить сигнализацию на машине: где находится секретная кнопка

Рассказываем, как справиться с сигнализацией и не перебудить весь двор

РБК
В двух ипостасях: переезд и планы театра «Практика» В двух ипостасях: переезд и планы театра «Практика»

Как полтора сезона в Музее Москвы помогли перестроиться и расширить аудиторию

СНОБ
Что посмотреть в ближайшем зарубежье: Киргизия, Армения, Грузия Что посмотреть в ближайшем зарубежье: Киргизия, Армения, Грузия

Раскрываем явки и пароли по Киргизии, Армении и Грузии

РБК
Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023 Самые высокооплачиваемые спортсмены мира в возрасте до 25 лет — 2023

Пять представителей в рейтинге самых высокооплачиваемых спортсменов мира до 25

Forbes
Почему футболисты получают так много денег? Почему футболисты получают так много денег?

Почему футболисты так много зарабатывают? Объяснение от банка Великобритании

Maxim
Открыть в приложении