Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Скажите Скажите

Такая странная и необычная буква "ы"

ТехИнсайдер
Принц Чарльз официально стал королем Карлом III: что это значит для нас? Принц Чарльз официально стал королем Карлом III: что это значит для нас?

Почему даже для иностранцев коронация Карла III — важное событие?

Psychologies
Клетки сердца новорожденных мышей получили энергию благодаря жирной кислоте из грудного молока Клетки сердца новорожденных мышей получили энергию благодаря жирной кислоте из грудного молока

Гамма-линоленовая кислота из грудного молока активирует X-рецептор

N+1
Жесткие против гибких Жесткие против гибких

Sunreef запатентовала технологию интеграции гибких панелей в композитный корпус

Y Magazine
Стилист раскрывает карты: 3 простейших приема, которые заставят тебя выглядеть, как фэшн-блогер Стилист раскрывает карты: 3 простейших приема, которые заставят тебя выглядеть, как фэшн-блогер

Самые простые и действенные приемы фэшн-блогеров

VOICE
Генетики проанализировали ДНК 240 видов млекопитающих и нашли их исключительные черты Генетики проанализировали ДНК 240 видов млекопитающих и нашли их исключительные черты

Чем все млекопитающие похожи друг на друга?

ТехИнсайдер
Если женщина зарабатывает больше: 5 проблем в паре Если женщина зарабатывает больше: 5 проблем в паре

Когда женщина зарабатывает больше, это не проходит бесследно для отношений

Psychologies
Как Варвара Кашеварова-Руднева стала врачом, несмотря на запреты и травлю Как Варвара Кашеварова-Руднева стала врачом, несмотря на запреты и травлю

К женщинам-врачам в Российской империи относились с откровенным предубеждением

Forbes
Фавориты и фаворитки Фавориты и фаворитки

Самые знаменитые фавориты и фаворитки

Дилетант
На дальней станции сойду На дальней станции сойду

Как и к чему готовят космонавтов

Men Today
Примитивный крокодил палеозоя: знакомьтесь, ваш родственник, которому очень не повезло с останками Примитивный крокодил палеозоя: знакомьтесь, ваш родственник, которому очень не повезло с останками

Древнее существо оказалось вовсе не головастиком, как считали раньше

Вокруг света
«Началось брожение, но работало оно не так, как на Западе» «Началось брожение, но работало оно не так, как на Западе»

Как протестовала советская молодежь, почему в СССР не было студенческих волнений

Weekend
Последняя ошибка первого синоптика: как появились регулярные прогнозы погоды Последняя ошибка первого синоптика: как появились регулярные прогнозы погоды

Старания «Генерала Шторма» во время Крымской войны сыграли роль в истории науки

Вокруг света
Как быстро растут волосы, и что на это влияет Как быстро растут волосы, и что на это влияет

Волосы могут расти как медленнее, так и быстрее. Что на это влияет?

ТехИнсайдер
Ленивцы против супербактерий: как тихони из тропических лесов помогут победить болезни человека? Ленивцы против супербактерий: как тихони из тропических лесов помогут победить болезни человека?

Как ленивцы могут помочь победить супербактерий?

Вокруг света
На пути к крепкому и здоровому сну: 7 главных причин пробуждений по ночам и как с ними справиться На пути к крепкому и здоровому сну: 7 главных причин пробуждений по ночам и как с ними справиться

Что заставляет нас просыпаться посреди ночи?

ТехИнсайдер
Окрашивание шатуш: варианты, подходящие цвета и уход за волосами Окрашивание шатуш: варианты, подходящие цвета и уход за волосами

Шатуш — один из самых известных вариантов окрашивания

РБК
Простые 4 привычки, которые улучшат вашу креативность. Вам это нужно! Простые 4 привычки, которые улучшат вашу креативность. Вам это нужно!

Не самые замысловатые рутинные дела увеличат уровень вашей креативности

ТехИнсайдер
«Моя жизнь: до изгнания»: читаем фрагмент автобиографии художника Михаила Шемякина «Моя жизнь: до изгнания»: читаем фрагмент автобиографии художника Михаила Шемякина

Шесть небольших глав книги Михаила Шемякина «Моя жизнь: до изгнания»

Правила жизни
Охота на ведьм: за что женщин отправляли на костры и причем тут рыжие и красивые Охота на ведьм: за что женщин отправляли на костры и причем тут рыжие и красивые

За что невинных женщин бросали в темницы, пытали и сжигали на кострах

Forbes
Секрет скорости: как гепарду удается бегать так быстро? Секрет скорости: как гепарду удается бегать так быстро?

Как гепарду удается развивать скорость свыше 100 км/ч?

ТехИнсайдер
79-летний Роберт Де Ниро стал отцом: как это скажется на ребенке — ответ психолога 79-летний Роберт Де Ниро стал отцом: как это скажется на ребенке — ответ психолога

Рассуждаем о плюсах и минусах позднего родительства

Psychologies
«Я был готов стать отцом»: бывший муж Настасьи Самбурской высказался после рождения первенца «Я был готов стать отцом»: бывший муж Настасьи Самбурской высказался после рождения первенца

Кирилл Дыцевич рассказал, как его изменило отцовство

VOICE
Нарушения менструального цикла связали с повышенным риском мерцательной аритмии Нарушения менструального цикла связали с повышенным риском мерцательной аритмии

Женщины с нерегулярным циклом более подвержены сердечно-сосудистым заболеваниям

N+1
Почему на следующий день после тренировки мы не можем нормально двигаться? Почему на следующий день после тренировки мы не можем нормально двигаться?

Что происходит с телом после тяжелой тренировки?

ТехИнсайдер
Секретная «кухня» японских cуперфудов Секретная «кухня» японских cуперфудов

Какие суперфуды пришли в мир из Японии?

Лиза
Жить на море Жить на море

Морской образ жизни подходит тем, кто по–настоящему любит водную стихию

SALON-Interior
«Отношения должны принять иную форму»: 5 шагов, чтобы расстаться осознанно, — история семейного психотерапевта «Отношения должны принять иную форму»: 5 шагов, чтобы расстаться осознанно, — история семейного психотерапевта

Возможно ли объединить понятия «осознанность» и «расставание»?

Psychologies
«Плейлист волонтера»: почему это один из лучших сериалов о поиске пропавших без вести «Плейлист волонтера»: почему это один из лучших сериалов о поиске пропавших без вести

Зачем смотреть сериал и почему это одна из лучших историй про розыск людей

Forbes
Алексей Никитин Алексей Никитин

Алексей Никитин с детства мыслил кадрами, структурирующими истории

Правила жизни
Открыть в приложении