Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

6 золотых правил нестареющих женщин: запомни их как мантру! 6 золотых правил нестареющих женщин: запомни их как мантру!

Простейшие привычки, которые помогут отсрочить старение на десятки лет

VOICE
12 лайфхаков для избавления от секущихся кончиков: мнение экспертов по волосам 12 лайфхаков для избавления от секущихся кончиков: мнение экспертов по волосам

С этими простыми советами ты забудешь о проблеме секущихся кончиков

VOICE
Точка бифуркации: как еще могло закончиться Ледовое побоище Точка бифуркации: как еще могло закончиться Ледовое побоище

Каким был бы мир, если бы Александр Невский проиграл Ледовое побоище?

Вокруг света
ИИ может расшифровать, что слышит и видит мозг, и превратить в поток текста ИИ может расшифровать, что слышит и видит мозг, и превратить в поток текста

Ученые разработали систему ИИ, которую они назвали «семантическим декодером»

ТехИнсайдер
«Качество видео второстепенно, важнее — реалистичность»: как работает будка для звонков от Logitech за $20 тысяч «Качество видео второстепенно, важнее — реалистичность»: как работает будка для звонков от Logitech за $20 тысяч

Разработчики продолжили улучшать решения для видеозвонков. И вот что сделали

VC.RU
Женщина написала книгу, горюя об усопшем муже. Полиция выяснила, что она же и убила его! Женщина написала книгу, горюя об усопшем муже. Полиция выяснила, что она же и убила его!

Коури Ричинс старательно играла скорбящую вдовы, будучи убийцей

ТехИнсайдер
Раздел «Яндекса». Что происходит с акциями компании Раздел «Яндекса». Что происходит с акциями компании

Что известно о сделке и как она повлияет на стоимость ценных бумаг «Яндекса»

СНОБ
Вот почему богатые люди не носят чехлы на телефонах. Интересный факт! Вот почему богатые люди не носят чехлы на телефонах. Интересный факт!

Отказ от чехла для телефона — это, вероятно, последний символ скрытого богатства

ТехИнсайдер
«Май, декабрь»: хулиганский рассказ о женском противостоянии с Натали Портман и Джулианной Мур «Май, декабрь»: хулиганский рассказ о женском противостоянии с Натали Портман и Джулианной Мур

Каким получился фильм режиссера Тодда Хейнса «Май, декабрь»

Правила жизни
Медленно, но верно Медленно, но верно

Как определить, что ты слишком усердно занимаешься фитнесом

Лиза
5 ситуаций, когда менять работу — плохая идея 5 ситуаций, когда менять работу — плохая идея

Те самые случаи, когда стоит дать вашим отношениям с работой еще один шанс!

Maxim
Хоббит, Карлсон и Винни-Пух: 100 лучших детских книг всех времен по версии Би-би-си Хоббит, Карлсон и Винни-Пух: 100 лучших детских книг всех времен по версии Би-би-си

Первая десятка рейтинга лучших детских книг от Би-би-си

Forbes
Самые главные пищевые привычки, которые важны для женщин после 50 — помогают не набирать вес и украсть у себя 10 лет! Самые главные пищевые привычки, которые важны для женщин после 50 — помогают не набирать вес и украсть у себя 10 лет!

Как повлиять на скорость метаболизма и снизить риск появления заболеваний?

VOICE
Малые дозы антибиотиков превратили возбудителя туберкулеза в суперпатоген. Хотя его ДНК не изменилось Малые дозы антибиотиков превратили возбудителя туберкулеза в суперпатоген. Хотя его ДНК не изменилось

Малые дозы антибиотиков вызывают у туберкулезных микобактерий устойчивость

ТехИнсайдер
«Убийца «Священный паук» — леденящий триллер о том, как иранское общество оправдывало маньяка «Убийца «Священный паук» — леденящий триллер о том, как иранское общество оправдывало маньяка

Чего ждать от фильма «Убийца «Священный паук» Али Аббаси

Правила жизни
«Ты — мой!»: что делать, если вы собственник «Ты — мой!»: что делать, если вы собственник

Как избавиться от собственнического инстинкта и создать доверительные отношения

Psychologies
«Мой дед расстрелял бы меня»: воспоминания внучки коменданта концлагеря Амона Гёта «Мой дед расстрелял бы меня»: воспоминания внучки коменданта концлагеря Амона Гёта

Глава из книги «Мой дед расстрелял бы меня» Дженнифер Тиге

Forbes
Древний причал Фанагории построили из импортного камня Древний причал Фанагории построили из импортного камня

Строительный материал в Фанагорию везли из разных мест

N+1
Максимум динамики и комфорта Максимум динамики и комфорта

Перед boot Düsseldorf в разных источниках фигурировал Beneteau Gran Turismo 36

Y Magazine
Археологи уточнили возраст трех неандертальских погребений из Ла-Ферраси Археологи уточнили возраст трех неандертальских погребений из Ла-Ферраси

Археологи уточнили хронологию известного археологического памятника Ла-Ферраси

N+1
Права на мотоцикл: что надо знать для получения категории «А» Права на мотоцикл: что надо знать для получения категории «А»

Что нужно, чтобы стать мотоциклистом?

РБК
Возраст олдувайских артефактов из Алжира оценили примерно в 1,77 миллиона лет Возраст олдувайских артефактов из Алжира оценили примерно в 1,77 миллиона лет

Ученые датировали находки из памятника Айн-Ханех

N+1
Гид в кармане Гид в кармане

7 полезных приложений для путешествий по России

Лиза
В древнеримских некрополях Бейрута нашли останки мигрантов В древнеримских некрополях Бейрута нашли останки мигрантов

Биоархеологи провели анализ костей и зубов, раскопанных в некрополях Бейрута

N+1
КТ с подсчетом фотонов нагляднее показала врожденные пороки сердца КТ с подсчетом фотонов нагляднее показала врожденные пороки сердца

КТ с подсчетом фотонов показала более четкие снимки у детей с пороками сердца

N+1
В ритме танца В ритме танца

5 простых танцевальных упражнений для подтянутой фигуры

Лиза
Почему родители забывают детей в машине? Простое объяснение Почему родители забывают детей в машине? Простое объяснение

Исследователи решили понять, как и почему возникает забывчивость

ТехИнсайдер
Волки, зараженные этим паразитом, многократно повышают свои шансы стать вожаками стаи Волки, зараженные этим паразитом, многократно повышают свои шансы стать вожаками стаи

Заражение паразитом повышает вероятность того, что волки станут вожаками

ТехИнсайдер
Палеонтологи подтвердили существование муста у мамонтов Палеонтологи подтвердили существование муста у мамонтов

Самцы мамонтов, как и современные слоны, были способны испытывать муст

N+1
Жить на море Жить на море

Морской образ жизни подходит тем, кто по–настоящему любит водную стихию

SALON-Interior
Открыть в приложении