Нобелевская премия по физике 2024: за прорыв в машинном обучении и нейросетях

Наука и жизньHi-Tech

Премия за нефизический инструмент для физики и не только

Нобелевскую премию по физике 2024 года получили Джон Хопфилд (Принстонский университет, США) и Джеффри Хинтон (Университет Торонто, Канада) «за основополагающие открытия и изобретения, обеспечивающие машинное обучение с использованием искусственных нейронных сетей».

Кандидат физико-математических наук Алексей Понятов

Нобелевский комитет не раз совершал поступки, вызывавшие дискуссию как в прессе, так и среди учёных, — чего только стоит присуждение премии по физике 2021 года за моделирование климата. Но в этот раз, на первый взгляд, он превзошёл самого себя, присудив Нобелевскую премию по физике 2024 года за исследования в области искусственного интеллекта. Такого никто предвидеть не мог, ведь эти исследования невозможно отнести к физическим. Однако если вникнуть в суть дела, можно прийти к выводу, что основания для награждения у Нобелевского комитета всё же были. В настоящее время искусственный интеллект стал важным инструментом физических исследований, позволяющим проводить сложные изыскания и даже совершать открытия. А что этот инструмент не совсем физический, так ведь какие времена, такие и инструменты.

Традиционно исследования в области искусственного интеллекта относят к информатике, а она в список наук, по которым вручаются Нобелевские премии, не входит, прежде всего, по той причине, что в конце XIX века она ещё просто не существовала. Впрочем, даже если бы это было не так, Альфред Нобель мог и не включить её в перечень, как и математику. И дело здесь, как мне кажется, не в личной неприязни к конкретному математику, о которой говорит известная легенда. Нобель был выдающимся практиком-изобретателем, автором 355 патентов, самый известный из которых — на динамит, но не имел высшего образования. Видимо, это предопределило определённый перекос в мировоззрении, из-за чего по его завещанию премии предполагалось вручать за конкретные открытия и изобретения, каковые в математике были невозможны. Строго говоря, премию не смогли бы получить и создатели физических теорий, хотя здесь научное сообщество Нобеля «поправило» и нобелевскими лауреатами стали многие великие физики-теоретики.

Но сейчас для нас важно, что Нобелевскую премию можно было вручать за «изобретение в области физики». Благодаря этому она была присуждена некоторым создателям важных физиче-ских инструментов, начиная с оптических интерферометров Альберта Майкельсона (1907) и камеры Чарльза Вильсона (1927) до оптического пинцета Артура Эшкина (2018). Лауреаты 2024 года просто продолжили этот ряд. Более того, в отличие от своих предшественников, работавших над искусственными нейронными сетями в биологической парадигме, они в своих исследованиях вдохновлялись именно физикой, её теорией и подходом.

Начало работ по искусственным нейронным сетям

Основу для работ с нейронными сетями заложили в 1943 году нейрофизиолог Уоррен Мак-Каллок и математик Уолтер Питтс в своей статье «Логическое исчисление идей, относящихся к нервной активности», сделавшей попытку объяснить, как работает мозг. Именно они предложили модель мозга в виде сети узлов-нейронов, связанных между собой синапсами, определяющими силу связи каждой пары нейронов. Эта связь характеризовалась числом, которое получило название синаптического веса. Чем больше было это число, тем больше «весила» данная связь, тем больше она была значима. Нейроны же формировали двоичный сигнал (то есть 0 или 1) и передавали его дальше. На вход каждого нейрона подавались сигналы от других нейронов, умноженные на соответствующие веса. Нейрон же находил их сумму и преобразовывал её в выходной результат. Идея исследователей заключалась в том, что, подобрав нужные веса или, другими словами, обучив сеть, можно было заставить решать её различные задачи.

Первую компьютерную реализацию подобной модели в 1957 году разработал американский психолог Фрэнк Розен-блатт и назвал её «персептроном» (от лат. perceptio — восприятие). В 1958—1960 годах он создал первый нейрокомпьютер «Марк-1», который после обучения был способен распознавать изображения некоторых букв английского алфавита. Розенблатт использовал для обучения так называемое дельта-правило, позволяющее по известной ошибке нейросети корректировать веса. Выросло дельта-правило из теории обучения мозга, которую в 1949 году предложил канадский нейропсихолог Дональд Хебб. Вкратце суть её в том, что если один нейрон неоднократно возбуждает другой нейрон, то связь между ними усиливается.

Сначала исследователи рассматривали нейросети просто как модель мозга, полезную при его изучении, однако быстро поняли, что их можно применить для практической деятельности.

В чём отличие нейросетей от обычной компьютерной программы? В программе прописаны конкретные операции, которые должен выполнить компьютер, получив данные. Это могут быть формулы, по которым производятся вычисления, или какие-то действия. Компьютер не может отклониться от указанных в программе инструкций. Это похоже на строгий рецепт, следуя которому, повар приготовит блюдо. Поэтому, чтобы программа работала без сбоев, в ней надо предусмотреть все возможные варианты развития ситуации.

Но в жизни есть много задач, где невозможно предусмотреть все варианты, которые могут произойти. Возьмём, к примеру, автопилот, управляющий автомобилем. Нереально предугадать абсолютно всё, что может случиться во время поездки, а также чётко и однозначно прописать инструкции, что делать автопилоту в каждом случае. В любой конкретной ситуации есть масса нюансов. И если автопилот столкнётся с ситуацией, которая не прописана в программе или в ней не учтены важные детали, он не сможет правильно среагировать, что чревато катастрофой. Опытный водитель-человек в таких случаях среагирует, исходя из своего опыта, полагаясь на свою интуицию.

В других задачах просто невозможно точно сформулировать инструкции — они получаются либо расплывчатыми, либо слишком сложными. Такое происходит, например, при обработке больших массивов сложных данных, про которые нам досконально известно не всё. А нужно в них найти неизвестные закономерности, взаимосвязи или сделать прогноз. Возьмём, к примеру, распознавание лиц либо распознавание изображений (что изображено на картинке). Попробуйте написать чёткие инструкции, как это делать… Человек это делает на основе своего опыта. А полицейских даже специально учат опознавать человека по приметам. Это, кстати, не такое простое дело.

Нейронная сеть мозга построена из нервных клеток, нейронов. Они могут посылать сигналы друг другу через синапсы. Когда мы чему-то учимся, связи между некоторыми нейронами становятся сильнее, а между другими слабее. Рисунок на основе иллюстрации The Royal Swedish Academy of Sciences

С помощью нейросетей как раз и пытаются реализовать работу компьютера на основе опыта, получаемого при обучении, которое называют машинным. В нейросетях нет никаких инструкций, при машинном обучении компьютер учится на примерах. Как происходит обучение одного нейрона, который и в одиночку оказывается способен решать некоторые простые задачи, показано в заметке «Как обучают нейросети» (см. стр. 30—31).

В 1960-е годы было разработано несколько несложных персептронных нейросетей, способных тем не менее решать достаточно сложные задачи. Однако в 1969 году было математически доказано, что однослойный персептрон Розенблатта не способен к обучению в большинстве интересных для применения случаев. Хотя критика была не во всём верна, это, а также провал ряда крупных проектов (в частности, машинного перевода и понимания речи, распознавания целей у военных) привели к резкому падению интереса к нейросетям в начале 1970-х, и многие работы были свёрнуты. В англоязычной литературе это получило образное название «зима ИИ» (ИИ — официальное сокращение термина «искусственный интеллект», по-английски artificial intelligence — AI).

Уже тогда было ясно, что выход из тупика лежит в создании нейросетей, состоящих из многих слоёв нейронов. В нейросетях прямого распространения (многослойном персептроне) нейроны каждого слоя не связаны друг с другом, а информация передаётся от одного слоя к другому строго в направлении от входного слоя, на который поступают данные извне сети, к выходному, который выдаёт результат (остальные слои получили название скрытых). Проблема была в том, что многослойные сети тогда не умели обучать, хотя отдельные попытки их создать были. То же дельта-правило для коррекции весов применимо только для выходного слоя, для которого можно было определить ошибку сети — разницу между тем, что выдавала сеть, и правильным ответом. Ошибка же для скрытых слоёв была неизвестна, поскольку были неизвестны правильные значения их нейронов. Перспективными выглядели и рекуррентные сети, в которых есть обратная связь, то есть информация передаётся не только в прямом направлении к выходу, но и возвращается назад. Их обучение оказалось не менее сложной задачей.

Среди тех, кто нашёл выход из сложившейся ситуации, огромную роль сыграли как раз лауреаты Нобелевской премии этого года.

Оживил угасший интерес к нейросетям в 1982 году Джон Хопфилд, подошедший к ним с совершенно неожиданной стороны: не как к модели мозга, подобно предшественникам, а как к модели физической системы.

Сеть Хопфилда

Джон Хопфилд.
Источник:
caltech.edu

К моменту, когда Джон Хопфилд, родившийся в 1933 году, обратил своё внимание на нейронные сети, он уже был выдающейся фигурой в физике и биофизике, защитив докторскую диссертацию по квантовой физике ещё в 1958 году. В ней он, в частности, ввёл ныне общепризнанный термин поляритон для квазичастицы в физике твёрдого тела. Его статья 1958 года о диэлектрических свойствах кристаллов имеет около 3000 цитирований, а поляритонную модель иногда называют диэлектриком Хопфилда. Нобелевский лауреат по физике 1977 года за исследование конденсированного состояния вещества, в частности, антиферромагнетизма, Филип Андерсон признавал важность вклада Хопфилда в различные свои труды 1961—1970 годов. Кстати, свою первую значимую физическую награду — премию Оливера Бакли Хопфилд получил за исследования именно по физике конденсированного состояния. Позднее Хопфилд признавался, что именно работа с Андерсоном во многом привела его к новому пониманию нейросетей. Кроме того, Хопфилд был удостоен более десяти крупных научных наград за исследования в других областях науки, включая биофизику, статистическую физику и нейронауки. В обосновании награждения Хопфилда медалью Дирака в 2001 году написано: «за важный вклад в впечатляюще широкий спектр научных дисциплин. Его особый и редкий дар — способность пересекать междисциплинарную границу, чтобы открывать новые вопросы и предлагать ответы».

Многослойная нейронная сеть прямого распространения. При большом числе скрытых слоёв сеть называют глубокой. Рисунок (с изменениями): The Royal Swedish Academy of Sciences

Это качество Хопфилда ярко проявилось, когда однажды его пригласили на встречу по нейронауке. Он был очарован исследованиями структуры мозга и задумался о динамике нейронных сетей, но только не с точки зрения математико-биологической модели, а своего богатого физического опыта. Хопфилд провёл аналогию между нейронной сетью и магнитным материалом, поведение которого определяется тем, что каждый атом обладает магнитным моментом — спином, которому можно приписать одно из двух состояний: с направлением вдоль или против некоторой выделенной оси. Они и будут соответствовать значениям 0 и 1. Грубо говоря, такие атомы можно представить в виде магнитиков, часть которых повёрнута северным полюсом в одну сторону, а часть — в другую. Самое главное, что на каждый такой магнитик-нейрон воздействует суммарное магнитное поле всех остальных. Сила со стороны конкретного магнита определяется соответствующим весовым коэффициентом. В зависимости от величины суммарного воздействия магнитный момент конкретного атома может либо переориентироваться — нейрон изменит значение с 0 на 1 или наоборот с 1 на 0, либо сохранит текущее состояние. Динамика системы, то есть её поведение со временем проявляется пересчётом значений нейронов через определённые промежутки времени.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Окинавский пастушок Окинавский пастушок

Единственная нелетающая птица Японии — ямбару-куина, или окинавский пастушок

Наука и жизнь
«Все время чего-то не хватает для счастья»: как перестать гнаться за успехом и начать радоваться тому, что есть «Все время чего-то не хватает для счастья»: как перестать гнаться за успехом и начать радоваться тому, что есть

Как не потерять вкус к жизни в погоне за достижениями?

Psychologies
Тактильные часы Готфрида Вильгельма Лейбница Тактильные часы Готфрида Вильгельма Лейбница

Текст и рисунки рукописи Лейбница относятся к часам оригинальной конструкции

Наука и жизнь
Купите это немедленно! Купите это немедленно!

Как нас заставляют приобретать ненужные вещи в «черную пятницу»?

Лиза
Флаг Чехова Флаг Чехова

«Мелихово» — один из главных музеев, посвященных Антону Чехову

Отдых в России
Куда вложить деньги, чтобы они приносили прибыль Куда вложить деньги, чтобы они приносили прибыль

Варианты для инвестиций и пассивного дохода

VC.RU
8 самых интересных фильмов и сериалов с Любовью Аксеновой 8 самых интересных фильмов и сериалов с Любовью Аксеновой

Самые запоминающиеся роли Любови Аксеновой

Maxim
Катя Рыблова и «мягкая интервенция»: как смотреть проект «Переход цвета» в Доме Наркомфина Катя Рыблова и «мягкая интервенция»: как смотреть проект «Переход цвета» в Доме Наркомфина

«Переход цвета» — первая инсталляция из серии «Несущие конструкцию»

СНОБ
Риски трампфляции Риски трампфляции

Поможет ли инфляция в борьбе с глобальным долгом

Деньги
И твоя мама тоже И твоя мама тоже

«Все совпадения неслучайны»: первый сериал Альфонсо Куарона

Weekend
Одиночество вдвоем или семейное выгорание: как распознать и преодолеть кризис в отношениях Одиночество вдвоем или семейное выгорание: как распознать и преодолеть кризис в отношениях

Живете с партнером под одной крышей, но чувствуете себя одиноко?

VOICE
Что такое речевой дресс-код и как вызвать доверие у собеседника Что такое речевой дресс-код и как вызвать доверие у собеседника

Как и по каким параметрам корректировать свою речь в зависимости от ситуации

РБК
Мама-предприниматель: какой бизнес чаще выбирают женщины в России Мама-предприниматель: какой бизнес чаще выбирают женщины в России

Почему в современном мире женщинам не нужно выбирать между семьей и карьерой

Inc.
Экономика падения Берлинской стены Экономика падения Берлинской стены

Поспешная интеграция Восточной Германии в Западную обошлась очень дорого

Монокль
Песни у костра в мегаполисе: как урбанистка создала бизнес на антистресс-хорах Песни у костра в мегаполисе: как урбанистка создала бизнес на антистресс-хорах

Как урбанистке Юлии Штокало пришла идея проводить классы по хоровому пению

Forbes
Этот всеми любимый напиток повышает риск развития деменции в 3 раза: лучше не злоупотреблять! Этот всеми любимый напиток повышает риск развития деменции в 3 раза: лучше не злоупотреблять!

У людей, употребляющих этот напиток ежедневно, наблюдается снижение памяти

ТехИнсайдер
Раскрутить бизнес на полбяном хлебе Раскрутить бизнес на полбяном хлебе

Как на рынке хлебопечения появился белково-полбяной хлеб

Монокль
Чудеса Каспия Чудеса Каспия

Дербент — древнейший город России

Лиза
Космос начинается с Земли: метрологическое обеспечение космической техники Космос начинается с Земли: метрологическое обеспечение космической техники

Зачем на Луну сбрасывают зеркала? И как мы пользуемся достижениями метрологии?

Наука и техника
Обзор Geely Tugella: плюсы и минусы, комплектации, фото Обзор Geely Tugella: плюсы и минусы, комплектации, фото

Купе-кроссовер Geely Tugella: что стоит знать о нем

РБК
Новая уникальная антилопа Азии Новая уникальная антилопа Азии

Уникальные саолы — редкие "единороги" из горных лесов Вьетнама

Знание – сила
Когда после смерти мужа или жены можно заводить новые отношения? Когда после смерти мужа или жены можно заводить новые отношения?

Как построить новую любовь после потери близкого человека?

Psychologies
Любовь и виноград Любовь и виноград

Когда сыну поставили диагноз, его мама думала, что о работе можно забыть. И зря!

Новый очаг
Размер имеет значение: насколько вредно для здоровья увеличение груди большими имплантами Размер имеет значение: насколько вредно для здоровья увеличение груди большими имплантами

Пластический хирург — обо всех нюансах операции по увеличению груди

ТехИнсайдер
Сказка о нарезанном времени: 4 урока тайм-менеджмента от моей бабушки Сказка о нарезанном времени: 4 урока тайм-менеджмента от моей бабушки

Вы часто сетуете, что в сутках всего 24 часа? Хронически ничего не успеваете?

Psychologies
Только не сегодня Только не сегодня

10 главных причин, почему его больше к тебе не тянет

Лиза
Что такое AGS, или Как может совершенно случайно развиться аллергия на красное мясо Что такое AGS, или Как может совершенно случайно развиться аллергия на красное мясо

Как проявляется аллергия на красное мясо?

ТехИнсайдер
Шимпанзе лучше выполняют задания, если на них смотрят зрители Шимпанзе лучше выполняют задания, если на них смотрят зрители

«Эффект аудитории» укоренился в социальной эволюции человекообразных обезьян

ТехИнсайдер
Как человеческий мозг может быть таким большим Как человеческий мозг может быть таким большим

Для чего человеческому мозгу такие активные нейроны?

ТехИнсайдер
Мое тело: совершенствование VS принятие Мое тело: совершенствование VS принятие

Можно ли найти гармонию с собственным телом, если мы им недовольны?

Psychologies
Открыть в приложении