Как и зачем исследовать логику нейросетей

N+1Hi-Tech

Внимание, черный ящик. Как и зачем исследовать логику нейросетей

Как и зачем исследовать логику нейросетей

Григорий Копиев

Прогресс в машинном обучении, достигнутый за последнее десятилетие, подарил нам как множество новых возможностей, так и неочевидные проблемы: модели машинного обучения стали настолько сложными и большими, что понять логику их действий все труднее. Вместе с Yandex Research, который проводит исследования машинного обучения мирового уровня, рассказываем, как разработчики изучают современные ML-алгоритмы — и почему это стоит делать, даже если они работают хорошо.

Начало обучения

Нейросети на слуху последние несколько лет. Может показаться, что это новый тип алгоритмов. Отчасти так оно и есть: многие архитектуры нейросетей, успевшие стать классическими, появились лишь несколько лет назад. Но идея повторить в машине принцип работы нейронных сетей была реализована на самой заре машинного обучения.

В конце 1950-х годов Фрэнк Розенблатт описал и реализовал «в железе» перцептрон — простейшую архитектуру искусственных нейросетей, которая заложила основу для современных нейросетей (а многослойные перцептроны широко применяются до сих пор).

Розенблатт показал работу перцептрона, обучив его распознавать знаки и символы, что для 1958 года было серьезным успехом. Но, пожалуй, главное достижение и следствие этого заключалось в укреплении идеи, что для создания машины инженеру не нужно вручную прописывать набор правил — они могут родиться сами в виде весов во время обучения.

В дальнейшем ученые придумывали все новые и новые архитектуры моделей машинного обучения, причем не только нейросетевые. И хотя математические операции внутри моделей по отдельности оставались понятными, их количество и взаимное влияние усложняло анализ работы алгоритмов.

Старший исследователь Yandex Research Андрей Малинин объясняет: «Представьте огромный часовой механизм размером с небоскреб, внутри которого крутятся миллиарды шестеренок размером в ноготь — все красиво крутится, но ничего не понятно. Мы можем посмотреть на какой-то локальный кусочек с парой шестеренок, и вроде ясно, как в нем все работает, но неясно, как это встраивается в механизм в целом».

Современная эра

В 2012 году в развитии машинного обучения наметился прорыв, связанный с нейросетью AlexNet. Это сверточная нейросеть для классификации изображений из датасета ImageNet, в котором содержится более 15 миллионов изображений объектов, разбитых на 22 тысячи категорий. Задача бенчмарка ImageNet — определить класс объекта на фотографии. AlexNet удалось выиграть соревнования ImageNet 2012 года, причем с большим отрывом от ближайшего конкурента: частота ошибок при определении пяти самых вероятных объектов составила 15,3 процента против 26,2 у алгоритма со второго места.

Такой успех можно объяснить несколькими причинами. Во-первых, разработчики улучшили архитектуру нейросети, использовав в качестве функции активации редкую для того времени и повсеместно применяемую сейчас ReLU. Во-вторых, хотя это была большая нейросеть, состоявшая из 650 тысяч нейронов и имевшая 60 миллионов параметров, разработчики нашли способ ускорить ее обучение. Они сумели распараллелить обучение сети на два графических процессора. Это была не первая работа, в которой нейросети предлагали обучать на графических процессорах, но, вероятно, первый заметный пример, который показал другим исследователям, что ограничения по вычислительной мощности, сдерживавшие развитие этой области, можно обойти. А значит, размеры моделей и обучающих датасетов можно смело увеличивать.

Спустя шесть лет исследователи из OpenAI проанализировали ключевые работы в области нейросетей и показали, что именно с AlexNet в 2012 году начался рост затрачиваемой на обучение вычислительной мощности. Если раньше она удваивалась каждые два года, следуя закону Мура, то с 2012 года удвоение происходило уже каждые 3–4 месяца. Благодаря такой четкой временной границе OpenAI предложила называть период после 2012 года «современной эрой».

Рост объема вычислений, проводимых при обучении моделей машинного обучения. На графике можно увидеть резкую смену тренда в 2012 году — начало «современной эры». OpenAI

Вместе с увеличением размера нейросетей менялись и подходы к обучению. Стало набирать популярность обучение без учителя на неразмеченных данных.

Хороший пример такого подхода — нейросети GPT, разработанные в OpenAI. Это модели генерации текста, задача которых сводится к предсказанию следующего слова в предложении. Это позволяет писать большие тексты, которые выглядят как результат работы человека, а не машины. Разработчики GPT решили уйти от обучения на ограниченных датасетах с размеченными текстами к самообучению на гигантском объеме самых разных текстов из интернета: GPT-3 обучили на 570 гигабайт текстов. Это позволило модели выучить структуру языка, после чего ее можно быстро дообучить для конкретной задачи, например генерации стихов в стиле любимого поэта, показав всего несколько примеров, а не собирая новый большой датасет.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Людмила Касаткина в воспоминаниях своих друзей и коллег

Караван историй
Слова — трансгендеры: они сменили род, чтобы нам понравиться Слова — трансгендеры: они сменили род, чтобы нам понравиться

Может ли с течением времени меняться род имен существительных в нашем языке?

ТехИнсайдер
6 способов защиты от болезни Альцгеймера 6 способов защиты от болезни Альцгеймера

Есть полезные привычки, которые помогут сохранить ясность ума

Psychologies
5 причин, почему нас пугают современные отношения 5 причин, почему нас пугают современные отношения

Как изменились отношения и почему мы стали их бояться?

Psychologies
Как создать финансовую подушку безопасности Как создать финансовую подушку безопасности

Как сформировать финансовую подушку, можно ли иногда изымать из нее средства?

Psychologies
Не спешите считать овец: 6 необычных способов заснуть Не спешите считать овец: 6 необычных способов заснуть

Мучает бессонница? Неочевидные приемы, которые помогут уснуть

Psychologies
Екатерина Медичи: чему с детства училась «кровавая» французская королева Екатерина Медичи: чему с детства училась «кровавая» французская королева

Книга рассказывает о самой знаменитой королеве Франции, религиозной фанатичке

Forbes
5 загадочных массовых заболеваний, которым не нашли объяснения до сих пор 5 загадочных массовых заболеваний, которым не нашли объяснения до сих пор

Семь случаев эпидемий, вызванных массовой истерией

ТехИнсайдер
В поисках Рюрика В поисках Рюрика

А был ли Рюрик?

Дилетант
Что запускать и где взять деньги: венчурный гид по Латинской Америке Что запускать и где взять деньги: венчурный гид по Латинской Америке

Как устроен венчурный рынок в Латинской Америке

Forbes
Как выглядеть отдохнувшей: 7 рекомендаций Как выглядеть отдохнувшей: 7 рекомендаций

Несколько простых способов освежиться

Psychologies
«Стоп-механизмы» успеха: что их запускает? «Стоп-механизмы» успеха: что их запускает?

Что мешает нам добиваться целей?

Psychologies
Открывая тайны Открывая тайны

Русскому географическому обществу исполняется 177 лет

Отдых в России
Лучше Джиллиан Майклс и Джейн Фонды: как Хлое Тинг помогла похудеть миллионам девушек по всему миру Лучше Джиллиан Майклс и Джейн Фонды: как Хлое Тинг помогла похудеть миллионам девушек по всему миру

Имя Хлое Тинг знакомо миллионам девушек. Почему она так популярна?

VOICE
В каких фруктах и ягодах больше всего белка В каких фруктах и ягодах больше всего белка

Что поможет тебе не только восполнить дефицит витаминов, но и набрать массу

Maxim
Правда ли, что искусственный интеллект научился выявлять рак точнее рентгенолога: прорыв в диагностике онкологии Правда ли, что искусственный интеллект научился выявлять рак точнее рентгенолога: прорыв в диагностике онкологии

Может ли искусственный интеллект выявить рак? Как это поможет врачам?

ТехИнсайдер
Развенчиваем мифы народной медицины Развенчиваем мифы народной медицины

Народная медицина: польза или вред?

Лиза
Почему наш стул коричневого цвета? Почему наш стул коричневого цвета?

Какают все, но почему наш стул именно коричневого цвета?

ТехИнсайдер
Физики-теоретики доказали устойчивость черных дыр Физики-теоретики доказали устойчивость черных дыр

Гравитационисты изучила устойчивость черной дыры Керра с малым угловым моментом

N+1
Как вернуть ребенка в школу после каникул? Отвечает Дима Зицер Как вернуть ребенка в школу после каникул? Отвечает Дима Зицер

Как начать учебный год без скандалов, слез и уговоров?

СНОБ
Какие растения любят подкормку из яичной скорлупы: дешевое удобрение, о котором должен знать каждый дачник Какие растения любят подкормку из яичной скорлупы: дешевое удобрение, о котором должен знать каждый дачник

Многие собирают скорлупу для подкормки сада и комнатных растений

ТехИнсайдер
Ничего не поделать: почему формируется выученная беспомощность и как ее преодолеть Ничего не поделать: почему формируется выученная беспомощность и как ее преодолеть

Почему люди добровольно отдают контроль над жизнью и предпочитают бездействие

Forbes
Изнутри болезни: как живут люди с психическим расстройством? Изнутри болезни: как живут люди с психическим расстройством?

Как представить, что испытывают люди с диагнозами «шизофрения» или «депрессия»?

Psychologies
Малый ледниковый период отразился на почвах из Тульского кремля Малый ледниковый период отразился на почвах из Тульского кремля

Палеопочвоведы нашли признаки похолодания в культурных слоях XVI–XVIII веков

N+1
Секреты стиля Патрика Шварценеггера — от белых костюмов до выверенной базы Секреты стиля Патрика Шварценеггера — от белых костюмов до выверенной базы

Разбираем стиль Патрика Шварценеггера на составляющие

Правила жизни
Георгий Гурьянов: художник, эстет, миф Георгий Гурьянов: художник, эстет, миф

Жизнь и творчество барабанщика группы «Кино» Георгия Гурьянова

СНОБ
AMOLED-дисплеи в смартфонах: плюсы и минусы AMOLED-дисплеи в смартфонах: плюсы и минусы

Разбираемся в том, что такое AMOLED-экран в смартфоне

CHIP
Junk Reality Junk Reality

Основатели Junk Reality — как и для чего использовать метавселенные прямо сейчас

Собака.ru
«Развод в стиле кунг-фу»: женщина восстает против домашнего насилия «Развод в стиле кунг-фу»: женщина восстает против домашнего насилия

О том, как при помощи восточных единоборств противостоять мужу-насильнику

Forbes

Страхи в постели часто вообще никак не связаны с реальным положением дел

VOICE
Открыть в приложении