Как и зачем исследовать логику нейросетей

N+1Hi-Tech

Внимание, черный ящик. Как и зачем исследовать логику нейросетей

Как и зачем исследовать логику нейросетей

Григорий Копиев

Прогресс в машинном обучении, достигнутый за последнее десятилетие, подарил нам как множество новых возможностей, так и неочевидные проблемы: модели машинного обучения стали настолько сложными и большими, что понять логику их действий все труднее. Вместе с Yandex Research, который проводит исследования машинного обучения мирового уровня, рассказываем, как разработчики изучают современные ML-алгоритмы — и почему это стоит делать, даже если они работают хорошо.

Начало обучения

Нейросети на слуху последние несколько лет. Может показаться, что это новый тип алгоритмов. Отчасти так оно и есть: многие архитектуры нейросетей, успевшие стать классическими, появились лишь несколько лет назад. Но идея повторить в машине принцип работы нейронных сетей была реализована на самой заре машинного обучения.

В конце 1950-х годов Фрэнк Розенблатт описал и реализовал «в железе» перцептрон — простейшую архитектуру искусственных нейросетей, которая заложила основу для современных нейросетей (а многослойные перцептроны широко применяются до сих пор).

Розенблатт показал работу перцептрона, обучив его распознавать знаки и символы, что для 1958 года было серьезным успехом. Но, пожалуй, главное достижение и следствие этого заключалось в укреплении идеи, что для создания машины инженеру не нужно вручную прописывать набор правил — они могут родиться сами в виде весов во время обучения.

В дальнейшем ученые придумывали все новые и новые архитектуры моделей машинного обучения, причем не только нейросетевые. И хотя математические операции внутри моделей по отдельности оставались понятными, их количество и взаимное влияние усложняло анализ работы алгоритмов.

Старший исследователь Yandex Research Андрей Малинин объясняет: «Представьте огромный часовой механизм размером с небоскреб, внутри которого крутятся миллиарды шестеренок размером в ноготь — все красиво крутится, но ничего не понятно. Мы можем посмотреть на какой-то локальный кусочек с парой шестеренок, и вроде ясно, как в нем все работает, но неясно, как это встраивается в механизм в целом».

Современная эра

В 2012 году в развитии машинного обучения наметился прорыв, связанный с нейросетью AlexNet. Это сверточная нейросеть для классификации изображений из датасета ImageNet, в котором содержится более 15 миллионов изображений объектов, разбитых на 22 тысячи категорий. Задача бенчмарка ImageNet — определить класс объекта на фотографии. AlexNet удалось выиграть соревнования ImageNet 2012 года, причем с большим отрывом от ближайшего конкурента: частота ошибок при определении пяти самых вероятных объектов составила 15,3 процента против 26,2 у алгоритма со второго места.

Такой успех можно объяснить несколькими причинами. Во-первых, разработчики улучшили архитектуру нейросети, использовав в качестве функции активации редкую для того времени и повсеместно применяемую сейчас ReLU. Во-вторых, хотя это была большая нейросеть, состоявшая из 650 тысяч нейронов и имевшая 60 миллионов параметров, разработчики нашли способ ускорить ее обучение. Они сумели распараллелить обучение сети на два графических процессора. Это была не первая работа, в которой нейросети предлагали обучать на графических процессорах, но, вероятно, первый заметный пример, который показал другим исследователям, что ограничения по вычислительной мощности, сдерживавшие развитие этой области, можно обойти. А значит, размеры моделей и обучающих датасетов можно смело увеличивать.

Спустя шесть лет исследователи из OpenAI проанализировали ключевые работы в области нейросетей и показали, что именно с AlexNet в 2012 году начался рост затрачиваемой на обучение вычислительной мощности. Если раньше она удваивалась каждые два года, следуя закону Мура, то с 2012 года удвоение происходило уже каждые 3–4 месяца. Благодаря такой четкой временной границе OpenAI предложила называть период после 2012 года «современной эрой».

Рост объема вычислений, проводимых при обучении моделей машинного обучения. На графике можно увидеть резкую смену тренда в 2012 году — начало «современной эры». OpenAI

Вместе с увеличением размера нейросетей менялись и подходы к обучению. Стало набирать популярность обучение без учителя на неразмеченных данных.

Хороший пример такого подхода — нейросети GPT, разработанные в OpenAI. Это модели генерации текста, задача которых сводится к предсказанию следующего слова в предложении. Это позволяет писать большие тексты, которые выглядят как результат работы человека, а не машины. Разработчики GPT решили уйти от обучения на ограниченных датасетах с размеченными текстами к самообучению на гигантском объеме самых разных текстов из интернета: GPT-3 обучили на 570 гигабайт текстов. Это позволило модели выучить структуру языка, после чего ее можно быстро дообучить для конкретной задачи, например генерации стихов в стиле любимого поэта, показав всего несколько примеров, а не собирая новый большой датасет.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Без паники Без паники

Как бороться с тревожностью, которая мешает жить

Лиза
6 продуктов, которые категорически нельзя есть во время похудения 6 продуктов, которые категорически нельзя есть во время похудения

Пищевые ловушки здоровых продуктов

ТехИнсайдер
Желаю всего самого лучшего Желаю всего самого лучшего

Что будет, если попробовать желать себе всего самого лучшего

Psychologies
Елена Яковлева: Елена Яковлева:

Я здесь абсолютно спокойно себя чувствую. Это мое место

Караван историй
Как обустроить гостиную и не разориться. Советы от эксперта Как обустроить гостиную и не разориться. Советы от эксперта

Гостиная – место встречи всех членов семьи и друзей. Как ее обустроить?

Лиза
Доисторические британцы раздробили редкий горный хрусталь и положили в погребения Доисторические британцы раздробили редкий горный хрусталь и положили в погребения

Он символизировал трансформацию мертвых и их связь с живыми

N+1
Как включить клавиатуру на ноутбуке: все проще, чем кажется Как включить клавиатуру на ноутбуке: все проще, чем кажется

Рассказываем о том, как включить клавиатуру на ноутбуке несколькими способами

CHIP
«Это недопустимо»: нейл-мастер рассказала о самой опасной ошибке при наращивании ногтей «Это недопустимо»: нейл-мастер рассказала о самой опасной ошибке при наращивании ногтей

«Самые кошмарные ногти, которые она когда-либо видела»

VOICE
Когда двое по-настоящему встретились: как отличить здоровую эмоциональную близость Когда двое по-настоящему встретились: как отличить здоровую эмоциональную близость

Какими должны быть здоровые отношения между двумя людьми?

Psychologies
Как создать полезное приложение: простые правила продуманной навигации Как создать полезное приложение: простые правила продуманной навигации

Как продумать пользовательский путь в приложении?

ТехИнсайдер
Окно в Париж Окно в Париж

Художник-импрессионист Камиль Писсарро и его парижские пейзажи

Вокруг света
Часики больше не тикают: есть ли правильный ответ на вопрос «когда рожать» Часики больше не тикают: есть ли правильный ответ на вопрос «когда рожать»

Почему на женщин влияют стереотипы о том, что она должна реализоваться как мать

Forbes
Мощный мотор и странные подножки. Тест-драйв Exeed TXL Sport Edition Мощный мотор и странные подножки. Тест-драйв Exeed TXL Sport Edition

Оправдывает ли Exeed TXL с новым турбомотором такое громкое заявление?

РБК
Какие привычные продукты богаты железом: рацион для укрепления иммунитета Какие привычные продукты богаты железом: рацион для укрепления иммунитета

Простые продукты, в которых много железа

ТехИнсайдер
9 адских ужастиков про ад 9 адских ужастиков про ад

Сам аццкий сотона одобрил бы нашу подборку хорроров!

Maxim
М или Ж? Как раз и навсегда запомнить род слова М или Ж? Как раз и навсегда запомнить род слова

Тюль — мужской род или женский?

ТехИнсайдер
Дорогие мои: 6 вещей, которые помогут выглядеть солидно Дорогие мои: 6 вещей, которые помогут выглядеть солидно

Что такое статусный гардероб? Шкаф, набитый брендовой одеждой?

Правила жизни
Открывая тайны Открывая тайны

Русскому географическому обществу исполняется 177 лет

Отдых в России
«Не то башня, не то труба»: почему реставрация дома Мельникова затянулась на 16 лет «Не то башня, не то труба»: почему реставрация дома Мельникова затянулась на 16 лет

Долгая история создания музея Константина и Виктора Мельниковых

Forbes
Почему тарифы ЖКХ постоянно растут? Почему тарифы ЖКХ постоянно растут?

Куда жаловаться, если кажется, что коммунальщики обнаглели в своих аппетитах

Maxim
Археологи обнаружили древнейшее просо Британии Археологи обнаружили древнейшее просо Британии

Это просо вырастили в Британии около 910–800 годов до нашей эры

N+1
Биохимики выяснили механизм возникновения красной окраски птиц Биохимики выяснили механизм возникновения красной окраски птиц

Как в клетках позвоночных желтые пигменты превращаются в красные кетокаротиноиды

N+1
Музыкальная память сохраняется при деменции и может стать «мостом» к пациенту Музыкальная память сохраняется при деменции и может стать «мостом» к пациенту

Музыка всегда способна достучаться до нас

ТехИнсайдер
10 вещей, которые нельзя делать с кошкой 10 вещей, которые нельзя делать с кошкой

10 вещей, которые могут навредить вашей кошке

Maxim
Помогите первокласснику Помогите первокласснику

Десять правил, которые помогут ребенку (и его родителям) подготовиться к учебе

Лиза
«Костыль для общения»: можно ли построить отношения без манипуляций «Костыль для общения»: можно ли построить отношения без манипуляций

Попробуем разобраться, можно ли построить отношения без манипуляции

Psychologies
Вместо чая с печеньками. 5 вариантов правильных вечерних перекусов Вместо чая с печеньками. 5 вариантов правильных вечерних перекусов

Чтобы питание способствовало стройности, перекусывать можно и нужно

Лиза
Температура в холодильнике: какой она должна быть и как её регулировать Температура в холодильнике: какой она должна быть и как её регулировать

Как настроить оптимальную температуру в холодильнике

CHIP
Не просто выбросить, а заработать Не просто выбросить, а заработать

5 выгодных способов избавиться от старой техники

Лиза
Почему пародия на кино категории Б «Убойный монтаж» открыла Каннский кинофестиваль Почему пародия на кино категории Б «Убойный монтаж» открыла Каннский кинофестиваль

Каким получился «Убойный монтаж» Мишеля Хазанавичуса

СНОБ
Открыть в приложении