Как и зачем исследовать логику нейросетей

N+1Hi-Tech

Внимание, черный ящик. Как и зачем исследовать логику нейросетей

Как и зачем исследовать логику нейросетей

Григорий Копиев

Прогресс в машинном обучении, достигнутый за последнее десятилетие, подарил нам как множество новых возможностей, так и неочевидные проблемы: модели машинного обучения стали настолько сложными и большими, что понять логику их действий все труднее. Вместе с Yandex Research, который проводит исследования машинного обучения мирового уровня, рассказываем, как разработчики изучают современные ML-алгоритмы — и почему это стоит делать, даже если они работают хорошо.

Начало обучения

Нейросети на слуху последние несколько лет. Может показаться, что это новый тип алгоритмов. Отчасти так оно и есть: многие архитектуры нейросетей, успевшие стать классическими, появились лишь несколько лет назад. Но идея повторить в машине принцип работы нейронных сетей была реализована на самой заре машинного обучения.

В конце 1950-х годов Фрэнк Розенблатт описал и реализовал «в железе» перцептрон — простейшую архитектуру искусственных нейросетей, которая заложила основу для современных нейросетей (а многослойные перцептроны широко применяются до сих пор).

Розенблатт показал работу перцептрона, обучив его распознавать знаки и символы, что для 1958 года было серьезным успехом. Но, пожалуй, главное достижение и следствие этого заключалось в укреплении идеи, что для создания машины инженеру не нужно вручную прописывать набор правил — они могут родиться сами в виде весов во время обучения.

В дальнейшем ученые придумывали все новые и новые архитектуры моделей машинного обучения, причем не только нейросетевые. И хотя математические операции внутри моделей по отдельности оставались понятными, их количество и взаимное влияние усложняло анализ работы алгоритмов.

Старший исследователь Yandex Research Андрей Малинин объясняет: «Представьте огромный часовой механизм размером с небоскреб, внутри которого крутятся миллиарды шестеренок размером в ноготь — все красиво крутится, но ничего не понятно. Мы можем посмотреть на какой-то локальный кусочек с парой шестеренок, и вроде ясно, как в нем все работает, но неясно, как это встраивается в механизм в целом».

Современная эра

В 2012 году в развитии машинного обучения наметился прорыв, связанный с нейросетью AlexNet. Это сверточная нейросеть для классификации изображений из датасета ImageNet, в котором содержится более 15 миллионов изображений объектов, разбитых на 22 тысячи категорий. Задача бенчмарка ImageNet — определить класс объекта на фотографии. AlexNet удалось выиграть соревнования ImageNet 2012 года, причем с большим отрывом от ближайшего конкурента: частота ошибок при определении пяти самых вероятных объектов составила 15,3 процента против 26,2 у алгоритма со второго места.

Такой успех можно объяснить несколькими причинами. Во-первых, разработчики улучшили архитектуру нейросети, использовав в качестве функции активации редкую для того времени и повсеместно применяемую сейчас ReLU. Во-вторых, хотя это была большая нейросеть, состоявшая из 650 тысяч нейронов и имевшая 60 миллионов параметров, разработчики нашли способ ускорить ее обучение. Они сумели распараллелить обучение сети на два графических процессора. Это была не первая работа, в которой нейросети предлагали обучать на графических процессорах, но, вероятно, первый заметный пример, который показал другим исследователям, что ограничения по вычислительной мощности, сдерживавшие развитие этой области, можно обойти. А значит, размеры моделей и обучающих датасетов можно смело увеличивать.

Спустя шесть лет исследователи из OpenAI проанализировали ключевые работы в области нейросетей и показали, что именно с AlexNet в 2012 году начался рост затрачиваемой на обучение вычислительной мощности. Если раньше она удваивалась каждые два года, следуя закону Мура, то с 2012 года удвоение происходило уже каждые 3–4 месяца. Благодаря такой четкой временной границе OpenAI предложила называть период после 2012 года «современной эрой».

Рост объема вычислений, проводимых при обучении моделей машинного обучения. На графике можно увидеть резкую смену тренда в 2012 году — начало «современной эры». OpenAI

Вместе с увеличением размера нейросетей менялись и подходы к обучению. Стало набирать популярность обучение без учителя на неразмеченных данных.

Хороший пример такого подхода — нейросети GPT, разработанные в OpenAI. Это модели генерации текста, задача которых сводится к предсказанию следующего слова в предложении. Это позволяет писать большие тексты, которые выглядят как результат работы человека, а не машины. Разработчики GPT решили уйти от обучения на ограниченных датасетах с размеченными текстами к самообучению на гигантском объеме самых разных текстов из интернета: GPT-3 обучили на 570 гигабайт текстов. Это позволило модели выучить структуру языка, после чего ее можно быстро дообучить для конкретной задачи, например генерации стихов в стиле любимого поэта, показав всего несколько примеров, а не собирая новый большой датасет.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Где лечиться? Где лечиться?

В какую поликлинику идти – государственную или частную

Домашний Очаг
5 способов спасти себя от разрушительного стресса 5 способов спасти себя от разрушительного стресса

Комплекс мер по поддержанию нормальной работы мозга во время стресса

Psychologies
Если муж потерял работу Если муж потерял работу

Как не дойти до развода из-за нехватки денег

Лиза
А если он не бил, а просто замахнулся? Виды насилия в семье и когда точно пора бежать А если он не бил, а просто замахнулся? Виды насилия в семье и когда точно пора бежать

Каким бывает насилие в семье, и когда стоит расставаться

Psychologies
Как удалить дубликаты контактов на Android Как удалить дубликаты контактов на Android

Как с помощью программ удалить повторы в телефонной книге на Android

ТехИнсайдер
По законам геометрии По законам геометрии

Оригинальная кровля делает неповторимым внешний облик этого частного владения

SALON-Interior
Вы точно мечтаете об электромобиле? Ваше мнение изменится, когда мы расскажем про их шины Вы точно мечтаете об электромобиле? Ваше мнение изменится, когда мы расскажем про их шины

Как быстро изнашиваются шины у электромобиля и как дорого стоит их замена

ТехИнсайдер
5 книг, которые помогут пережить расставание 5 книг, которые помогут пережить расставание

Книги, которые помогут найти точки опоры после расставания

СНОБ
Изучение иностранного языка: почему так важно выбрать учебник правильно Изучение иностранного языка: почему так важно выбрать учебник правильно

Почему не все учебники нам подходят?

Psychologies
Когда двое по-настоящему встретились: как отличить здоровую эмоциональную близость Когда двое по-настоящему встретились: как отличить здоровую эмоциональную близость

Какими должны быть здоровые отношения между двумя людьми?

Psychologies
Принцесса Диана: истоки культа Принцесса Диана: истоки культа

Как появился миф о прекрасной принцессе Диане?

Psychologies
Почему оборотень Джейкоб из “Сумерек” не стал суперзвездой — как Кристен Стюарт и Роберт Паттинсон Почему оборотень Джейкоб из “Сумерек” не стал суперзвездой — как Кристен Стюарт и Роберт Паттинсон

Почему про Тейлора Лотнера все забыли?

VOICE
Биохимики выяснили механизм возникновения красной окраски птиц Биохимики выяснили механизм возникновения красной окраски птиц

Как в клетках позвоночных желтые пигменты превращаются в красные кетокаротиноиды

N+1
Исследование показало, какую сексуальную практику предпочитают устойчивые пары Исследование показало, какую сексуальную практику предпочитают устойчивые пары

Секс втроем положительно сказывается на моногамных отношениях

Psychologies
«Суббота — день обнимашек»: 4 новых факта об объятиях «Суббота — день обнимашек»: 4 новых факта об объятиях

Как связаны объятья, настроение и удовлетворенность жизнью?

Psychologies
Невидим, свободен... Невидим, свободен...

Теоретики рассматривали двумерные структуры на основе углерода ещё в XX веке

Наука и жизнь
Павел Деревянко: «Девчонки считают меня привлекательным» Павел Деревянко: «Девчонки считают меня привлекательным»

Главный по волейболу Паша Деревянко рассказывает про популярность и деньги

Maxim
Археологи обнаружили в Фанагории детскую спальню хазарского времени Археологи обнаружили в Фанагории детскую спальню хазарского времени

Владимир Кузнецов рассказал о результатах раскопок средневековой Фанагории

N+1
Что значит смерть Михаила Горбачева для россиян: комментарий психолога Что значит смерть Михаила Горбачева для россиян: комментарий психолога

Смерть Михаила Горбачева — новая перестройка, но уже в сознании?

Psychologies
Советские мультфильмы, которые учили детей вредному Советские мультфильмы, которые учили детей вредному

Если пересмотреть мультики нашего детства, то к многим из них возникают вопросы

Maxim
7 причин влюбиться в интроверта 7 причин влюбиться в интроверта

Почему вам стоит построить отношения с интровертом

Psychologies
Андрей Соколов: Андрей Соколов:

Все, что ты делаешь, все равно делаешь о себе в той или иной степени

Караван историй
Почему наш стул коричневого цвета? Почему наш стул коричневого цвета?

Какают все, но почему наш стул именно коричневого цвета?

ТехИнсайдер
10 научных фактов о фильме «День независимости» 10 научных фактов о фильме «День независимости»

Кинофильм, запрещенный на планетах, где нет чувства юмора

Maxim
Астрономы ищут в океане неизвестный объект, который, вероятно, прибыл из межзвездного пространства Астрономы ищут в океане неизвестный объект, который, вероятно, прибыл из межзвездного пространства

В 2014 году странный объект упал недалеко от побережья Папуа-Новой Гвинеи

ТехИнсайдер
Последний генеральный. Жизнь и смерть Михаила Горбачева Последний генеральный. Жизнь и смерть Михаила Горбачева

За что любили и ненавидели Михаила Сергеевича Горбачева

Правила жизни
Импровизация Михаила Горбачева Импровизация Михаила Горбачева

«Сноб» вспоминает Михаила Сергеевича и публикует мемуарный очерк

СНОБ
От Нобелевской до Букеровской: как женщины впервые получали литературные премии От Нобелевской до Букеровской: как женщины впервые получали литературные премии

О женщинах, которые первыми получили крупнейшие в мире литературные премии

Forbes
Как сохранить желание: интервью с сексологом Как сохранить желание: интервью с сексологом

Можно ли сохранять сексуальный аппетит на протяжении долгого времени?

Psychologies
Как устроена система охлаждения двигателя: что должен знать каждый Как устроена система охлаждения двигателя: что должен знать каждый

Что нужно знать о системе охлаждения двигателя, чтобы авто работало исправно

РБК
Открыть в приложении