Как и зачем исследовать логику нейросетей

N+1Hi-Tech

Внимание, черный ящик. Как и зачем исследовать логику нейросетей

Как и зачем исследовать логику нейросетей

Григорий Копиев

Прогресс в машинном обучении, достигнутый за последнее десятилетие, подарил нам как множество новых возможностей, так и неочевидные проблемы: модели машинного обучения стали настолько сложными и большими, что понять логику их действий все труднее. Вместе с Yandex Research, который проводит исследования машинного обучения мирового уровня, рассказываем, как разработчики изучают современные ML-алгоритмы — и почему это стоит делать, даже если они работают хорошо.

Начало обучения

Нейросети на слуху последние несколько лет. Может показаться, что это новый тип алгоритмов. Отчасти так оно и есть: многие архитектуры нейросетей, успевшие стать классическими, появились лишь несколько лет назад. Но идея повторить в машине принцип работы нейронных сетей была реализована на самой заре машинного обучения.

В конце 1950-х годов Фрэнк Розенблатт описал и реализовал «в железе» перцептрон — простейшую архитектуру искусственных нейросетей, которая заложила основу для современных нейросетей (а многослойные перцептроны широко применяются до сих пор).

Розенблатт показал работу перцептрона, обучив его распознавать знаки и символы, что для 1958 года было серьезным успехом. Но, пожалуй, главное достижение и следствие этого заключалось в укреплении идеи, что для создания машины инженеру не нужно вручную прописывать набор правил — они могут родиться сами в виде весов во время обучения.

В дальнейшем ученые придумывали все новые и новые архитектуры моделей машинного обучения, причем не только нейросетевые. И хотя математические операции внутри моделей по отдельности оставались понятными, их количество и взаимное влияние усложняло анализ работы алгоритмов.

Старший исследователь Yandex Research Андрей Малинин объясняет: «Представьте огромный часовой механизм размером с небоскреб, внутри которого крутятся миллиарды шестеренок размером в ноготь — все красиво крутится, но ничего не понятно. Мы можем посмотреть на какой-то локальный кусочек с парой шестеренок, и вроде ясно, как в нем все работает, но неясно, как это встраивается в механизм в целом».

Современная эра

В 2012 году в развитии машинного обучения наметился прорыв, связанный с нейросетью AlexNet. Это сверточная нейросеть для классификации изображений из датасета ImageNet, в котором содержится более 15 миллионов изображений объектов, разбитых на 22 тысячи категорий. Задача бенчмарка ImageNet — определить класс объекта на фотографии. AlexNet удалось выиграть соревнования ImageNet 2012 года, причем с большим отрывом от ближайшего конкурента: частота ошибок при определении пяти самых вероятных объектов составила 15,3 процента против 26,2 у алгоритма со второго места.

Такой успех можно объяснить несколькими причинами. Во-первых, разработчики улучшили архитектуру нейросети, использовав в качестве функции активации редкую для того времени и повсеместно применяемую сейчас ReLU. Во-вторых, хотя это была большая нейросеть, состоявшая из 650 тысяч нейронов и имевшая 60 миллионов параметров, разработчики нашли способ ускорить ее обучение. Они сумели распараллелить обучение сети на два графических процессора. Это была не первая работа, в которой нейросети предлагали обучать на графических процессорах, но, вероятно, первый заметный пример, который показал другим исследователям, что ограничения по вычислительной мощности, сдерживавшие развитие этой области, можно обойти. А значит, размеры моделей и обучающих датасетов можно смело увеличивать.

Спустя шесть лет исследователи из OpenAI проанализировали ключевые работы в области нейросетей и показали, что именно с AlexNet в 2012 году начался рост затрачиваемой на обучение вычислительной мощности. Если раньше она удваивалась каждые два года, следуя закону Мура, то с 2012 года удвоение происходило уже каждые 3–4 месяца. Благодаря такой четкой временной границе OpenAI предложила называть период после 2012 года «современной эрой».

Рост объема вычислений, проводимых при обучении моделей машинного обучения. На графике можно увидеть резкую смену тренда в 2012 году — начало «современной эры». OpenAI

Вместе с увеличением размера нейросетей менялись и подходы к обучению. Стало набирать популярность обучение без учителя на неразмеченных данных.

Хороший пример такого подхода — нейросети GPT, разработанные в OpenAI. Это модели генерации текста, задача которых сводится к предсказанию следующего слова в предложении. Это позволяет писать большие тексты, которые выглядят как результат работы человека, а не машины. Разработчики GPT решили уйти от обучения на ограниченных датасетах с размеченными текстами к самообучению на гигантском объеме самых разных текстов из интернета: GPT-3 обучили на 570 гигабайт текстов. Это позволило модели выучить структуру языка, после чего ее можно быстро дообучить для конкретной задачи, например генерации стихов в стиле любимого поэта, показав всего несколько примеров, а не собирая новый большой датасет.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Какой «автомат» тебе нужен Какой «автомат» тебе нужен

Четыре способа навсегда  забыть о педали сцепления

Maxim
«Хотел попробовать девственность»: история маньяка Романа Бурцева, который охотился на девочек «Хотел попробовать девственность»: история маньяка Романа Бурцева, который охотился на девочек

Роман Бурцев — самый яркий маньяк 90-х

VOICE
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Потерянного колумбийского колибри-саблекрыла переоткрыли спустя 12 лет Потерянного колумбийского колибри-саблекрыла переоткрыли спустя 12 лет

Орнитолог-любитель нашел потерянного колумбийского колибри

N+1
Тело Дженнифер: что Лопес делает с собой, чтобы в 53 выглядеть на 30 — уроки антистарения Тело Дженнифер: что Лопес делает с собой, чтобы в 53 выглядеть на 30 — уроки антистарения

Джей Ло годами (да что там годами — десятилетиями) живет в турбо-режиме

VOICE
Немецкий дьявол с итальянскими корнями, привезенный из Америки: откуда взялось слово Немецкий дьявол с итальянскими корнями, привезенный из Америки: откуда взялось слово

Откуда взялось слово картофель и что оно означает?

ТехИнсайдер
Украинская экономика зиму переживет Украинская экономика зиму переживет

Экономика Украины рухнула почти вдвое, однако ситуация далека от коллапса

Эксперт

Самый необычный постоялец отеля «Гельвеция»

Правила жизни
Удивительный паразит, который делает хозяина невероятно привлекательным и сексуальным Удивительный паразит, который делает хозяина невероятно привлекательным и сексуальным

Toxoplasma gondii потенциально манипулирует внешностью своего хозяина

ТехИнсайдер
Полив этиловым спиртом защитил резуховидку от засухи Полив этиловым спиртом защитил резуховидку от засухи

Генетики предложили повысить засухоустойчивость растений с помощью этанола

N+1
Почему собакам не нравятся некоторые люди Почему собакам не нравятся некоторые люди

Даже самый дружелюбный пес может облаять человека, который ему не нравится

ТехИнсайдер
Игра недоверия Игра недоверия

Советские детективы как кино морального беспокойства

Weekend
Почему современные животные не бывают такими огромными, как динозавры? Почему современные животные не бывают такими огромными, как динозавры?

Могут ли возникнуть животные, в сравнении с которыми покажутся карликами слоны?

ТехИнсайдер
Археологи нашли на новгородском Немецком дворе европейскую посуду и обувь Археологи нашли на новгородском Немецком дворе европейскую посуду и обувь

Руководитель экспедиции рассказал о находках, сделанных в слоях XIII–XIV веков

N+1
Правда ли, что наше тело не переваривает кукурузу? И есть ли от нее польза? Правда ли, что наше тело не переваривает кукурузу? И есть ли от нее польза?

Ядра кукурузы проходят через наш пищеварительный тракт и выходят невредимыми

ТехИнсайдер
Рассказать о старости Рассказать о старости

Нужно ли рассказывать детям и подросткам о старости?

СНОБ
Синдром одомашнивания: отрывок из книги «Парадокс добродетели» Ричарда Рэнгема Синдром одомашнивания: отрывок из книги «Парадокс добродетели» Ричарда Рэнгема

Почему людям свойственны одновременно доброта и жестокость?

СНОБ
Все совпадения неслучайны: 6 криминальных сериалов, основанных на реальных событиях Все совпадения неслучайны: 6 криминальных сериалов, основанных на реальных событиях

Криминальные сериалы, в основу которых легли реальные трагические истории

Forbes
Студент Эйнштейн Студент Эйнштейн

Путь Эйнштейна в науку был совсем не таким прямым и естественным

Наука и жизнь
«Муж купил другу дом, хотя у нас самих нет жилья» «Муж купил другу дом, хотя у нас самих нет жилья»

Что делать, если щедрость партнера работает не в вашу пользу?

Psychologies
Почему отдых вызывает негатив: ловушки выходного дня Почему отдых вызывает негатив: ловушки выходного дня

Как настроиться на мысли о чем-то полезном или радостном в выходной день?

Psychologies
Город засыпает, но спят не все: как отели справляются с теневой жизнью своих постояльцев (и есть ли тут место морали) Город засыпает, но спят не все: как отели справляются с теневой жизнью своих постояльцев (и есть ли тут место морали)

Как персонал гостиниц справляется с тайными (и не очень) желаниями гостей

Правила жизни
Как жара влияет на организм Как жара влияет на организм

Врач объяснил, что происходит с нашим телом под воздействием высокой температуры

Psychologies
Одержимость контролем и нарциссизм основательницы погубили один из самых многообещающих стартапов Азии — история Zilingo Одержимость контролем и нарциссизм основательницы погубили один из самых многообещающих стартапов Азии — история Zilingo

Как стартап-маркетплейс Zilingo взлетел и рухнул

VC.RU
Как вывести неприятный запах из обуви за несколько минут: подручные средства, которые работают Как вывести неприятный запах из обуви за несколько минут: подручные средства, которые работают

Стоит снять ботинки, как неприятное амбре распространяется по всей квартире?

ТехИнсайдер
«Жизнь не была загублена, пока не встретила его»: отрывок из биографии Дженис Джоплин «Жизнь не была загублена, пока не встретила его»: отрывок из биографии Дженис Джоплин

Фрагмент из книги «Дженис Джоплин — жемчужина рок-н-ролла»

Forbes
De feminis: отрывок из новой книги Владимира Сорокина, которую он посвятил женщинам De feminis: отрывок из новой книги Владимира Сорокина, которую он посвятил женщинам

Отрывок из сборника рассказов Владимира Сорокина De feminis — «О женщинах»

Forbes
«Крылья» орхидеи-цапли оказались посадочной площадкой для бражников «Крылья» орхидеи-цапли оказались посадочной площадкой для бражников

Ботаники выяснили, зачем орхидее нужна бахрома

N+1
Ни отеля, ни лошадей: 5 советов, как не испортить себе отпуск невнимательностью к деталям Ни отеля, ни лошадей: 5 советов, как не испортить себе отпуск невнимательностью к деталям

Два москвича собрались в горы, но вместо релакса получили череду казусов

Вокруг света
Навязанные «удобства» Навязанные «удобства»

Без чего автомобиль может легко обойтись?

Автопилот
Открыть в приложении