Как и зачем исследовать логику нейросетей

N+1Hi-Tech

Внимание, черный ящик. Как и зачем исследовать логику нейросетей

Как и зачем исследовать логику нейросетей

Григорий Копиев

Прогресс в машинном обучении, достигнутый за последнее десятилетие, подарил нам как множество новых возможностей, так и неочевидные проблемы: модели машинного обучения стали настолько сложными и большими, что понять логику их действий все труднее. Вместе с Yandex Research, который проводит исследования машинного обучения мирового уровня, рассказываем, как разработчики изучают современные ML-алгоритмы — и почему это стоит делать, даже если они работают хорошо.

Начало обучения

Нейросети на слуху последние несколько лет. Может показаться, что это новый тип алгоритмов. Отчасти так оно и есть: многие архитектуры нейросетей, успевшие стать классическими, появились лишь несколько лет назад. Но идея повторить в машине принцип работы нейронных сетей была реализована на самой заре машинного обучения.

В конце 1950-х годов Фрэнк Розенблатт описал и реализовал «в железе» перцептрон — простейшую архитектуру искусственных нейросетей, которая заложила основу для современных нейросетей (а многослойные перцептроны широко применяются до сих пор).

Розенблатт показал работу перцептрона, обучив его распознавать знаки и символы, что для 1958 года было серьезным успехом. Но, пожалуй, главное достижение и следствие этого заключалось в укреплении идеи, что для создания машины инженеру не нужно вручную прописывать набор правил — они могут родиться сами в виде весов во время обучения.

В дальнейшем ученые придумывали все новые и новые архитектуры моделей машинного обучения, причем не только нейросетевые. И хотя математические операции внутри моделей по отдельности оставались понятными, их количество и взаимное влияние усложняло анализ работы алгоритмов.

Старший исследователь Yandex Research Андрей Малинин объясняет: «Представьте огромный часовой механизм размером с небоскреб, внутри которого крутятся миллиарды шестеренок размером в ноготь — все красиво крутится, но ничего не понятно. Мы можем посмотреть на какой-то локальный кусочек с парой шестеренок, и вроде ясно, как в нем все работает, но неясно, как это встраивается в механизм в целом».

Современная эра

В 2012 году в развитии машинного обучения наметился прорыв, связанный с нейросетью AlexNet. Это сверточная нейросеть для классификации изображений из датасета ImageNet, в котором содержится более 15 миллионов изображений объектов, разбитых на 22 тысячи категорий. Задача бенчмарка ImageNet — определить класс объекта на фотографии. AlexNet удалось выиграть соревнования ImageNet 2012 года, причем с большим отрывом от ближайшего конкурента: частота ошибок при определении пяти самых вероятных объектов составила 15,3 процента против 26,2 у алгоритма со второго места.

Такой успех можно объяснить несколькими причинами. Во-первых, разработчики улучшили архитектуру нейросети, использовав в качестве функции активации редкую для того времени и повсеместно применяемую сейчас ReLU. Во-вторых, хотя это была большая нейросеть, состоявшая из 650 тысяч нейронов и имевшая 60 миллионов параметров, разработчики нашли способ ускорить ее обучение. Они сумели распараллелить обучение сети на два графических процессора. Это была не первая работа, в которой нейросети предлагали обучать на графических процессорах, но, вероятно, первый заметный пример, который показал другим исследователям, что ограничения по вычислительной мощности, сдерживавшие развитие этой области, можно обойти. А значит, размеры моделей и обучающих датасетов можно смело увеличивать.

Спустя шесть лет исследователи из OpenAI проанализировали ключевые работы в области нейросетей и показали, что именно с AlexNet в 2012 году начался рост затрачиваемой на обучение вычислительной мощности. Если раньше она удваивалась каждые два года, следуя закону Мура, то с 2012 года удвоение происходило уже каждые 3–4 месяца. Благодаря такой четкой временной границе OpenAI предложила называть период после 2012 года «современной эрой».

Рост объема вычислений, проводимых при обучении моделей машинного обучения. На графике можно увидеть резкую смену тренда в 2012 году — начало «современной эры». OpenAI

Вместе с увеличением размера нейросетей менялись и подходы к обучению. Стало набирать популярность обучение без учителя на неразмеченных данных.

Хороший пример такого подхода — нейросети GPT, разработанные в OpenAI. Это модели генерации текста, задача которых сводится к предсказанию следующего слова в предложении. Это позволяет писать большие тексты, которые выглядят как результат работы человека, а не машины. Разработчики GPT решили уйти от обучения на ограниченных датасетах с размеченными текстами к самообучению на гигантском объеме самых разных текстов из интернета: GPT-3 обучили на 570 гигабайт текстов. Это позволило модели выучить структуру языка, после чего ее можно быстро дообучить для конкретной задачи, например генерации стихов в стиле любимого поэта, показав всего несколько примеров, а не собирая новый большой датасет.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Людмила Касаткина в воспоминаниях своих друзей и коллег

Караван историй
5 нон-фикшн книг, которые стоит взять с собой в отпуск 5 нон-фикшн книг, которые стоит взять с собой в отпуск

Книга — лучший попутчик в отпуске!

Maxim
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Сон в палатках и кино под открытым небом: топ-7 идей для отдыха всей семьей Сон в палатках и кино под открытым небом: топ-7 идей для отдыха всей семьей

Используйте наши идеи для семейного отдыха на выходных

Караван историй
Junk Reality Junk Reality

Основатели Junk Reality — как и для чего использовать метавселенные прямо сейчас

Собака.ru
Зоологи случайно обнаружили в японском аквариуме новый вид глубоководных гигантских изопод Зоологи случайно обнаружили в японском аквариуме новый вид глубоководных гигантских изопод

Новый вид изоподов получил название Bathynomus yucatanensis

N+1
Переход на приготовленную пищу помог людям тратить на жевание в пять раз меньше энергии Переход на приготовленную пищу помог людям тратить на жевание в пять раз меньше энергии

Человек тратит на жевание до 0,5 процента от обмена веществ в покое

N+1
Букеровский лауреат Джордж Сондерс — о рассказе Льва Толстого «Хозяин и работник». Фрагмент книги «Купание в пруду под дождем» Букеровский лауреат Джордж Сондерс — о рассказе Льва Толстого «Хозяин и работник». Фрагмент книги «Купание в пруду под дождем»

Фрагмент книги, посвященный рассказу Льва Толстого «Хозяин и работник»

Правила жизни
Биохимики выяснили механизм возникновения красной окраски птиц Биохимики выяснили механизм возникновения красной окраски птиц

Как в клетках позвоночных желтые пигменты превращаются в красные кетокаротиноиды

N+1
Средневековые английские монахи пострадали от кишечных паразитов Средневековые английские монахи пострадали от кишечных паразитов

Больше половины обследованных августинцев из Кембриджа были заражены гельминтами

N+1
Как записать телефонный разговор на iPhone и Android Как записать телефонный разговор на iPhone и Android

Можно ли записать телефонный разговор на современном смартфоне?

CHIP
Как лечат обсессивно-компульсивное расстройство Как лечат обсессивно-компульсивное расстройство

Как врачи-психиатры работают с ОКР

Psychologies
От Насти Рыбки до Тинькова и Минфина США: девять судов Олега Дерипаски От Насти Рыбки до Тинькова и Минфина США: девять судов Олега Дерипаски

Дерипаска судится часто, с кем, почему и с каким результатом он это делает?

Forbes
Доступная заграница Доступная заграница

5 интересных стран, где нас ждут

Лиза
Гид по метаверсу от Покраса Гид по метаверсу от Покраса

Покрас Лампас — о метаверсе, метаценностях и метамодернизме

Собака.ru
Какие привычные продукты богаты железом: рацион для укрепления иммунитета Какие привычные продукты богаты железом: рацион для укрепления иммунитета

Простые продукты, в которых много железа

ТехИнсайдер
«Смотришь на эти вывески, и они честно заявляют — стало хуже». Что не так с ребрендингом западных компаний, попавших в руки российских бизнесменов «Смотришь на эти вывески, и они честно заявляют — стало хуже». Что не так с ребрендингом западных компаний, попавших в руки российских бизнесменов

Почему правильный ребрендинг — это важно? И почему он не у всех получается?

Inc.
Настоящие «убийцы Tesla». Как китайцы из BYD захватывают мир Настоящие «убийцы Tesla». Как китайцы из BYD захватывают мир

BYD: от батареек до крупнейшего на планете производителя электромобилей

РБК
Маргарита Терехова. Убегающая в темноту Маргарита Терехова. Убегающая в темноту

Сноб размышляет о судьбе актрисы Маргариты Тереховой

СНОБ
«Лингвисты, пришедшие с холода». История структурной лингвистики в СССР «Лингвисты, пришедшие с холода». История структурной лингвистики в СССР

Лингвистические задачи, придуманным Андреем Анатольевичем Зализняком

N+1
«Цена утопии». История российской модернизации «Цена утопии». История российской модернизации

Отрывок из книги «Цена утопии» — как Россия пыталась реализовать утопию

N+1
Кристоф Андре: «Как я упражняюсь в счастье» Кристоф Андре: «Как я упражняюсь в счастье»

Отрывок из книги Кристофа Андре «И не забудь быть счастливым»

Psychologies
У меня FOBO: как «страх лучшего варианта» парализует человека при принятии решений У меня FOBO: как «страх лучшего варианта» парализует человека при принятии решений

Что на самом деле кроется за этой аббревиатурой FOBO?

Forbes
Забыть и отпустить: 5 сигналов, что это не ваш мужчина Забыть и отпустить: 5 сигналов, что это не ваш мужчина

Как определить, что это не ваш мужчина?

Psychologies
Все время спешим и ничего не успеваем: виноват ли в этом цифровой прогресс? Все время спешим и ничего не успеваем: виноват ли в этом цифровой прогресс?

Отрывок из книги «Времени в обрез: ускорение жизни при цифровом капитализме»

Psychologies
Из чего делают стекло: секреты состава удивительного материала Из чего делают стекло: секреты состава удивительного материала

Как в реальности создают стекло?

ТехИнсайдер
У бактерий нашли дополнительные белки для борьбы с вирусами и бактериофагами У бактерий нашли дополнительные белки для борьбы с вирусами и бактериофагами

Ученые из MIT нашли у прокариот новый механизм борьбы с вирусными инфекциями

N+1
Поворот сюжета Поворот сюжета

История лесничего Ивана Рейнмана

Дилетант
В пустынном солончаке чудом обнаружили древние В пустынном солончаке чудом обнаружили древние

Археологи наткнулись на таинственные «призрачные следы» на солончаках пустыни

ТехИнсайдер
Слизь так важна для жизни, что разные виды самостоятельно получали ее в ходе эволюции снова и снова Слизь так важна для жизни, что разные виды самостоятельно получали ее в ходе эволюции снова и снова

Слизь появлялась на мировом эволюционном древе ни один и не два раза

ТехИнсайдер
Открыть в приложении