«Если кто-то его создаст — все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех»
Как большие языковые модели стали напористыми
Большие языковые модели способны на многое, но все же пока не дотягивают до искусственного интеллекта из научной фантастики. Тем не менее скорость развития ИИ и то, чем он может стать в будущем, вызывает обеспокоенность — в том числе у тех, кто над ним работает. В книге «Если кто-то его создаст — все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех» («Corpus»), переведенной на русский язык Евгением Поникаровым, руководители Института исследований машинного интеллекта (MIRI) Элиезер Юдковский и Нейт Соарес рассказывают, почему уверены, что существующие методы разработки ИИ приведут к катастрофе, и как ее можно предотвратить. Предлагаем вам ознакомиться с фрагментом о том, как ИИ-модели учатся во что бы то ни стало добиваться цели.
Глава 3. Обучая хотеть
Как только модели ИИ станут достаточно умными, они начнут вести себя так, будто у них есть предпочтения — будто они чего‑то хотят.
Мы не имеем в виду, что ими начнут двигать человеческие страсти. Мы имеем в виду, что они будут вести себя так, словно чего‑то хотят, они будут упорно направлять мир к своим целям, преодолевая любые препятствия на своем пути.
Попробуйте сыграть в шахматы против Stockfish, лучшей шахматной ИИ-модели на момент написания этой книги, и вы увидите, что он не разбрасывается ферзем. «Хочет» ли Stockfish защитить своего ферзя? «Хочет» ли он выиграть шахматную партию?
Это вопрос вашего восприятия и вашего лексикона. Что касается нас и нашей книги, то, когда ИИ-модель, подобная Stockfish, защищает свои фигуры, расставляет ловушки, пользуется брешами в вашей защите и в итоге побеждает, мы будем описывать это как «желание» победить. Мы не пытаемся сказать, есть у машины чувства или нет. Нам просто нужно какое‑то слово для описания внешнего поведения, нацеленного на победу, и слово «желание» кажется наиболее подходящим.
Если обучать разум, ориентируя его на успех, он может обрести желания. Пример этого принципа — сами люди. Естественный отбор отдавал предпочтение тем нашим предкам, которые умели выполнять задачи вроде выслеживания добычи или решать проблемы вроде поиска укрытия от стихии. Естественному отбору было безразлично, как наши предки выполняли эти задачи и решали эти проблемы. Он не говорил: «Неважно, сколько у организма детей, — хотел ли он их на самом деле?». Он отбирал по репродуктивной успешности и в качестве побочного эффекта получал существ с полным набором предпочтений.
Ибо желание — эффективная стратегия для действия.
Тот гоминид, который хотел еды получше и упорно преследовал антилопу, имел больше детей, чем тот, кто целый день бездельничал на камне, ожидая, пока антилопы придут к нему сами. Желание получить антилопу — достаточное, чтобы отправиться искать ее, найти, напасть, а затем настойчиво обыскивать все места, где могло спрятаться раненое животное, — это часть процесса получения еды получше.
А что еще, собственно, остается делать живому существу? Сдаваться при первом же намеке на трудности? С такой стратегией далеко не уйдешь. Неважно, работает ли разум на биологии или на электричестве: если его обучают добиваться успеха, его тем самым обучают желать.
***
Но как эти желания на самом деле возникают? Знать наверняка мы не можем, потому что никто не умеет читать те дебри чисел, из которых состоят современные ИИ-модели. Однако мы изложим некоторые теоретические построения и подкрепим их примерами работы современных моделей.
Представьте, что вы обучаете ИИ-модель ориентироваться на улицах какого‑нибудь цифрового города. Там сотни возможных пунктов назначения, и каждый день она должна прокладывать маршрут между случайно выбранными точками. Каждый раз, когда она справляется с задачей, вы методом градиентного спуска усиливаете все веса, которые способствовали этому успеху, — пропорционально скорости выполнения задачи.
Вы можете решить, что после множества тренировок модель попросту запомнит все возможные маршруты. «Чтобы добраться от парка до театра, нужно пройти три квартала на запад, затем повернуть налево у бензоколонки… и так далее».
А теперь поместите эту модель в другой город. Все заученное окажется бесполезным. Она почти так же беспомощна, как в первый день обучения.
Почти, но не совсем. В море весов могут найтись закономерности, которые полезны как в первом, так и во втором городе. Возможно, есть схема, которая обнаруживает, если модель сделала петлю, и заставляет ее двигаться другим маршрутом, а не бродить по кругу. Такая схема одинаково полезна в обоих городах, поэтому градиентный спуск усиливает ее, тогда как заученные маршруты стираются.
Теперь поместите эту модель в третий город. В четвертый. В сотый. Она осваивает навык создавать