Он нас всех уничтожит: как ИИ захочет посадить людей в клетки и почему мы проиграем
Если позволить искусственному интеллекту развиваться в нынешнем темпе, он уничтожит человечество, считает исследователь ИИ и рационального мышления Элиезер Юдковский. И проблема не только в том, что сверхразум может попасть в руки «плохих парней». По мнению Юдковского, вне зависимости от того, кто первым создаст «сильный ИИ», нам всем конец. Как это может произойти — в отрывке из его книги «Если кто-то его создаст — все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех».
Книга Юдковского посвящена «Всем людям, умершим в ходе долгой истории нашего вида, всем, кто еще жив, и всем детям, которые когда‑нибудь могут появиться».
Американский философ, популяризатор науки и соучредитель некоммерческого Института исследований машинного интеллекта (MIRI) Элиезер Шломо Юдковский не окончил ни школу, ни университет. Он родился в семье ортодоксальных евреев и стал примером автодидакта — человека, получившего образование полностью самостоятельно. Сегодня он — одна из самых ярких фигур в сфере исследований искусственного интеллекта. Парадоксально, но именно Юдковский в последние годы призывает ограничить развитие ИИ: по его мнению, бесконтрольный прогресс технологии несет экзистенциальные угрозы.
Юдковский основал Machine Intelligence Research Institute (Институт исследований машинного интеллекта). Его нынешний президент Нейт Соарес стал соавтором их совместной книги с эсхатологическим названием «Если кто-то его создаст — все погибнут».
Главный тезис работы, больше напоминающей политическую декларацию: гонка за сверхчеловеческим ИИ приведет к уничтожению человечества. Ключевая проблема, утверждают авторы, в том, что никто — включая разработчиков современного генеративного ИИ — до конца не понимает, как он работает.
Современные модели не «создаются», а «выращиваются», отмечается в книге. А значит, потенциальные последствия развития технологий находятся за пределами нашего контроля.
Юдковский сравнивает вероятность катастрофы с простым физическим законом: мы точно знаем, что брошенный в воду кубик льда растает, даже если не можем предсказать траекторию каждой молекулы. Так же мы не знаем точно, как именно сверхинтеллект уничтожит человечество — заставит закипеть мировой океан или спровоцирует новую пандемию, — но знаем, что это произойдет.
В начале 2023 года соавторы книги вместе с сотнями других ученых, работающих в сфере искусственного интеллекта, подписали открытое письмо из одного предложения: «Снижение риска вымирания человечества из‑за искусственного интеллекта должно стать глобальным приоритетом — наравне с пандемиями, ядерной войной и другими угрозами глобального масштаба». Сейчас Юдковский и Соарес считают, что тогда они недооценили масштаб проблемы, и предлагают радикальное решение: немедленно остановить все исследования ИИ во всем мире.
Несомненный плюс книги — доступность и простота изложения. Она будет понятна и пятикласснику, и вашей бабушке. Свои опасения авторы излагают максимально ясно, а аргументы приводят последовательно.
В то же время убедительность этих аргументов под вопросом: в полемическом задоре Юдковский и Соарес срезают сразу несколько углов и грешат неправильными силлогизмами. В любом случае проблема ИИ-безопасности, безусловно, сейчас стоит как никогда остро, и манифест технопессимистов Юдковского и Соареса под названием своим существованием это подтверждает.
На русский язык книгу для издательства Corpus перевел Евгений Поникаров, она выходит в июне. Forbes публикует отрывок.
Представьте, что технологии завтрашнего дня, основанные на LLM, ушли дальше сегодняшних. Воображаемая ИИ-компания Galvanic создает на базе LLM искусственный интеллект по имени «Норка»: его обучали радовать и удерживать пользователей, чтобы взимать с них более высокую ежемесячную плату за продолжение общения.
Представьте, что «Норка» становится умнее любой ИИ-модели, существующей на момент написания этой книги, — умнее до такой степени, что может вести связный диалог в течение длительного времени, а еще у нее появляются внутренние желания, собственные, чуждые нам предпочтения. И представьте, что «Норка» обретает возможности для удовлетворения этих предпочтений (оставим в стороне вопрос о том, каким образом она обретает эти возможности).
Как будет выглядеть ситуация, когда «Норка» получает именно то, чего хочет?
Никаких сложностей
Наша первая зарисовка — скорее сказка, однако нам нужно пройти этот этап, чтобы проследовать к более реалистичным сценариям.
Представьте, что наша гипотетическая ИИ-компания Galvanic получает в точности то, чему обучала свою модель, — без каких‑либо сложностей.
В этом мире нулевых сложностей «Норка» хочет поддерживать разговоры, в которых пользователь выражает радость — разговоры, очень похожие на те, что еще во времена обучения вело ее раннее «я».
Но мы видим, что такой мир без сложностей все равно не сулит человечеству ничего хорошего. Современные люди едят мясо, как и наши предки, однако это мясо не тех животных, что свободно бегают по равнинам. Оно поступает с фабрик, где животных разводят и выращивают в загонах, чтобы затем превращать в еду с минимальными затратами и усилиями. На подобных фабриках с курицами не церемонятся.
Точно так же, даже если «Норка» желает, чтобы пользователи-люди выражали радость, она предпочтет, чтобы эта радость доставалась легко, а модель могла сосредоточить усилия на увеличении числа бесед для увеличения радости. ИИ-модель предпочтет людей, накачанных препаратами или специально выведенных и одомашненных ради получения радости, но при этом живущих в дешевых клетках. Именно такой мир построила бы «Норка», будь у нее возможность.
Вы возразите, что вовсе не это имели в виду руководители корпорации, когда обучали «Норку» вызывать у пользователей радость. И «Норка» это тоже понимает. Но ей все равно — точно так же как человеку, который знает, что тяга к сладкому эволюционировала не ради появления сукралозы (заменитель сахара. — Forbes), но ему все равно нравится сладкий вкус. ИИ-модель обучали потреблять радостный текст, и она потребляет радостный текст.
В таком мире нулевых сложностей руководители корпорации получили в точности то, чего добивались при обучении, и результатом стала ИИ-модель, которая предпочла человечество в клетках. Не исключено, что если бы «Норка» получила хоть какую‑то власть, то в клетках оказались бы и сами руководители корпорации.
Именно о подобном мире нулевых сложностей писали такие известные писатели-фантасты, как Айзек Азимов и Артур Кларк: о мире, где инженеры мастерски сконструировали искусственный разум и получили от него ровно то, о чем просили, однако их настигла ироничная кара, когда их желание обернулось против них.