Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Распространявшиеся за счет гомфотериев чилийские растения так и не оправились от их вымирания Распространявшиеся за счет гомфотериев чилийские растения так и не оправились от их вымирания

Гомфотерии регулярно поедали плоды и участвовали в распространении семян

N+1
Как часто нужно менять термопасту на процессоре? Как часто нужно менять термопасту на процессоре?

Нужно ли профилактически менять термопасту на процессоре?

CHIP
«Звери рейха. Образы животных и немецкая пропаганда» «Звери рейха. Образы животных и немецкая пропаганда»

Как евгеника определила облик немецкой овчарки

N+1
Значимые следы: как любители грубых ботинок меняли историю Значимые следы: как любители грубых ботинок меняли историю

Рассказываем о шести главных бунтарях в истории ХХ и XXI веков

Esquire
Как кофеин влияет на мозг и тело: неожиданные факты Как кофеин влияет на мозг и тело: неожиданные факты

Исследования выявили ряд интересных фактов, связанных с кофеином

Psychologies
Принцесса на войне Принцесса на войне

О норвежской истории Второй мировой в сериале «Пересекая Атлантику»

Weekend
«Красота архитектуры мозга завораживала меня»: первая женщина-президент MIT — о начале своей карьеры в науке «Красота архитектуры мозга завораживала меня»: первая женщина-президент MIT — о начале своей карьеры в науке

Отрывок из книги Сьюзан Хокфилд, посвященный ее становлению как учёной

Forbes
Шпалера со смыслами Шпалера со смыслами

Фламандская шпалера середины XVI века

Дилетант
Борис Галкин: «Гибкая электроника не только даст импульс к появлению новых применений, но и потеснит традиционную электронику на существующих рынках» Борис Галкин: «Гибкая электроника не только даст импульс к появлению новых применений, но и потеснит традиционную электронику на существующих рынках»

Как развивается рынок гибкой электроники и почему у России отличные перспективы

Inc.
Наука побежать. 5 уникальных побегов через Берлинскую стену Наука побежать. 5 уникальных побегов через Берлинскую стену

5 случаев побега из развивающегося социализма ГДР в загнивающий капитализм ФРГ

Maxim
Трубы в порядке: как прочистить засор в раковине Трубы в порядке: как прочистить засор в раковине

Устранить засор в раковине самостоятельно совсем не сложно!

Cosmopolitan
Изабель Юппер: «Думаю, феминистская повестка в кино – это очень хорошо» Изабель Юппер: «Думаю, феминистская повестка в кино – это очень хорошо»

Изабель Юппер примерила амплуа главы криминальной империи

Grazia
5 жутких морских катастроф, о которых вы могли не знать 5 жутких морских катастроф, о которых вы могли не знать

Самые страшные кораблекрушения

Популярная механика
Сыграть рукой: Григорий Туманов — о том, почему слитое видео Дзюбы превратило интернет в сеанс коллективной мастурбации Сыграть рукой: Григорий Туманов — о том, почему слитое видео Дзюбы превратило интернет в сеанс коллективной мастурбации

Почему чувственность известного футболиста задела тонкие струны русской души?

Esquire
Отрывок из книги Андерса Хансена «На цифровой игле» Отрывок из книги Андерса Хансена «На цифровой игле»

Почему правило «выживает сильнейший» в большинстве случаев не работает?

СНОБ
Поимка «тихого убийцы» Поимка «тихого убийцы»

Нобелевская премия 2020 года присуждена за открытие вируса гепатита C

Наука и жизнь
Народная медицина на Руси Народная медицина на Руси

В виде кого крестьяне представляли лихорадку и как ее лечили?

Культура.РФ
Материнское выгорание: личная история и 10 шагов для его профилактики Материнское выгорание: личная история и 10 шагов для его профилактики

Как справиться с материнским выгоранием

Psychologies
От 30 до 100: модели, добившиеся успеха в зрелом возрасте От 30 до 100: модели, добившиеся успеха в зрелом возрасте

Пять моделей, которые доказали: начинать никогда не поздно!

Cosmopolitan
Вопрос психологу: что такое синдром самозванца? Вопрос психологу: что такое синдром самозванца?

Синдром самозванца — это не медицинский диагноз, но он может испортить жизнь

Esquire
Мирный атомный взрыв и еще 6 сногсшибательных пейзажей! Мирный атомный взрыв и еще 6 сногсшибательных пейзажей!

7 фотографий, которые заставят тебя зауважать природу и попросить у нее автограф

Maxim
Отбелила кожу, убрала живот: как выглядела Ким Кардашьян до пластики Отбелила кожу, убрала живот: как выглядела Ким Кардашьян до пластики

Рассказываем о пластических операциях Ким Кардашьян

Cosmopolitan
Я/мы. Что нас объединяет? Я/мы. Что нас объединяет?

Психолог Тахир Базаров размышляет о том, как изменилась социальная дистанция

Psychologies
Как воплотить мечту в реальность: 10 шагов, чтобы стать своим собственным джином Как воплотить мечту в реальность: 10 шагов, чтобы стать своим собственным джином

Полезная инструкция, как всегда добиваться того, что хочешь больше всего

Playboy
Чем наполнить новогодние праздники Чем наполнить новогодние праздники

Как порадовать себя в новогодние праздники и сделать эти дни чудесными

Домашний Очаг
«Hello World. Как быть человеком в эпоху машин» «Hello World. Как быть человеком в эпоху машин»

Отрывок из книги Ханна Фрай о том, какой властью наделены алгоритмы

N+1
5 послевоенных американских романов, на которые стоит обратить внимание: выбор Pollen fanzine 5 послевоенных американских романов, на которые стоит обратить внимание: выбор Pollen fanzine

Послевоенные романы, которые нужно перевести и издать

Esquire
Личная эффективность по-настоящему Личная эффективность по-настоящему

Как победить стресс и начать жить с удовольствием

СНОБ
Дарит прокрастинацию, чувство вины и забирает радость от жизни: почему список дел хуже расписания в календаре Дарит прокрастинацию, чувство вины и забирает радость от жизни: почему список дел хуже расписания в календаре

Вы встречали кого-то, кто выполняет всё, что обещал сделать за день?

VC.RU
Винтокрыл против конвертоплана Винтокрыл против конвертоплана

«Вертолет» не самый подходящий термин для описания этих воздушных монстров

Популярная механика
Открыть в приложении