Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Семь навыков высокоэффективных людей Семь навыков высокоэффективных людей

Мощные инструменты развития личности

kiozk originals
Кесарево сечение при тазовом предлежании плода: можно ли Кесарево сечение при тазовом предлежании плода: можно ли

Что такое тазовое предлежание плода?

9 месяцев
Какие американские президенты были в хороших отношениях с Россией и чем это закончилось Какие американские президенты были в хороших отношениях с Россией и чем это закончилось

Мир и дружба до появления жвачки

Maxim
Обзор струйного МФУ c СНПЧ HP Smart Tank 615: как печатать дешево Обзор струйного МФУ c СНПЧ HP Smart Tank 615: как печатать дешево

Тестируем одну из продвинутых моделей HP с системой непрерывной подачи чернил

CHIP
Родом из детства Родом из детства

Для того, чтобы похудеть, достаточно разобраться со своими детскими отношениями?

Худеем правильно
Быт с привилегиями: чем «Городок чекистов» в Екатеринбурге отличался от других советских районов Быт с привилегиями: чем «Городок чекистов» в Екатеринбурге отличался от других советских районов

История и современность района Екатеринбурга, известного как «Городок чекистов»

VC.RU
Прокачай себя! Тренировка c REBOOT LIVE # 6. Силовая тренировка ABS. Прокачай себя! Тренировка c REBOOT LIVE # 6. Силовая тренировка ABS.

Прощай, пивной живот! Здравствуйте, кубики!

Maxim
«Каждый раз все говорят, что наш бизнес должен умереть»: президент «Азбуки Вкуса» — о пандемии, IPO и фудхакинге «Каждый раз все говорят, что наш бизнес должен умереть»: президент «Азбуки Вкуса» — о пандемии, IPO и фудхакинге

Как ретейл переживает пандемию и почему в кризис растут продажи еды и вина

Forbes
Новый год по-домашнему Новый год по-домашнему

Пришло время вспомнить, что новый год – это домашний праздник

Здоровье
Голоса. Как учат разговаривать голосовые помощники Голоса. Как учат разговаривать голосовые помощники

Как из машины делают личность

Популярная механика
Фильм «Дорогие товарищи!» – повод обратиться к самым важным и болезненным вопросам российского общества Фильм «Дорогие товарищи!» – повод обратиться к самым важным и болезненным вопросам российского общества

В своем фильме «Дорогие товарищи!» Кончаловский неожиданно бьет по больному

GQ
Настоящий самодур! Настоящий самодур!

Как сработаться с неадекватным начальником?

Лиза
Человек, который придумывает будущее Человек, который придумывает будущее

Компания с российскими корнями разрабатывает уникальные технологии для авто

Популярная механика
9 художников, которым проблемы со здоровьем не помешали добиться успеха 9 художников, которым проблемы со здоровьем не помешали добиться успеха

Художники, которых жуткие заболевания не остановили на творческом пути

GQ
Королева как мишень: 7 самых известных покушений на британских монархов Королева как мишень: 7 самых известных покушений на британских монархов

Как британские правители могли погибнуть, но удача оказалась на их стороне

Cosmopolitan
Мозг, исцеляющий себя Мозг, исцеляющий себя

Реальные истории людей, которые победили болезни и преобразили свой мозг

kiozk originals
«Современное искусство вместо наркотиков для расширения сознания»: что и зачем покупают российские коллекционеры «Современное искусство вместо наркотиков для расширения сознания»: что и зачем покупают российские коллекционеры

Почему художник должен страдать и зачем покупать целую выставку

Forbes
Как проснуться без отеков — 5 незаметных вещей, которые делают лицо одутловатым Как проснуться без отеков — 5 незаметных вещей, которые делают лицо одутловатым

Надоело просыпаться с отеками и ждать до вечера, пока они разойдутся?

Cosmopolitan
Какие пуховики и куртки сильно полнят — 9 моделей, которых лучше избегать Какие пуховики и куртки сильно полнят — 9 моделей, которых лучше избегать

Самые опасные фасоны, фактуры и расцветки пуховиков

Cosmopolitan
Маркетинг 3.0 Маркетинг 3.0

От продуктов к потребителям и далее – к человеческой душе

kiozk originals
Как научиться не сравнивать себя с другими (забудь уже сына маминой подруги) Как научиться не сравнивать себя с другими (забудь уже сына маминой подруги)

Пора избавиться от этой токсичной привычки!

Playboy
10 советов, которые помогут вам сформировать здоровое отношение к технологиям 10 советов, которые помогут вам сформировать здоровое отношение к технологиям

Зои Астон укажет путь к разумным взаимоотношениям с экранами ваших устройств

GQ
Как Станислав Черчесов превратился из героя чемпионата мира в одного из главных злодеев российского футбола Как Станислав Черчесов превратился из героя чемпионата мира в одного из главных злодеев российского футбола

Разбираемся, почему главного тренера сборной России стали так часто критиковать

GQ
Как выглядеть в стиле Коко Шанель: культовые вещи модельера, актуальные сегодня Как выглядеть в стиле Коко Шанель: культовые вещи модельера, актуальные сегодня

Коко Шанель - женщина, которая оказала культовое влияние на моду XX века

Cosmopolitan
10 известных фильмов, съемки которых чуть было не сорвались 10 известных фильмов, съемки которых чуть было не сорвались

Эти знаменитые ленты мы могли бы никогда не увидеть

Maxim
«Музыка — эмоция, текст — информация»: большое интервью Ромео Кастеллуччи «Музыка — эмоция, текст — информация»: большое интервью Ромео Кастеллуччи

Ромео Кастеллуччи рассказал о своих правилах жизни на оперной сцене

Школа Masters
«Остров дядюшки Сэма» «Остров дядюшки Сэма»

Слава Алькатраса вышла далеко за пределы США

Дилетант
Что почитать о путешествиях, если надоели travel-блоги? Что почитать о путешествиях, если надоели travel-блоги?

Эти произведения — отличный способ проникнуться другими странами

МегаФон Путешествия
Опасен ли вейп: исследования ученых Опасен ли вейп: исследования ученых

Рост популярности вейпа — тенденция, несущая реальные риски для здоровья

РБК
Вечная юность. История и тест лучшей самодельной машины СССР Вечная юность. История и тест лучшей самодельной машины СССР

Работы над этим автомобилем начались полвека назад

РБК
Открыть в приложении