Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Семь навыков высокоэффективных людей Семь навыков высокоэффективных людей

Мощные инструменты развития личности

kiozk originals
История ученых, ставших фантастами: Дерек Кюнскен и Марк Лоуренс История ученых, ставших фантастами: Дерек Кюнскен и Марк Лоуренс

Дерек Кюнскен и Марк Лоуренс — биолог и математик, ставшие писателями-фантастами

Популярная механика
12 вещей, которые использовали вместо денег 12 вещей, которые использовали вместо денег

Во времена натурального обмена в роли денег выступали совершенно разные объекты

Maxim
Обратный отсчет Обратный отсчет

Выглядеть молодо по силам каждой!

Лиза
Богатырское здоровье: самые крепкие знаки зодиака Богатырское здоровье: самые крепкие знаки зодиака

Какой знак зодиака самый крепкий и как улучшить здоровье тем, кому не повезло

Cosmopolitan
Человек, который придумывает будущее Человек, который придумывает будущее

Компания с российскими корнями разрабатывает уникальные технологии для авто

Популярная механика
Одиссей, Малина, Арья: почему детям дают необычные имена Одиссей, Малина, Арья: почему детям дают необычные имена

Чем руководствуются взрослые, когда размышляют, как назвать сына или дочь?

Psychologies
Как накопить миллион Как накопить миллион

Планируешь крупную покупку? Учись откладывать деньги

Лиза
Наука побежать. 5 уникальных побегов через Берлинскую стену Наука побежать. 5 уникальных побегов через Берлинскую стену

5 случаев побега из развивающегося социализма ГДР в загнивающий капитализм ФРГ

Maxim
Самцы пауков-филодромид перед спариванием обездвижили самок ядом и связали паутиной Самцы пауков-филодромид перед спариванием обездвижили самок ядом и связали паутиной

Такое поведение помогает им не стать обедом потенциальных невест

N+1
Сто лет островной жизни уменьшили размеры африканских жаб Сто лет островной жизни уменьшили размеры африканских жаб

Африканские жабы Sclerophrys gutturalis заметно уменьшились в размерах

N+1
5 послевоенных американских романов, на которые стоит обратить внимание: выбор Pollen fanzine 5 послевоенных американских романов, на которые стоит обратить внимание: выбор Pollen fanzine

Послевоенные романы, которые нужно перевести и издать

Esquire
Робокопы. Полиция будущего Робокопы. Полиция будущего

Роботы на службе у полиции: опасен ли для человека искусственный интеллект?

Playboy
Как Чаушеску однажды чуть не разбился на самолете под Москвой Как Чаушеску однажды чуть не разбился на самолете под Москвой

Случилось это возле аэропорта Внуково…

Maxim
Не работают колонки на компьютере: что делать, если нет звука Не работают колонки на компьютере: что делать, если нет звука

Почему не работают колонки?

CHIP
Цель визита в Россию: осмотр достопримечательностей Цель визита в Россию: осмотр достопримечательностей

Главные герои сериала «Шерлок в России» Максим Матвеев и Владимир Мишуков

OK!
Неудачник против везунчика Неудачник против везунчика

«Имя, сестра, имя!» — крылатая фраза из фильма «Д’Артаньян и три мушкетёра»

Дилетант
Бизнес в особом режиме Бизнес в особом режиме

Московская область — один из благоприятных регионов для развития формата ОЭЗ

РБК
Отпуск по обмену Отпуск по обмену

Восстановление дома 1485 года постройки

AD
Почему взрослым непросто учиться: плюсы и минусы образовательных подходов Почему взрослым непросто учиться: плюсы и минусы образовательных подходов

Зачастую нам мешает учиться неподходящий метод обучения

Psychologies
Системный подход Системный подход

Как правильно поддержать иммунитет в сезон простуд и вирусов

Grazia
Здоровья и счастья Здоровья и счастья

Сильверио Мариан — итальянец, который живёт и работает в России и для России

SALON-Interior
«Хаммер» вернулся после 11-летнего отсутствия «Хаммер» вернулся после 11-летнего отсутствия

Главный мачо автомобильного рынка снова в деле

Maxim
Литовцы или литвины? Литовцы или литвины?

Кто в большей степени имеет право считаться наследниками Великого княжества?

Дилетант
«Hello World. Как быть человеком в эпоху машин» «Hello World. Как быть человеком в эпоху машин»

Отрывок из книги Ханна Фрай о том, какой властью наделены алгоритмы

N+1
Функциональный спектрометр-шапочку впервые испытали на шестимесячных младенцах Функциональный спектрометр-шапочку впервые испытали на шестимесячных младенцах

Британские исследователи впервые испытали LUMO на шестимесячных младенцах

N+1
Дебют дебютов: в чем секрет популярности сериала «Ход королевы» Дебют дебютов: в чем секрет популярности сериала «Ход королевы»

Почему мы все неожиданно заинтересовались шахматами после сериала «Ход королевы»

РБК
Юля говорит: Юлия Ахмедова Юля говорит: Юлия Ахмедова

Чудо-женщина российского стендапа Юлия Ахмедова шутит о самых серьезных вещах

Glamour
«Женщины слишком эмоциональны и не умеют рисковать». Почему в российском венчуре так мало женщин «Женщины слишком эмоциональны и не умеют рисковать». Почему в российском венчуре так мало женщин

Почему венчур до сих пор остаётся «мужским клубом»?

Inc.
5 ошибок Grow Food 5 ошибок Grow Food

Типичные ошибки в жизни любого стартапера

Inc.
Открыть в приложении