Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Думай и богатей Думай и богатей

Золотые правила успеха

kiozk originals
Та самая Та самая

Тренер по стилю Роман Медный предлагает три способа сделать образ актуальным

Cosmopolitan
«В нашей жизни всё спонтанно» «В нашей жизни всё спонтанно»

Блогеры Ольга и Максим Нечаевы: о воспитании дочери и курсе «Голые деньги»

OK!
Мнение: Spotify убивает открытую и доступную экосистему подкастов Мнение: Spotify убивает открытую и доступную экосистему подкастов

Как Spotify пошатнул доступность подкастов везде, на любой платформе

VC.RU
Сами мы местные: как производят оптоволокно в России Сами мы местные: как производят оптоволокно в России

Российскому рынку оптоволокна есть куда расти

Inc.
История ученых, ставших фантастами: Дерек Кюнскен и Марк Лоуренс История ученых, ставших фантастами: Дерек Кюнскен и Марк Лоуренс

Дерек Кюнскен и Марк Лоуренс — биолог и математик, ставшие писателями-фантастами

Популярная механика
Личная эффективность по-настоящему Личная эффективность по-настоящему

Как победить стресс и начать жить с удовольствием

СНОБ
Осознанное питание: как есть всё, что хочешь, и не толстеть Осознанное питание: как есть всё, что хочешь, и не толстеть

Рассказываем, как научиться слушать свое тело и есть всё, что захочется

Cosmopolitan
«У меня мало друзей, потому что много денег» «У меня мало друзей, потому что много денег»

Мы все с детства усвоили, что дружбу за деньги не купишь

Psychologies
Артуро Перес-Реверте: Эль-Сид, или Рыцарь без короля. Отрывок из «средневекового вестерна» Артуро Перес-Реверте: Эль-Сид, или Рыцарь без короля. Отрывок из «средневекового вестерна»

Глава из книги Артуро Перес-Реверта «Эль-Сид, или Рыцарь без короля»

СНОБ
«Эпоха крайностей» «Эпоха крайностей»

XX век был, пожалуй самым стремительным столетием в мировой истории

N+1
Partners in Crime Partners in Crime

Елена Ильиных и Влад Топалов — самая темпераментная пара шоу «Ледниковый период»

OK!
«Большой спорт – это не про здоровье», – интервью с главным хореографом Этери Тутберидзе «Большой спорт – это не про здоровье», – интервью с главным хореографом Этери Тутберидзе

Тренер Этери Тутберидзе о фигурном катании, спортсменах и детях

GQ
15 мыслей Михаила Пиотровского 15 мыслей Михаила Пиотровского

Как Михаил Пиотровский, вопреки всем правилам, уберег от жертв великую красоту

GQ
Зачем смотреть «Метод 2» — отчаянно китчевый, но затягивающий сериал Зачем смотреть «Метод 2» — отчаянно китчевый, но затягивающий сериал

К чему привели бессовестные сюжетные ходы в сериале «Метод 2»

РБК
Бизнесмен, фигурист: с кем встречалась Ляйсан Утяшева до Павла Воли Бизнесмен, фигурист: с кем встречалась Ляйсан Утяшева до Павла Воли

Пара Ляйсан Утяшевой и Павлы Воли, пожалуй, самая крепкая в нашем шоу-бизнесе

Cosmopolitan
Отрывки из текста Михаила Калужского Отрывки из текста Михаила Калужского

Фрагмент текста Михаила Калужского — о памяти, ее аберрациях и ностальгии

СНОБ
Стресс и выгорание: почему так важно понимать разницу Стресс и выгорание: почему так важно понимать разницу

Представьте себе ситуацию: работы все больше, вы чувствуете себя на нуле...

Psychologies
Центральноамериканских капуцинов застали за каннибализмом Центральноамериканских капуцинов застали за каннибализмом

Зоологи застали двух приматов за поеданием детеныша собственного вида

N+1
Вареная кукуруза: польза и вред «царицы полей» Вареная кукуруза: польза и вред «царицы полей»

Полезные свойства, пищевая ценность и противопоказания кукурузы

Playboy
Как устроены самолеты-авианосцы: небесные колоссы Как устроены самолеты-авианосцы: небесные колоссы

Каким образом конструкторы работали над решением проблемы защиты авианосцев?

Популярная механика
Почему насилия в жизни становится меньше, а на экране — больше, и почему миллениалы нравственнее бебибумеров Почему насилия в жизни становится меньше, а на экране — больше, и почему миллениалы нравственнее бебибумеров

Отрывок из книги Стивена Пинкера «Лучшее в нас»

Inc.
А не мудак ли я? Мужчина отвечает на претензии XXI века к мужчинам А не мудак ли я? Мужчина отвечает на претензии XXI века к мужчинам

Кто он такой вообще — этот мудак — и как принять, что мудаком можете быть и вы

Esquire
Тебя обманули: 7 признаков некачественного окрашивания – объясняет колорист Тебя обманули: 7 признаков некачественного окрашивания – объясняет колорист

Как определить, что колорист сделал свою работу некачественно: 7 главных ошибок

Cosmopolitan
«Король» гормонов, гормон королей «Король» гормонов, гормон королей

Как мужской гормон тестостерон помогает женщинам похудеть

Худеем правильно
Завтрак туриста Завтрак туриста

Когда можно пожертвовать товарищем в пользу большинства?

Playboy
Год выбирали одно слово: как бывший менеджер «Яндекса» разрабатывал для «Сбера» семейство голосовых помощников Год выбирали одно слово: как бывший менеджер «Яндекса» разрабатывал для «Сбера» семейство голосовых помощников

Кто стоял за разработкой голосовых помощников для «Сбера»

Forbes
Вечерний алкоголь и частые перекусы: 4 безболезненных способа избавиться от вредных привычек Вечерний алкоголь и частые перекусы: 4 безболезненных способа избавиться от вредных привычек

Пора взяться за себя!

Playboy
Бизнес, которому не страшен кризис: как тесть и зять стали миллиардерами благодаря свалкам битых машин Бизнес, которому не страшен кризис: как тесть и зять стали миллиардерами благодаря свалкам битых машин

Владельцы свалок аварийных машин из Далласа создали идеальную бизнес-модель

Forbes
12 вещей, которые использовали вместо денег 12 вещей, которые использовали вместо денег

Во времена натурального обмена в роли денег выступали совершенно разные объекты

Maxim
Открыть в приложении