Отрывок из книги Стюарта Рассела об искусственном интеллекте

N+1Культура

«Совместимость. Как контролировать искусственный интеллект»

Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.

«Проблема царя Мидаса»

 

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Изнасилования и незащищённость: что происходит на пальмовых плантациях, связанных с крупными косметическими брендами Изнасилования и незащищённость: что происходит на пальмовых плантациях, связанных с крупными косметическими брендами

Женщины и подростки подвергаются регулярному насилию на пальмовых плантациях

TJ
Мария Склодовская-Кюри  – супергероиня от науки: в прокат выходит фильм о жизни ученой Мария Склодовская-Кюри  – супергероиня от науки: в прокат выходит фильм о жизни ученой

Фильм о Марии Склодовской-Кюри, которому не удалось выйти за рамки ЖЗЛ

Forbes
24 часа с Тимуром Родригезом 24 часа с Тимуром Родригезом

В конце года каждый день у Тимура расписан по минутам

Cosmopolitan
«Сама виновата». Как оренбургского следователя наказали за неэтичное поведение с жертвой насилия «Сама виновата». Как оренбургского следователя наказали за неэтичное поведение с жертвой насилия

Почему мы так критично реагируем на случаи насилия?

СНОБ
Отрывок из книги Светланы Алексиевич «Время секонд хэнд» Отрывок из книги Светланы Алексиевич «Время секонд хэнд»

Отрывок из книги «Время секонд хэнд» — о страдании и мужественности

TJ
Одежда из 90-х которая была модной, потом стала стыдной, а теперь опять стала модной Одежда из 90-х которая была модной, потом стала стыдной, а теперь опять стала модной

Что бы там ни говорили о том, что 90-е прошли.

Maxim
Что делает город городом? Фрагмент новой книги директора лондонского Музея дизайна и историка архитектуры Деяна Суджича Что делает город городом? Фрагмент новой книги директора лондонского Музея дизайна и историка архитектуры Деяна Суджича

В книге «Язык городов» Деян Суджич обращается к фундаментальному понятию города

Esquire
Стесняюсь спросить: что такое пищевая непереносимость и так ли она страшна? Стесняюсь спросить: что такое пищевая непереносимость и так ли она страшна?

Как выстраивать рацион при пищевой непереносимости?

Esquire
Да ты «Псих»: каким получился первый сериал Федора Бондарчука Да ты «Псих»: каким получился первый сериал Федора Бондарчука

Какой жизнь предстает в сериале «Псих» от Федора Бондарчука

РБК
А не мудак ли я? Мужчина отвечает на претензии XXI века к мужчинам А не мудак ли я? Мужчина отвечает на претензии XXI века к мужчинам

Кто он такой вообще — этот мудак — и как принять, что мудаком можете быть и вы

Esquire
Тягач и полицейская BMW. Какие автомобили любил Диего Марадона Тягач и полицейская BMW. Какие автомобили любил Диего Марадона

Porsche, огромный тягач и другие автомобили в жизни Диего Марадоны

РБК
Путешествие на Ямал: почувствуй гармонию Арктики Путешествие на Ямал: почувствуй гармонию Арктики

Ямал: место, где можно увидеть Северное сияние, пожить в чуме, увидеть ледники

National Geographic
Глаза Эйнштена и другие легендарные части тела великих людей Глаза Эйнштена и другие легендарные части тела великих людей

Они жили полной жизнью, даже когда оказывались вдали от своих владельцев!

Maxim
Одна вокруг света. Сколько стоит переправиться через океан Одна вокруг света. Сколько стоит переправиться через океан

97-я серия о кругосветном путешествии москвички Ирины Сидоренко

Forbes
Почему ребенок плачет Почему ребенок плачет

Плач новорожденного - это надежный сигнал любого неблагополучия

9 месяцев
Индивидуально подобранная стимуляция помогла улучшить речь после инсульта Индивидуально подобранная стимуляция помогла улучшить речь после инсульта

Ученые опробовали транскраниальную микрополяризацию на пациентах с афазией

N+1
Звезды, потерявшие детей: Ирина Безрукова, Джон Траволта и другие Звезды, потерявшие детей: Ирина Безрукова, Джон Траволта и другие

10 трагических историй о звездах, которые пережили своих детей

Cosmopolitan
Именной фонд Именной фонд

Как Таруса запустила по России вторую волну переименований улиц и площадей

Огонёк
Как сложились судьбы главных манекенщиц СССР: нищета, суицид и одиночество Как сложились судьбы главных манекенщиц СССР: нищета, суицид и одиночество

Как сложилась судьба первых моделей СССР — от Збарской до Мироновой

Cosmopolitan
Секонд-хенд от дизайнера Секонд-хенд от дизайнера

Магазин RigRaise — первая в России попытка дать шанс старым вещам

Эксперт
История ярмарок в России История ярмарок в России

Как менялись развлечения — от забав скоморохов с медведями до концертов Шаляпина

Культура.РФ
Путь нутрициолога или как питание может изменить жизнь Путь нутрициолога или как питание может изменить жизнь

Расспрашиваем Нату Гончар о нюансах профессии нутрициолога и правильном питании

Cosmopolitan
Русские сезоны. Часть 2 Русские сезоны. Часть 2

Как покоряли мир отечественные танцовщики, художники и музыканты

Культура.РФ
Общество нетрезвости. В прокате Общество нетрезвости. В прокате

После нового фильма Томаса Винтерберга выпить хочется ой как сильно

Esquire
«Милые люди Олимпиад не выигрывают» «Милые люди Олимпиад не выигрывают»

Фехтование как материал для блокбастера

Огонёк
Электроды на лице и шее позволили нейросети озвучить беззвучную речь Электроды на лице и шее позволили нейросети озвучить беззвучную речь

Алгоритм научили считывать сокращения мышц во время беззвучной речи

N+1
Дети трех войн Дети трех войн

Как испанским детям сломала жизнь секретная операция ЦРУ

Огонёк
Обонятельное прошлое Обонятельное прошлое

Запахи древней Европы как часть культурного наследия

Огонёк
Расхитители подлинности Расхитители подлинности

До комплекса Охтинских пороховых заводов добрались частные инвесторы

Огонёк
Невозобновляемое терпение Невозобновляемое терпение

Правительство и эксперты ищут менее затратную модель развития ВИЭ в России

Эксперт
Открыть в приложении