«Василиск Роко» продолжает жить и угрожать всем, кто знает о нем

ТехИнсайдерРепортаж

Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Роман Фишман

2e480543cc74705bb5476bb79245cc00_ce_1807x1203x0x173.jpg
Aberdeen University Library Online Collections

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберетесь до конца текста, пути обратно уже не будет.

Кот и демоны

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

490cf08378624211c3c4a440d001a924.jpg

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как нас обманывает Disney: чем на самом деле заканчиваются популярные детские сказки Как нас обманывает Disney: чем на самом деле заканчиваются популярные детские сказки

Почти у каждой сказки, которую вы читали в детстве, есть версия 18+...

ТехИнсайдер
Малоизвестные сериалы, которые не сдуваются до последнего сезона Малоизвестные сериалы, которые не сдуваются до последнего сезона

Лучшие сериалы на тот случай, если у тебя появилось много свободного времени

Maxim
Как Пеппи Длинныйчулок стала символом свободы и изменила жизни миллионов девочек Как Пеппи Длинныйчулок стала символом свободы и изменила жизни миллионов девочек

Как Астрид Линдгрен стала борцом за права детей и причем тут Пеппи Длинныйчулок?

Forbes
Внутри человека: семь лучших фильмов и сериалов о психологии Внутри человека: семь лучших фильмов и сериалов о психологии

В подборке семь стоящих сериалов и фильмов о психологии и психологах

Forbes
Как кофеин влияет на мозг и тело: неожиданные факты Как кофеин влияет на мозг и тело: неожиданные факты

Исследования выявили ряд интересных фактов, связанных с кофеином

Psychologies
С паяльником и напильником: как беларусы сами себе компьютеры собирали С паяльником и напильником: как беларусы сами себе компьютеры собирали

Энтузиасты, которые самостоятельно паяли компьютеры во времена позднего СССР

VC.RU
Что такое грог и как его сделать в домашних условиях Что такое грог и как его сделать в домашних условиях

Для тебя грог звучит романтически, а для моряков XVIII века он стал трагедией!

Maxim
Кто стоит за образами Наташи Ростовой, Печорина и Пиковой дамы? Кто стоит за образами Наташи Ростовой, Печорина и Пиковой дамы?

Реальные прототипы героев классики? Исследователи уже давно всех «вычислили»

Караван историй
Ах, какая женщина: как менялся образ Памелы Андерсон Ах, какая женщина: как менялся образ Памелы Андерсон

Памела Андерсон всегда привлекала внимание и умела им распорядиться

Правила жизни
Подорожало все. Как за год изменилась стоимость владения автомобилем Подорожало все. Как за год изменилась стоимость владения автомобилем

Что еще изменилось с февраля для водителей при обслуживании машин

РБК
Человек с купюры Человек с купюры

История человека, памятник которому украшает купюру в 5000 рублей

Дилетант
Соломон Перель — еврей, представившийся немцем, чтобы не умереть. Потом он был на допросе сына Сталина Соломон Перель — еврей, представившийся немцем, чтобы не умереть. Потом он был на допросе сына Сталина

История Соломона Переля: цель оправдывает средства — или нет?

ТехИнсайдер
Ждем потепление Ждем потепление

Как быстро восстановить кожу

Собака.ru
«Слишком быстро кончил»: почему так бывает и как изменить сценарий секса «Слишком быстро кончил»: почему так бывает и как изменить сценарий секса

Что можно сделать, чтобы продлить удовольствие — себе и партнерше?

Psychologies
Расшифрованы 57 неизвестных писем Марии Стюарт Расшифрованы 57 неизвестных писем Марии Стюарт

Криптоаналитики обнаружили зашифрованные письма Марии Стюарт

ТехИнсайдер
«Налог на яйца»: как в СССР пытались поднять рождаемость и что из этого вышло «Налог на яйца»: как в СССР пытались поднять рождаемость и что из этого вышло

В СССР существовал налог на бездетность

VOICE
Игра вдолгую | The Long Game Игра вдолгую | The Long Game

Точки роста и перспективы Social Impact Bonds в России

Позитивные изменения
Секс-монстра наказали: признавшийся в 24 изнасилованиях полицейский получил 36 пожизненных сроков Секс-монстра наказали: признавшийся в 24 изнасилованиях полицейский получил 36 пожизненных сроков

Дэвид Кэррик признан виновным в насилии над женщинами

VOICE
Оперная ария может сделать нас свободными: как связаны политика и эмоции Оперная ария может сделать нас свободными: как связаны политика и эмоции

Отрывок из книги Марты Нуссбаум «Политические эмоции»

Forbes
Как устроен новейший спиральный ветрогенератор: быстрее, проще, дешевле Как устроен новейший спиральный ветрогенератор: быстрее, проще, дешевле

Компания Keystone Tower Systems может снизить стоимость ветрогенераторов

ТехИнсайдер
8 школьных знаний, которые не пригождаются никогда в жизни 8 школьных знаний, которые не пригождаются никогда в жизни

Признайся, хоть раз тебе спасло жизнь умение отличить ямб от хорея?

Maxim
Команда «Ротор» Команда «Ротор»

Двигатель Ванкеля возвращается на конвейер

Автопилот
«У Ярослава просмотров за 2 часа столько, сколько у Екатерины за неделю»: юрист из Москвы провела эксперимент и заменила в резюме пол на мужской «У Ярослава просмотров за 2 часа столько, сколько у Екатерины за неделю»: юрист из Москвы провела эксперимент и заменила в резюме пол на мужской

Женщин-кандидаток на руководящие должности отсеивают уже на этапе резюме

Правила жизни
Такие осетинские пироги Такие осетинские пироги

Как готовят настоящий осетинский пирог?

СНОБ
Автор детективов и фэнтези Майк Омер отвечает на 10 вопросов Автор детективов и фэнтези Майк Омер отвечает на 10 вопросов

Майк Омер раскрывает формулу ироничного детектива

Правила жизни
После реставрационных работ Willys Jeep покрылся ржавчиной После реставрационных работ Willys Jeep покрылся ржавчиной

Старый ржавый Willys Jeep 1963 года

4x4 Club
«Русский Мисопогон» «Русский Мисопогон»

Петр I, брадобритие и десять миллионов «московитов»

N+1
Уйти нельзя остаться. Почему «Говорят женщины» — главный феминистический фильм года? Уйти нельзя остаться. Почему «Говорят женщины» — главный феминистический фильм года?

Фильм «Говорят женщины» — разбираемся в сюжете и особенностях съемки

Правила жизни
Как вернуть жизни смысл, если все бессмысленно: 7 советов на каждый день Как вернуть жизни смысл, если все бессмысленно: 7 советов на каждый день

Когда почва уходит из-под ног, мы невольно задаем вопрос: зачем это все?

Psychologies
Зарплаты, отзывчивость и забастовки: что удивляет нашедших работу за рубежом россиян Зарплаты, отзывчивость и забастовки: что удивляет нашедших работу за рубежом россиян

Несколько рассказов о том, как россияне устраиваются на работу за рубежом

Forbes
Открыть в приложении