«Василиск Роко» продолжает жить и угрожать всем, кто знает о нем

ТехИнсайдерРепортаж

Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Роман Фишман

2e480543cc74705bb5476bb79245cc00_ce_1807x1203x0x173.jpg
Aberdeen University Library Online Collections

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберетесь до конца текста, пути обратно уже не будет.

Кот и демоны

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

490cf08378624211c3c4a440d001a924.jpg

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Кому следует соблюдать осторожность при употреблении меда Кому следует соблюдать осторожность при употреблении меда

Все знают, что мед нельзя детям до года, а кому еще стоит быть осторожнее?

ТехИнсайдер
Сколько можно зудеть! Сколько можно зудеть!

Почему зимой у некоторых из нас начинает сильно чесаться кожа?

Лиза
«Мои родственники защищали Москву»: Яна Сексте впервые снялась в фильме о войне «Мои родственники защищали Москву»: Яна Сексте впервые снялась в фильме о войне

Яна Сексте — о съемках в военной драме «В списках не значился»

VOICE
Солнышко в руках: лучшие рецепты блинов (и не только) на Масленицу Солнышко в руках: лучшие рецепты блинов (и не только) на Масленицу

Рецепты сладких и соленых, простых и сложных блинов

Правила жизни
Вопрос психологу: что мешает нам экономить и как изменить свое отношение к деньгам Вопрос психологу: что мешает нам экономить и как изменить свое отношение к деньгам

Почему экономия часто кажется наказанием и как можно изменить это восприятие

Правила жизни
Как говорить с партнером о проблемах в отношениях: 4 простых совета Как говорить с партнером о проблемах в отношениях: 4 простых совета

Как понять, какой партнер подходит для отношений, а какой нет?

Psychologies
Как выгодно инвестировать в искусство — рассказывает руководитель аукционного дома ARTinvestment.Ru Егор Молчанов Как выгодно инвестировать в искусство — рассказывает руководитель аукционного дома ARTinvestment.Ru Егор Молчанов

Насколько сейчас выгодно инвестировать в арт-активы?

СНОБ
Команда «Ротор» Команда «Ротор»

Двигатель Ванкеля возвращается на конвейер

Автопилот
Живые мертвецы: может ли человек на самом деле заразиться зомбирующим грибком, как в сериале The Last of Us Живые мертвецы: может ли человек на самом деле заразиться зомбирующим грибком, как в сериале The Last of Us

Может ли паразитический грибок стать угрозой человечеству?

ТехИнсайдер
Обновлённый BMW X5 против обновлённого Mercedes-Benz GLE Обновлённый BMW X5 против обновлённого Mercedes-Benz GLE

Два извечных соперника обновлены для 2024 модельного года

4x4 Club
Мумии возвращаются: кто и как зарабатывает на сокровищах Древнего Египта Мумии возвращаются: кто и как зарабатывает на сокровищах Древнего Египта

Почему мир без устали исследует тайны Египта, а он никак не перестает удивлять

Forbes
«Голову лечи!»: 7 фраз, после которых стоит подумать о разводе «Голову лечи!»: 7 фраз, после которых стоит подумать о разводе

Семьи, в которой риторика перешла уже на такой уровень, больше не существует

Psychologies
Посмотрите на удивительные фотографии золотоискателей США из 19 века! Посмотрите на удивительные фотографии золотоискателей США из 19 века!

Все слышали про знаменитую «золотую лихорадку» в Америке. Вот как она выглядела

ТехИнсайдер
«Со временем карты краснеют»: сейсмолог Рубен Татевосян о последствиях землетрясений «Со временем карты краснеют»: сейсмолог Рубен Татевосян о последствиях землетрясений

Правильная оценка сейсмической опасности может помочь предотвратить разрушения

Forbes
Нам только спросить Нам только спросить

Все отношения разные, но вопросы, которые возникают в них, похожи

VOICE
Говорящие коты и Греция по Фрейду: новинки нон-фикшн о мифологии Говорящие коты и Греция по Фрейду: новинки нон-фикшн о мифологии

Зачем волшебным сказкам говорящие коты и во что Фрейд превратил Эдипа?

ТехИнсайдер
«Пока время не пришло, а потом будет поздно»: 5 мифов о любви — мнение семейного психотерапевта «Пока время не пришло, а потом будет поздно»: 5 мифов о любви — мнение семейного психотерапевта

Что нужно понять о любви, чтобы стать счастливее?

Psychologies
Открыть сердце: как решиться? Открыть сердце: как решиться?

Мы находим тысячу аргументов, чтобы не сокращать дистанцию. Почему?

Psychologies
Это нужно знать всем родителям, чьи дети сидят в соцсетях! Советы по безопасности Это нужно знать всем родителям, чьи дети сидят в соцсетях! Советы по безопасности

Родителям стоит кое-что знать о том, как обезопасить ребенка в соцсетях

ТехИнсайдер
Архитектура Солнечной системы очень редко встречается во Вселенной Архитектура Солнечной системы очень редко встречается во Вселенной

Чаще всего планетные системы состоят из планет примерно одинакового размера

ТехИнсайдер
Что общего у слона и голого землекопа? Долгая жизнь! И вот почему Что общего у слона и голого землекопа? Долгая жизнь! И вот почему

Почему одни виды млекопитающих живут намного дольше других

Вокруг света
Как упростить процесс сепарации для детей: 3 совета родителям Как упростить процесс сепарации для детей: 3 совета родителям

Почему ребенку так важно обрести самость и что для этого могут сделать родители?

Psychologies
«Надейся на все, не ожидай ничего»: рецепт идеальной жизни — 42 совета «Надейся на все, не ожидай ничего»: рецепт идеальной жизни — 42 совета

Делимся простыми и универсальными советами, которые сделают вашу жизнь лучше

Psychologies
В 9 миллиардах световых лет от Земли найдена галактика-каннибал - брат-близнец Млечного Пути В 9 миллиардах световых лет от Земли найдена галактика-каннибал - брат-близнец Млечного Пути

Телескоп Джеймса Уэбба обнаружил близнеца Млечного Пути

ТехИнсайдер
Зельфира Трегулова: «Сегодня музей – последний демократический оплот культуры» Зельфира Трегулова: «Сегодня музей – последний демократический оплот культуры»

Зельфира Трегулова о том, как сделать классический музей доступным каждому

Правила жизни
Впереди «Большая перемена» | Big Break Ahead Впереди «Большая перемена» | Big Break Ahead

Векторы развития нового движения детей и молодежи

Позитивные изменения
«Хроники преисподней» — продолжение детективной серии «Анонимус» «Хроники преисподней» — продолжение детективной серии «Анонимус»

Отрывок из второй части детективного сборника «Анонимус»

СНОБ
Спирс, Джоли, Кен, рысь: на кого хотели быть похожи жертвы пластики Спирс, Джоли, Кен, рысь: на кого хотели быть похожи жертвы пластики

Эти люди спустили целые состояния на пластику

VOICE
Фрида Кало и Диего Ривера: как любовь делает нас красивыми — искреннее письмо Фрида Кало и Диего Ривера: как любовь делает нас красивыми — искреннее письмо

Трогательное письмо Фриды Кало о Диего Ривере

Psychologies
7 книг для семейного чтения 7 книг для семейного чтения

Книги, которые помогут найти общие темы для разговора с ребенком

СНОБ
Открыть в приложении