«Василиск Роко» продолжает жить и угрожать всем, кто знает о нем

ТехИнсайдерРепортаж

Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Роман Фишман

2e480543cc74705bb5476bb79245cc00_ce_1807x1203x0x173.jpg
Aberdeen University Library Online Collections

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберетесь до конца текста, пути обратно уже не будет.

Кот и демоны

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

490cf08378624211c3c4a440d001a924.jpg

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как нейросети помогают (или мешают) искать работу: мнение экспертов Как нейросети помогают (или мешают) искать работу: мнение экспертов

Какие риски могут возникнуть при собеседовании с ИИ?

ТехИнсайдер
«Спи, учи стихи или умри»: зачем программисту хорошая память и как её улучшить «Спи, учи стихи или умри»: зачем программисту хорошая память и как её улучшить

Для успехов в работе с кодом недостаточно технических знаний и логики

VC.RU
Телефонная пиратка и домохозяйка-разведчица: пять женщин, которые ломали систему Телефонная пиратка и домохозяйка-разведчица: пять женщин, которые ломали систему

Героини, которые давали фору хакерам-мужчинам

Forbes
Хронобиологическая диета: как питаться с учетом биоритмов — 5 главных принципов Хронобиологическая диета: как питаться с учетом биоритмов — 5 главных принципов

Какие принципы питания старшего поколения нам нужно позаимствовать?

Psychologies
10 вещей, которые нужно успеть сделать для пожилых родителей 10 вещей, которые нужно успеть сделать для пожилых родителей

Список бесценных вещей, которые вы можете сделать для ваших родителей

Maxim
Школы в России и за рубежом | Schools in Russia and Abroad Школы в России и за рубежом | Schools in Russia and Abroad

В чем отличие подходов к обучению в российских и зарубежных школах?

Позитивные изменения
«Слепой» маньяк: узнав историю Олега Косарева, ты больше никогда не сядешь в лифт с незнакомцем «Слепой» маньяк: узнав историю Олега Косарева, ты больше никогда не сядешь в лифт с незнакомцем

Уже в заключении Косарев написал исповедь

VOICE
5 веских причин сказать «нет» и 5 шагов, чтобы сделать это корректно 5 веских причин сказать «нет» и 5 шагов, чтобы сделать это корректно

Как вежливо сказать «нет» и почему важно отказывать?

Psychologies
Ну и скандалистка! 5 публичных ссор Насти Ивлеевой со звездами Ну и скандалистка! 5 публичных ссор Насти Ивлеевой со звездами

Блогер Настя Ивлеева за словом в карман не лезет — и вот доказательства

VOICE
Как детище экс-президента США Trump Tower менялось вместе с имиджем Трампа Как детище экс-президента США Trump Tower менялось вместе с имиджем Трампа

Здание Trump Tower всегда было и остается какой-то большой аферой

Forbes
Электротолк Электротолк

Активно разряжаем Skywell ET5

Автопилот
«Давай разведемся»: 5 случаев, когда брак лучше не сохранять «Давай разведемся»: 5 случаев, когда брак лучше не сохранять

Как понять, что вам пора подавать на развод?

Psychologies
Злачное тесто: краткая история хлеба, который всему голова Злачное тесто: краткая история хлеба, который всему голова

Есть один продукт, который не приедается никогда

Вокруг света
Фобии Кидман, Йоханссон и других: туалеты, авокадо и сморщенные пальцы - что пугает голливудских звезд Фобии Кидман, Йоханссон и других: туалеты, авокадо и сморщенные пальцы - что пугает голливудских звезд

У наших кумиров есть очень странные фобии

VOICE
Нашей лепки Нашей лепки

Пельмени – визитная карточка русской кухни

Лиза
Расшифрованы 57 неизвестных писем Марии Стюарт Расшифрованы 57 неизвестных писем Марии Стюарт

Криптоаналитики обнаружили зашифрованные письма Марии Стюарт

ТехИнсайдер
Уйти нельзя остаться. Почему «Говорят женщины» — главный феминистический фильм года? Уйти нельзя остаться. Почему «Говорят женщины» — главный феминистический фильм года?

Фильм «Говорят женщины» — разбираемся в сюжете и особенностях съемки

Правила жизни
Кто такая «кузькина мать» и еще 6 крылатых выражений, историю которых мы безвозвратно забыли Кто такая «кузькина мать» и еще 6 крылатых выражений, историю которых мы безвозвратно забыли

Вспоминаем историю популярных крылатых выражений

Вокруг света
Фейковый взрыв, эпопея с фамилиями и загадочные цифры: секреты 5 легендарных комедий Гайдая Фейковый взрыв, эпопея с фамилиями и загадочные цифры: секреты 5 легендарных комедий Гайдая

Ищем пасхалки в фильмах Гайдая, на которые раньше не обращали внимания

Правила жизни
Папа Карло и его команда Папа Карло и его команда

«Команда генерала»: история «свинцовых 70-х», рассказанная 40 лет спустя

Weekend
Методика Outcome Mapping | Outcome Mapping, or Creating a map of behavioral changes Методика Outcome Mapping | Outcome Mapping, or Creating a map of behavioral changes

Создание карт поведенческих изменений

Позитивные изменения
Светлана Ходченкова Светлана Ходченкова

За девять с половиной секунд из отчаявшейся домохозяйки в БДСМ-госпожу?

Собака.ru
Грани прекрасного Грани прекрасного

Как обновить квартиру с помощью креативной отделки стен

Добрые советы
Какой источник энергии питал первые живые организмы на Земле? Какой источник энергии питал первые живые организмы на Земле?

Какая сила помогала первым живым существам расти и размножаться?

ТехИнсайдер
Как вернуть жизни смысл, если все бессмысленно: 7 советов на каждый день Как вернуть жизни смысл, если все бессмысленно: 7 советов на каждый день

Когда почва уходит из-под ног, мы невольно задаем вопрос: зачем это все?

Psychologies
Лучший секс в жизни: 7 личных историй мужчин и женщин — прочитайте откровенные признания Лучший секс в жизни: 7 личных историй мужчин и женщин — прочитайте откровенные признания

Семь откровенных историй о незабываемых моментах страсти

Psychologies
Ах, какая женщина: как менялся образ Памелы Андерсон Ах, какая женщина: как менялся образ Памелы Андерсон

Памела Андерсон всегда привлекала внимание и умела им распорядиться

Правила жизни
«Голову лечи!»: 7 фраз, после которых стоит подумать о разводе «Голову лечи!»: 7 фраз, после которых стоит подумать о разводе

Семьи, в которой риторика перешла уже на такой уровень, больше не существует

Psychologies
Как океаны избавляются от миллионов тонн пластикового мусора: планета против человека Как океаны избавляются от миллионов тонн пластикового мусора: планета против человека

Что именно происходит с пластиком, когда он попадает в океан?

ТехИнсайдер
Поход за соболем Поход за соболем

По одной из версий, ради соболя наши предки покорили Сибирь

Дилетант
Открыть в приложении