«Василиск Роко» продолжает жить и угрожать всем, кто знает о нем

ТехИнсайдерРепортаж

Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Роман Фишман

2e480543cc74705bb5476bb79245cc00_ce_1807x1203x0x173.jpg
Aberdeen University Library Online Collections

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберетесь до конца текста, пути обратно уже не будет.

Кот и демоны

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

490cf08378624211c3c4a440d001a924.jpg

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Перепрошивка памяти: новая модель памяти, которая работает как мозг Перепрошивка памяти: новая модель памяти, которая работает как мозг

Ученые создали модель памяти, устойчивую к шуму и забыванию

ТехИнсайдер
«Отряд отморозков» «Отряд отморозков»

Миссия «Алсос», или Кто помешал нацистам создать атомную бомбу

N+1
Остались с «носом»: восемь женщин-парфюмеров, создававших культовые ароматы Остались с «носом»: восемь женщин-парфюмеров, создававших культовые ароматы

Как женщины создавали духи-бестселлеры и нишевые ароматы и запускали бренды

Forbes
Жизнь других Жизнь других

Жизнь проходит мимо вас, пока другие берут от нее всё? Скорее всего, у вас FOMO

Men Today
Утерянный 5000 лет назад: ученые воскресили древнейший в мире синтетический краситель. Зачем он нужен? Утерянный 5000 лет назад: ученые воскресили древнейший в мире синтетический краситель. Зачем он нужен?

Откуда взялся яркий, насыщенный синий цвет в Древнем Египте

Inc.
Как по звуку определить, что сломалось в автомобиле Как по звуку определить, что сломалось в автомобиле

Пройдемся по звукам, с помощью которых техника жалуется на недомогания

Maxim
«Критикует и высмеивает»: на какие манипуляции идет абьюзер, чтобы подчинить женщину «Критикует и высмеивает»: на какие манипуляции идет абьюзер, чтобы подчинить женщину

«Вторая жена» Луизы Мэй: на какие манипуляции идет абьюзер, чтобы подчинять себе

Forbes
Инвестиции периода изоляции Инвестиции периода изоляции

Спрос на иностранные активы ищет входа

Деньги
7 привычек, по которым в Турции безошибочно узнают туриста из России 7 привычек, по которым в Турции безошибочно узнают туриста из России

Чем русские туристы кардинально отличаются от местных жителей Турции?

Вокруг света
Из семьи крестьян на мировую сцену: 150 лет назад родился певец Федор Шаляпин Из семьи крестьян на мировую сцену: 150 лет назад родился певец Федор Шаляпин

Почему Федор Шаляпин не смог вернуться в страну после зарубежного тура

СНОБ
От неудачных переговоров до гибели «Варяга» и «Петропавловска»: как началась война, которую в России никто не понимал От неудачных переговоров до гибели «Варяга» и «Петропавловска»: как началась война, которую в России никто не понимал

Война, которая не принесла России ни одной победы и породила революцию 1905 года

Вокруг света
Зачем новому Lexus LX 600 комплектация F Sport? Зачем новому Lexus LX 600 комплектация F Sport?

LX – премиальный внедорожник, который вполне осознанно можно испачкать в грязи

4x4 Club
Отрывок из книжного сериала Ислама Ханипаева «Луна 84» Отрывок из книжного сериала Ислама Ханипаева «Луна 84»

На сервисе «Букмейт» вышли два первых эпизода книжного сериала «Луна 84»

СНОБ
Кризис среднего возраста у мужчин: как пережить без потерь и вырасти как личность Кризис среднего возраста у мужчин: как пережить без потерь и вырасти как личность

В чем особенность кризиса среднего возраста у мужчин? Как преодолеть его?

Psychologies
Ода тягости Ода тягости

«Больше чем никогда»: зачем нужны слезоточивые фильмы об умирающих

Weekend
Гипноз во сне с точки зрения науки: эффективная терапия или очередная Гипноз во сне с точки зрения науки: эффективная терапия или очередная

Разбираемся в гипнотическом сне: что это, эффективная терапия или шарлатанство?

ТехИнсайдер
Дагестанский феномен: как Хасбик за три года заработал больше $2 млн Дагестанский феномен: как Хасбик за три года заработал больше $2 млн

Как Хасбулла Магомедов смог заработать минимум $2,2 млн за три года?

Forbes
Риск ради успеха: почему не нужно бояться ошибок, чтобы достичь результатов Риск ради успеха: почему не нужно бояться ошибок, чтобы достичь результатов

Отрывок из книги «Открытый интеллект»

Forbes
Почему Земля не круглая и существует ли во Вселенной идеальный шар? Почему Земля не круглая и существует ли во Вселенной идеальный шар?

От нейтронных звезд до шара сверхчистого кремния — самые идеальные сферы в мире

ТехИнсайдер
Менструальный цикл: как гормоны влияют на женщин — 6 аспектов Менструальный цикл: как гормоны влияют на женщин — 6 аспектов

Как менструальный цикл влияет на женский организм

Psychologies
Митико Аояма: «Вы найдете это в библиотеке». Список книг на все случаи жизни Митико Аояма: «Вы найдете это в библиотеке». Список книг на все случаи жизни

Отрывок из японского бестселлера Митико Аояма о силе книг

СНОБ
Можно ли учиться во сне? Можно ли учиться во сне?

А нельзя ли совместить сон с каким-нибудь занятием? Например, с учебой?

Наука и жизнь
5 веских причин сказать «нет» и 5 шагов, чтобы сделать это корректно 5 веских причин сказать «нет» и 5 шагов, чтобы сделать это корректно

Как вежливо сказать «нет» и почему важно отказывать?

Psychologies
Волшебник и малышка: как люди выгорают из-за несоответствия своих субличностей Волшебник и малышка: как люди выгорают из-за несоответствия своих субличностей

Отрывок из книги Леонида Кроля «Жизнь без выгорания»

Forbes
Богач, бедняк. 110 лет назад родился американский писатель Ирвин Шоу Богач, бедняк. 110 лет назад родился американский писатель Ирвин Шоу

Почему Ирвина Шоу называли «халтурщиком»?

СНОБ
Почему спать днем полезно: 2 главные причины — узнайте, как делать это правильно Почему спать днем полезно: 2 главные причины — узнайте, как делать это правильно

Зачем спать днем?

Psychologies
Подобрать образ для метавселенной: как индустрия моды примеряет на себя мир NFT Подобрать образ для метавселенной: как индустрия моды примеряет на себя мир NFT

Какие проекты, связанные с NFT, запускаются в индустрии моды

Forbes
Спасительница Линкольна: как Кейт Уорн стала первой женщиной-детективом в США Спасительница Линкольна: как Кейт Уорн стала первой женщиной-детективом в США

Кейт Уорн — женская версия Шерлока Холмса, существовавшая на самом деле

Forbes
Где в лесу «конский хвост»? Где в лесу «конский хвост»?

У того, кто впервые видит хвощ, возникает некоторое недоумение

Наука и жизнь
Что хочу, то и ем? Неожиданная правда об интуитивном питании Что хочу, то и ем? Неожиданная правда об интуитивном питании

Интуитивное питание направлено на то, чтобы разорвать цикл диеты

Лиза
Открыть в приложении