«Василиск Роко» продолжает жить и угрожать всем, кто знает о нем

TechInsiderРепортаж

Самый опасный мысленный эксперимент в истории: рождение «Василиска Роко»

12 лет назад на одном онлайн-форуме прозвучала идея, выводы из которой показались участникам слишком пугающими. Они попытались уничтожить все следы своих дискуссий, но интернет помнит все, и сегодня «Василиск Роко» продолжает жить и угрожать всем, кто знает о нем.

Роман Фишман

2e480543cc74705bb5476bb79245cc00_ce_1807x1203x0x173.jpg
Aberdeen University Library Online Collections

В этой истории много «если». Если искусственный интеллект когда-нибудь получит неограниченную власть над человечеством. Если он задастся целью судить людей, оставив лишь «правильных» и жестоко наказав всех «неправильных», ненужных для общего блага. Если вы верите, что такое будущее вполне вероятно, — тогда читать дальше не стоит.

Это первое предупреждение: когда вы доберетесь до конца текста, пути обратно уже не будет.

Кот и демоны

Мысленные эксперименты — древний и уважаемый способ познания. Они позволяют обдумать ситуации, которые сложно или или невозможно воплотить на практике, обсудить приложения законов природы в самых неожиданных обстоятельствах. Можно вспомнить кота Шредингера, одновременные жизнь и смерть которого помогают разобрать некоторые парадоксальные аспекты квантовой механики. Или — термодинамических демонов Максвелла, способных отбирать быстро движущиеся частицы, блокируя движение медленных. Впрочем, термодинамические демоны страшны лишь названием и вполне безобидны. Чего нельзя сказать о «василиске», родившемся в 2010 г.

490cf08378624211c3c4a440d001a924.jpg

Все случилось на онлайн-форуме LessWrong, организованном известным философом и экспертом по искусственному интеллекту Элиезером Юдковским. Его участники обсуждали вопросы современного рационализма, выступая в поддержку максимально точной картины мира, рациональной оценки рисков будущего, выбора общих целей и средств к их достижению. В частности, они развивали концепцию «дружественного ИИ», использование которого должно нести благо всему человечеству.

Приход такого всемогущего существа можно назвать технологической сингулярностью с позитивным исходом. И здесь прозвучит еще одно, последнее предупреждение. История недаром отсылает к василиску, мифическому животному, при взгляде в глаза которого человек окаменевает. Само знание об этом мысленном эксперименте — взгляде в будущее человечества и искусственного интеллекта — может когда-нибудь обернуться для вас неисчислимыми страданиями.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

8 продуктов питания для крепкого когнитивного и ментального здоровья 8 продуктов питания для крепкого когнитивного и ментального здоровья

Правильная и здоровая диета обязательно поднимет вам настроение!

TechInsider
Суперпродукт не только для телят Суперпродукт не только для телят

В чем ценность молозива?

Здоровье
Кто был прототипом маньяка из «Техасской резни бензопилой»: история Эда Гейна Кто был прототипом маньяка из «Техасской резни бензопилой»: история Эда Гейна

«Этот парень слегка странный», — так говорили про Эдварда Гейна в городе.

VOICE
Личная история о генетике: отрывок из книги лауреата Пулитцера Личная история о генетике: отрывок из книги лауреата Пулитцера

Отрывок из первой главы книги «Ген. Очень личная история»

СНОБ
Бразилец, покоривший мир: чем хорош орех кешью и кому нужно включить его в рацион Бразилец, покоривший мир: чем хорош орех кешью и кому нужно включить его в рацион

Мы спросили нутрициологов, в чем польза и вред кешью для здоровья человека

Вокруг света
Почему мы продуктивно работаем в кофейнях: 4 совета работникам на удаленке Почему мы продуктивно работаем в кофейнях: 4 совета работникам на удаленке

Неужели наша работа в кофейнях продуктивна только из-за бодрящего кофе?

Psychologies
Любимый яд Агаты Кристи: как убивает стрихнин Любимый яд Агаты Кристи: как убивает стрихнин

Отрывок из книги Нила Брэдбери «Яды: великолепная история человечества»

TechInsider
Секс-монстра наказали: признавшийся в 24 изнасилованиях полицейский получил 36 пожизненных сроков Секс-монстра наказали: признавшийся в 24 изнасилованиях полицейский получил 36 пожизненных сроков

Дэвид Кэррик признан виновным в насилии над женщинами

VOICE
Скульптурный портрет Евгения Богарне. Возвращение из «Небытия» Скульптурный портрет Евгения Богарне. Возвращение из «Небытия»

Мраморный бюст, который поступил в Государственный Русский музей в 1927 году

Наука и жизнь
На месте крушения флагманского корабля «Грипсхунден» нашли импортные пряности На месте крушения флагманского корабля «Грипсхунден» нашли импортные пряности

Ботаники провели исследование остатков, собранных на корабле «Грипсхунден»

N+1
Синяки и потное лицо: тебя удивят странные причины, по которым голливудские актеры получили свои культовые роли Синяки и потное лицо: тебя удивят странные причины, по которым голливудские актеры получили свои культовые роли

Какие актеры самым неожиданным образом обошли конкурентов на кастинге?

VOICE
Какие пары можно назвать счастливыми: интервью психологов — проверьте себя Какие пары можно назвать счастливыми: интервью психологов — проверьте себя

Как живут счастливые партнеры? Что влияет на удовлетворенность отношениями?

Psychologies
Неудобный академик: в театре «Практика» биографию Сахарова превратили в оперу Неудобный академик: в театре «Практика» биографию Сахарова превратили в оперу

Спектакль «Аскет», посвященный академику и правозащитнику Андрею Сахарову

Forbes
Волосы в сливе и носки в каждом углу: что россиян больше всего бесит в партнерах? Волосы в сливе и носки в каждом углу: что россиян больше всего бесит в партнерах?

С какими поступками любимых (не) мирятся многие интернет-пользователи?

Psychologies
Ла‑ла-вуд Ла‑ла-вуд

Как «Вавилон» Дэмиена Шазелла фальсифицирует голливудский миф

Weekend
Исследования показывают, что только половине ваших друзей вы реально нравитесь: это правда? Исследования показывают, что только половине ваших друзей вы реально нравитесь: это правда?

На самом деле вы нравитесь только половине ваших друзей. Неужели это так?

TechInsider
Митико Аояма: «Вы найдете это в библиотеке». Список книг на все случаи жизни Митико Аояма: «Вы найдете это в библиотеке». Список книг на все случаи жизни

Отрывок из японского бестселлера Митико Аояма о силе книг

СНОБ
Любовь зла: как не позволить мошенникам разрушить вашу жизнь Любовь зла: как не позволить мошенникам разрушить вашу жизнь

Как онлайн-мошенники обманывают жертв с помощью приемов пикапа

Forbes
Сопровождение грузов Сопровождение грузов

Как устроена доставка лекарств на основе гигантских неорганических молекул

N+1
Зарплаты, отзывчивость и забастовки: что удивляет нашедших работу за рубежом россиян Зарплаты, отзывчивость и забастовки: что удивляет нашедших работу за рубежом россиян

Несколько рассказов о том, как россияне устраиваются на работу за рубежом

Forbes
Циркачи с Балкан. О новом спектакле Юрия Муравицкого «Черная кошка, белый кот» Циркачи с Балкан. О новом спектакле Юрия Муравицкого «Черная кошка, белый кот»

Сюжет о разлученных влюбленных перенесен с балканских просторов в цирк

СНОБ
История обручального кольца Мэрилин Монро — самого загадочного украшения Голливуда История обручального кольца Мэрилин Монро — самого загадочного украшения Голливуда

Благодаря ей все девушки запомнили, что их лучшие друзья — бриллианты

Правила жизни
Как украсить стену над кроватью. Идеи от дизайнера Как украсить стену над кроватью. Идеи от дизайнера

Как оформить зону у изголовья кровати: комментарии дизайнера

Лиза
Фернандо Алонсо проехал «идеальный круг» на Aston Martin DBX707 (видео) Фернандо Алонсо проехал «идеальный круг» на Aston Martin DBX707 (видео)

Выжимаем максимум из Aston Martin DBX707

4x4 Club
7 остросюжетных сериалов, которые заставят задуматься о справедливости 7 остросюжетных сериалов, которые заставят задуматься о справедливости

Сериалы о том, существует ли карма и воздаяние на этой нелепой планете

Maxim
Флекситарианцы, пандемия и растительные продукты: как забота о здоровье меняет рынок FMCG-ритейла | Flexitarians, pandemic and plant-based products: how healthy lifestyle changes the fmcg retail market Флекситарианцы, пандемия и растительные продукты: как забота о здоровье меняет рынок FMCG-ритейла | Flexitarians, pandemic and plant-based products: how healthy lifestyle changes the fmcg retail market

Все больше людей выбирают питание с преобладанием растительных продуктов

Позитивные изменения
При каких болезнях помогает коньяк? При каких болезнях помогает коньяк?

Коньяк невероятно полезен, нет никаких сомнений

Maxim
Железные аргументы ISUZU D-Max Железные аргументы ISUZU D-Max

ISUZU D-Max — комфортный пикап, рассчитанный на тяжелые грузы

4x4 Club
9 факторов риска заболеваний сердца: проверьте себя 9 факторов риска заболеваний сердца: проверьте себя

Болезни сердца являются ведущей причиной смерти по всему миру

TechInsider
Зеленый атом: как компания из Вашингтона хочет сделать ядерную энергетику доступнее Зеленый атом: как компания из Вашингтона хочет сделать ядерную энергетику доступнее

Брет Кугельмасс намерен построить десять ядерных реакторов в Восточной Европе

Forbes
Открыть в приложении