Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Индивидуалистка из СССР: как Айн Рэнд боролась с коммунизмом и создавала бестселлеры Индивидуалистка из СССР: как Айн Рэнд боролась с коммунизмом и создавала бестселлеры

Как Айн Рэнд, дочь аптекаря из Петербурга, смогла покорить США

Forbes
«Измены мужа — ответственность жены»? 6 причин мужской неверности «Измены мужа — ответственность жены»? 6 причин мужской неверности

Как быть? Давайте для начала разберемся, почему мужчины изменяют

Psychologies
Михаил Левантовский: «Невидимый Саратов». Дебютный роман Михаил Левантовский: «Невидимый Саратов». Дебютный роман

Остроумный дебютный роман поэта Михаила Левантовского о волшебном превращении

СНОБ
Как иранка создала сеть клиник по работе с аутизмом и продала ее за $600 млн Как иранка создала сеть клиник по работе с аутизмом и продала ее за $600 млн

Дорин Гранпишех построила из одного центра целую сеть клиник, изучающих аутизм

Forbes
Цирцея и Фея Моргана: как героини древних мифов вдохновляют современных писательниц Цирцея и Фея Моргана: как героини древних мифов вдохновляют современных писательниц

Шесть современных произведений, которые переосмысляют легендарные сюжеты

Forbes
Образ Марго Робби из вещей российских брендов Образ Марго Робби из вещей российских брендов

Марго Робби перекрашивает мир в розовый цвет

СНОБ
Тест-драйв китаского люкса: танк во фраке Тест-драйв китаского люкса: танк во фраке

Каким получился TANK 500?

ТехИнсайдер
Величать по имени-матчеству: зачем люди меняют отчества на матронимы Величать по имени-матчеству: зачем люди меняют отчества на матронимы

Зачем людям имя-матчество?

Forbes
Страна гор: что посмотреть в Дагестане Страна гор: что посмотреть в Дагестане

Куда ехать и что смотреть в Дагестане

Правила жизни
Я — сноб: музыкант Гарик Сукачев Я — сноб: музыкант Гарик Сукачев

Гарик Сукачев о работе над театральной постановкой и творчестве на даче

СНОБ
Как носить бижутерию, чтобы не выглядеть «дешево»: мнение стилиста Как носить бижутерию, чтобы не выглядеть «дешево»: мнение стилиста

Развенчиваем мифы: не только в ювелирных украшениях можно выглядеть дорого

VOICE
У микобактерии лепры нашли новый антиген в клеточной стенке У микобактерии лепры нашли новый антиген в клеточной стенке

Ученые обнаружили в клеточной стенке микобактерии лепры фенольный гликолипид-II

N+1
Тест-драйв гибрида Chery Tiggo 8 Pro e+ Тест-драйв гибрида Chery Tiggo 8 Pro e+

Chery Tiggo 8 Pro e+ успешно освоил гибридную систему с тремя моторами

СНОБ
Инженеры научили робота «плавать» в толще песка Инженеры научили робота «плавать» в толще песка

Инженеры разработали робота, способного автономно передвигаться в толще песка

N+1
Тихоокеанский берег Перу зеленеет, но это плохая новость Тихоокеанский берег Перу зеленеет, но это плохая новость

Исследования выявили масштабные изменения растительности в Андах в Перу и Чили

ТехИнсайдер
Опоздала на рейс, потеряла чемодан, дали плохой номер: как решить проблемы в отпуске Опоздала на рейс, потеряла чемодан, дали плохой номер: как решить проблемы в отпуске

Предвидим непредвиденные ситуации в отпуске

VOICE
«Бей, беги, замри»: как помочь себе правильно прожить и отпустить стресс «Бей, беги, замри»: как помочь себе правильно прожить и отпустить стресс

Практики, которые помогут с комфортом пройти через сложные моменты

Psychologies
«Главное — не сидеть на месте»: 7 простых способов сделать каждый день лучше «Главное — не сидеть на месте»: 7 простых способов сделать каждый день лучше

Как справиться с апатией и изменить жизнь к лучшему

Psychologies
«Я хотел показать, как общество может довести человека до безумия» «Я хотел показать, как общество может довести человека до безумия»

Стэнли Кубрик о том, как легко сойти с ума

Weekend
«Я бы не решилась на такой проект в Москве»: предприниматели — о работе в регионах «Я бы не решилась на такой проект в Москве»: предприниматели — о работе в регионах

К чему готовиться бизнесу за пределами Москвы?

Forbes
Дети, быт и саморазвитие: для чего на самом деле (не) нужны отношения Дети, быт и саморазвитие: для чего на самом деле (не) нужны отношения

Ответьте прямо сейчас на вопрос: «Для чего мне нужны отношения?»

Psychologies
Самые дорогие трансферные кампании в истории футбола: от «Челси» до «Реала» Самые дорогие трансферные кампании в истории футбола: от «Челси» до «Реала»

Десятка самых больших трат футбольных команд за одно окно

Forbes
«Я построю свой луна-парк»: что смотреть, если вам нравится «Футурама» «Я построю свой луна-парк»: что смотреть, если вам нравится «Футурама»

Мультфильмы, которые придутся по душе фанатам приключений

Правила жизни
Евгений Шамов Евгений Шамов

Почему все говорят о Евгении Шамове?

Собака.ru
«Говорили, что он не мог управлять даже выдачей гамбургеров в забегаловке». Профессор Гарварда рассказал о Роберте Оппенгеймере «Говорили, что он не мог управлять даже выдачей гамбургеров в забегаловке». Профессор Гарварда рассказал о Роберте Оппенгеймере

Историк Стивен Шейпин: вклад Оппенгеймера в создание ядерного оружия преувеличен

Правила жизни
«Всегда лги, что родилась здесь»: как живут китайские эмигранты в Нью-Йорке «Всегда лги, что родилась здесь»: как живут китайские эмигранты в Нью-Йорке

Отрывок из книги «Прекрасная страна. Всегда лги, что родилась здесь»

Forbes
История одной вещи: как растворимый кофе стал главным изобретением мировых войн и решил экономический кризис История одной вещи: как растворимый кофе стал главным изобретением мировых войн и решил экономический кризис

Рассказываем, как появился растворимый кофе и при чем здесь Джордж Вашингтон

Правила жизни
6 правил свидания с собой 6 правил свидания с собой

Как провести свидание с собой так, чтобы восполнить ресурс?

Psychologies
ТОП-10 самых горячих мест на Земле. В этих городах все еще живут люди! ТОП-10 самых горячих мест на Земле. В этих городах все еще живут люди!

Самые жаркие точки планеты: температура там поднимается выше 50°C

ТехИнсайдер
Идеальный партнер: миф или реальность — размышления психоаналитиков Идеальный партнер: миф или реальность — размышления психоаналитиков

Отправляясь на поиски идеала, кого мы хотим встретить? И нужен ли этот идеал?

Psychologies
Открыть в приложении