Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

От Цезаря до эльфа Добби: что такое иллеизм и зачем говорить о себе в третьем лице От Цезаря до эльфа Добби: что такое иллеизм и зачем говорить о себе в третьем лице

Почему люди говорят о себе в третьем лице и как это помогает решать конфликты?

Forbes
Не сексом единым: как понять, что у мужчины дефицит тестостерона — 8 симптомов Не сексом единым: как понять, что у мужчины дефицит тестостерона — 8 симптомов

Как повысить уровень мужского «сексуального» гормона?

Psychologies
Михаил Левантовский: «Невидимый Саратов». Дебютный роман Михаил Левантовский: «Невидимый Саратов». Дебютный роман

Остроумный дебютный роман поэта Михаила Левантовского о волшебном превращении

СНОБ
Продлеваем жизнь маникюру: как определить свой тип ногтей и зачем это нужно Продлеваем жизнь маникюру: как определить свой тип ногтей и зачем это нужно

Лак не держится долго? Возможно, дело в ногтях

VOICE
Млечный Путь и Андромеда прямо сейчас мчатся навстречу друг другу — космический апокалипсис или слияние галактик? Млечный Путь и Андромеда прямо сейчас мчатся навстречу друг другу — космический апокалипсис или слияние галактик?

Млечный Путь и Андромеда сейчас стремительно движутся навстречу друг другу

Inc.
Ягоды и грибы: где и как правильно собирать. Советы эксперта Ягоды и грибы: где и как правильно собирать. Советы эксперта

Где и когда искать грибы и ягоды, что взять с собой и как одеться

РБК
Ищите котика Ищите котика

«В поисках снежного барса»: два француза псевдофилософствуют в снегах Тибета

Weekend
После секса: как на самом деле ведут себя мужчины и женщины — объяснение ученых После секса: как на самом деле ведут себя мужчины и женщины — объяснение ученых

Близость после секса необходима для обоих партнеров

Psychologies
Пол гоминин возрастом более двух миллионов лет установили по белкам зубной эмали Пол гоминин возрастом более двух миллионов лет установили по белкам зубной эмали

Ученые выполнили анализ протеомов зубной эмали четырех особей гоминин

N+1
Никакого розового: семь серьезных фильмов о первой любви, снятых женщинами Никакого розового: семь серьезных фильмов о первой любви, снятых женщинами

Мелодрамы, демонстрирующие глубокий взгляд на романтические отношения

Forbes
Палеонтологи описали древнего аллигатора из Таиланда Палеонтологи описали древнего аллигатора из Таиланда

Описан вид аллигаторов, который жил на территории Таиланда 230 тысяч лет назад

N+1
5 популярных физических упражнений, от которых практически нет пользы 5 популярных физических упражнений, от которых практически нет пользы

Эти упражнения — ложные друзья каждого ЗОЖника

Maxim
Танцы лучше всего помогли при послеродовой депрессии Танцы лучше всего помогли при послеродовой депрессии

Аэробные упражнения облегчили симптомы послеродовой депрессии

N+1
Кому и зачем нужна эталонная сигарета и почему можно спокойно удалить шагомер Кому и зачем нужна эталонная сигарета и почему можно спокойно удалить шагомер

Книга Джеймса Винсента расскажет о многих интересных исторических аспектах

Forbes
Парадокс страсти: 15 признаков дисбаланса в отношениях — проверьте свою пару Парадокс страсти: 15 признаков дисбаланса в отношениях — проверьте свою пару

О признаках дисбаланса в отношениях, которые и приводят к парадоксу страсти

Psychologies
«Все заменить невозможно»: дефицит каких ветеринарных препаратов ожидает Россию «Все заменить невозможно»: дефицит каких ветеринарных препаратов ожидает Россию

На рынке препаратов для домашних животных ситуация действительно напряженная

Forbes
Ловушка Джокера: история Арлекина Ненависти от Фингера до Леджера Ловушка Джокера: история Арлекина Ненависти от Фингера до Леджера

Пройдемся по основным вехам жизни Джокера

Правила жизни
Закончилась память на телефоне? Есть способ освободить гигабайты места без удаления файлов! Закончилась память на телефоне? Есть способ освободить гигабайты места без удаления файлов!

Как же очистить место на смартфоне, не потеряв важные данные?

ТехИнсайдер
Beauty-разбор: какими средствами для ухода пользоваться опасно Beauty-разбор: какими средствами для ухода пользоваться опасно

Разнообразие и доступность косметики не всегда работает в нашу пользу

Psychologies
Солнечный друг Солнечный друг

Почему ты плохо загораешь: 5 серьезных ошибок отпускницы

Лиза
Диуретик спиронолактон эффективно полечил акне у женщин Диуретик спиронолактон эффективно полечил акне у женщин

Диуретик спиронолактон эффективно снижает тяжесть акне у женщин

N+1
Вдыхание чистого кислорода ускорило двигательную реакцию здоровых людей Вдыхание чистого кислорода ускорило двигательную реакцию здоровых людей

Вдыхание стопроцентного кислорода улучшает моторное обучение человека

N+1
«Барби» Греты Гервиг: почему кукле в розовом больше нет места в этом мире «Барби» Греты Гервиг: почему кукле в розовом больше нет места в этом мире

Как режиссеру удалось создать настоящий летний блокбастер

Forbes
Кто такой Генри Форд и как ему удалось построить автомобильную империю Кто такой Генри Форд и как ему удалось построить автомобильную империю

Человек, который стал не только символом автомобилизации, но и изменил мир

РБК
В ранней Вселенной наблюдаемое время протекает в 5 раз медленнее В ранней Вселенной наблюдаемое время протекает в 5 раз медленнее

Астрономы впервые наблюдали эффект, предсказанный Эйнштейном более века назад

ТехИнсайдер
Не только секретность: из чего состоит измена — 3 основных компонента Не только секретность: из чего состоит измена — 3 основных компонента

Универсальные маркеры и компоненты, которые, как правило, включает в себя измена

Psychologies
Тайные сигналы: как понять, о чем говорят чувства, — 5 шагов Тайные сигналы: как понять, о чем говорят чувства, — 5 шагов

Можно ли управлять болью, гневом и другими разрушающими чувствами?

Psychologies
Как одеться в дождь и отлично выглядеть — 5 идей от героев стритстайла Как одеться в дождь и отлично выглядеть — 5 идей от героев стритстайла

Как в дождливую погоду одеваться без риска промокнуть и без ущерба стилю?

Правила жизни
Небесное создание Небесное создание

Техники борьбы с аэрофобией — на высоте

VOICE
Судьба нерезидента: главные налоговые и валютные проблемы при работе из-за рубежа Судьба нерезидента: главные налоговые и валютные проблемы при работе из-за рубежа

Какие проблемы могут возникнуть при дистанционной работе за пределами России?

Forbes
Открыть в приложении