Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Год Черной Обезьяны»: семейная сага о первых постсоветских десятилетиях «Год Черной Обезьяны»: семейная сага о первых постсоветских десятилетиях

Отрывок из романа-размышления о том, как прошлое определяет будущее

Forbes
Как предотвратить потерю мышц при похудении Как предотвратить потерю мышц при похудении

Увы, но наш организм не может просто терять жир

ТехИнсайдер
«Звери рейха». Как немецкая пропаганда использовала образы животных «Звери рейха». Как немецкая пропаганда использовала образы животных

Роль животных в повседневной жизни гитлеровской Германии

СНОБ
Как правильно ссориться: 6 универсальных советов — выводы психолога Как правильно ссориться: 6 универсальных советов — выводы психолога

Приемы, которые помогут продвигаться во время споров в правильном направлении

Psychologies
Маме не говори: 12 вещей, которые родителям не нужно знать о твоем мужчине Маме не говори: 12 вещей, которые родителям не нужно знать о твоем мужчине

О чем не стоит рассказывать даже маме?

VOICE
Любовная переписка: зачем нам это — преимущества и недостатки Любовная переписка: зачем нам это — преимущества и недостатки

Выиграли ли мы от технологической революции в столь тонкой сфере, как любовь?

Psychologies
20 самых быстрых внедорожников 2023 года 20 самых быстрых внедорожников 2023 года

2023 год можно смело назвать годом топовых внедорожников

4x4 Club
Директор Музеев Московского Кремля о новом здании, туристах и отношениях с властью Директор Музеев Московского Кремля о новом здании, туристах и отношениях с властью

Почему музейное оборудование невозможно импортозаместить

Forbes
Евгений Шамов Евгений Шамов

Почему все говорят о Евгении Шамове?

Собака.ru
«Любовь слепа»: возможны ли счастливые отношения на основе страсти — разбор с психологами «Любовь слепа»: возможны ли счастливые отношения на основе страсти — разбор с психологами

Экстаз, в который мы впадаем, влюбляясь, ведет к трагической развязке. Или нет?

Psychologies
Beauty-разбор: какими средствами для ухода пользоваться опасно Beauty-разбор: какими средствами для ухода пользоваться опасно

Разнообразие и доступность косметики не всегда работает в нашу пользу

Psychologies
Отдых без сюрпризов Отдых без сюрпризов

5 опасных бактерий, которые могут скрываться в море

Лиза
Один из богатейших людей на планете: как живет и чем владеет Бернар Арно Один из богатейших людей на планете: как живет и чем владеет Бернар Арно

Бернар Арно: как он изменил свою жизнь с концерном LVMH

РБК
Нелюбимые дети и патриархат: как в Ясной Поляне переосмысляют «Анну Каренину» Нелюбимые дети и патриархат: как в Ясной Поляне переосмысляют «Анну Каренину»

Как роман «Анна Каренина» пытаются критически переосмыслить сегодня?

Forbes
Перестаньте выбрасывать фисташковую скорлупу: 5 гениальных идей, как использовать ее в быту Перестаньте выбрасывать фисташковую скорлупу: 5 гениальных идей, как использовать ее в быту

Фисташковая скорлупа может пригодиться вам в доме и на даче!

ТехИнсайдер
Корпорация Барби: как кукла за $3 положила начало многомиллиардной бизнес-империи Корпорация Барби: как кукла за $3 положила начало многомиллиардной бизнес-империи

В 2000-х Барби из куклы превратилась в «источник вдохновения»

Forbes

История бельгийского солдата, которого деньги спасли от смертельного ранения

ТехИнсайдер
Семейные ссоры: как остаться вместе — 4 правила Семейные ссоры: как остаться вместе — 4 правила

Что нужно сказать, когда ситуация во время ссоры становится критической?

Psychologies
Все что нужно знать об искусственном интеллекте! Ликбез и главные факты Все что нужно знать об искусственном интеллекте! Ликбез и главные факты

Главные факты об искусственном интеллекте

ТехИнсайдер
Россияне стали чаще интересоваться мистическими передачами и эзотерическим контентом Россияне стали чаще интересоваться мистическими передачами и эзотерическим контентом

Российские телеканалы фиксируют рост интереса к мистическим передачам

Forbes
5 хитростей, которые сделают перелет с детьми беззаботным — советы стюардессы 5 хитростей, которые сделают перелет с детьми беззаботным — советы стюардессы

Как создать комфортные условия для детей в полете?

VOICE
«Я ничего не успеваю!»: как освоить тайм-менеджмент и перестать опаздывать — советы эксперта «Я ничего не успеваю!»: как освоить тайм-менеджмент и перестать опаздывать — советы эксперта

Рекомендации для тех, кто устал проигрывать в неравных схватках со временем

Psychologies
Стоит ли смотреть триллер «Схватка с дьяволом» с Николасом Кейджем Стоит ли смотреть триллер «Схватка с дьяволом» с Николасом Кейджем

Кейдж из объекта насмешек и тупых мемов превращается в знак качества

Maxim
5 переводных книг из прошлого века, которые добрались до нас только сейчас 5 переводных книг из прошлого века, которые добрались до нас только сейчас

Романы XX века, которые раньше не издавались в России

Правила жизни
Брюсы Брюсы

Эти незаурядные иностранцы оставили заметный след в истории России

Дилетант
Орден бегинок: как в Средневековой Европе появились независимые женские объединения Орден бегинок: как в Средневековой Европе появились независимые женские объединения

Что делать, если родилась в Европе Средних веков, но к замужеству душа не лежит?

Forbes
«История пиратства: от викингов до наших дней»: отрывок из книги Питера Лера «История пиратства: от викингов до наших дней»: отрывок из книги Питера Лера

Почему люди решают стать пиратами или корсарами?

СНОБ
«Главное — профессиональный уровень проекта»: как меняется роль женщины в архитектуре «Главное — профессиональный уровень проекта»: как меняется роль женщины в архитектуре

Женщины до сих пор составляют меньшинство среди архитекторов. Дарья Белякова

Forbes
Вытащить с того света, спасти от чумы и принять роды: к чему должен быть готов экипаж воздушного судна Вытащить с того света, спасти от чумы и принять роды: к чему должен быть готов экипаж воздушного судна

Как и чем могут помочь бортпроводники:

ТехИнсайдер
Перекрестная иммунореактивность помогла при лечении меланомы Перекрестная иммунореактивность помогла при лечении меланомы

Рецептор, узнающий одновременно три разных опухолевых антигена

N+1
Открыть в приложении