Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Горячая линия поддержки для мужчин: что такое мэнкипинг и как он влияет на женщин Горячая линия поддержки для мужчин: что такое мэнкипинг и как он влияет на женщин

Как не потерять себя и отношения из-за мэнкипинга

Forbes
Запоры у взрослых: проблема, о которой не говорят Запоры у взрослых: проблема, о которой не говорят

Запор — это проблема, которая портит качество жизни. Как помочь организму?

Psychologies
Элементарно, Ватсон: как создавался советский фильм «Приключения Шерлока Холмса и доктора Ватсона» Элементарно, Ватсон: как создавался советский фильм «Приключения Шерлока Холмса и доктора Ватсона»

Как создавался цикл фильмов о знаменитом британском сыщике от Масленникова

Правила жизни
Мужчина, который не боится бояться Мужчина, который не боится бояться

Как сериалы создали образ новой маскулинности

Weekend
Укус осы: правила первой помощи и 8 советов, как его избежать Укус осы: правила первой помощи и 8 советов, как его избежать

Большой угрозы укус осы не представляет, но есть исключения

РБК
Коппола: как выходцы из семьи итальянских иммигрантов изменили Голливуд Коппола: как выходцы из семьи итальянских иммигрантов изменили Голливуд

Отрывок из книги «Коппола. Семья, изменившая кинематограф» Айана Натана

Forbes
Смотрите, как я умею! Смотрите, как я умею!

Почему мужчины бросают себе смертельно опасные вызовы

Men Today
Детское время Детское время

Когда игрушки были металлическими и деревянными

Автопилот
Огород на подоконнике за сущие копейки: какие овощи можно вырастить из обрезков прямо у себя дома Огород на подоконнике за сущие копейки: какие овощи можно вырастить из обрезков прямо у себя дома

Какие еще овощные культуры можно вырастить из обрезков

ТехИнсайдер
Закончилась память на телефоне? Есть способ освободить гигабайты места без удаления файлов! Закончилась память на телефоне? Есть способ освободить гигабайты места без удаления файлов!

Как же очистить место на смартфоне, не потеряв важные данные?

ТехИнсайдер
Семейные ссоры: как остаться вместе — 4 правила Семейные ссоры: как остаться вместе — 4 правила

Что нужно сказать, когда ситуация во время ссоры становится критической?

Psychologies
Как заморозить клубнику на зиму: продлеваем вкус лета на весь год Как заморозить клубнику на зиму: продлеваем вкус лета на весь год

Наслаждаться клубникой можно не только в начале лета, главное — заморозить

ТехИнсайдер
Когда не было атомов: что телескоп «Евклид» расскажет о природе Вселенной Когда не было атомов: что телескоп «Евклид» расскажет о природе Вселенной

Телескоп «Евклид»: чем они выделяется среди других огромных телескопов?

Forbes
Разработан более дешевый способ обучения Больших языковых моделей Разработан более дешевый способ обучения Больших языковых моделей

Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдер
Фёдор Палицын: судьба генштабиста Фёдор Палицын: судьба генштабиста

Фёдор Палицын: современниками и потомками недооценён

Дилетант
Все мы театр Все мы театр

Что происходит с театром сегодня? Рассказывают актеры

Men Today
Неочевидное, но вероятное: зачем ехать на выходные в Каргополь Неочевидное, но вероятное: зачем ехать на выходные в Каргополь

Хотите открыть для себя Русский Север — начинайте с Каргополя

Правила жизни
Мот: «В мире нет ничего идеального» Мот: «В мире нет ничего идеального»

Певец Мот — о превратности семейной жизни и большой литературе

VOICE
Грузинские вина: что можно брать Грузинские вина: что можно брать

Какие из грузинских вин стоит брать?

Maxim
Насколько правдоподобен фильм «Интерстеллар» и что такое теория Большого взрыва: 5 книг об устройстве вселенной Насколько правдоподобен фильм «Интерстеллар» и что такое теория Большого взрыва: 5 книг об устройстве вселенной

Книги, которые помогут вам разобраться с научными концепциями

ТехИнсайдер
Чат-бот объяснил, как избежать ошибок при настройке тормозов велосипеда Чат-бот объяснил, как избежать ошибок при настройке тормозов велосипеда

Кто даёт более полезные советы – живой мастер на Youtube или чат-бот You.com?

ТехИнсайдер
Инвестиции в искусственный интеллект: бум или скам Инвестиции в искусственный интеллект: бум или скам

Формируется ли пузырь ИИ?

Forbes
Астрономы используют дипфейки, созданные ИИ, для исследования солнечной атмосферы Астрономы используют дипфейки, созданные ИИ, для исследования солнечной атмосферы

Как созданные ИИ изображения помогают исследовать корональный солнечный дождь

ТехИнсайдер
Какие насекомые могут укусить на природе: симптомы, лечение Какие насекомые могут укусить на природе: симптомы, лечение

Кто кусает и жалит чаще всего и как с этим быть

РБК
Вася Ложкин: зачем рисовать котов и откуда появился псевдоним Вася Ложкин: зачем рисовать котов и откуда появился псевдоним

История одного из самых узнаваемых и скрытных художников современной России

Maxim
Колоссальный кальмар: с чего началась история открытия данного вида? Колоссальный кальмар: с чего началась история открытия данного вида?

В 1925 году Г.К. Робсон описал кальмара под названием Mesonychoteuthis hamilton

ТехИнсайдер
Birkin, корзинки, показы: главные модные моменты Джейн Биркин Birkin, корзинки, показы: главные модные моменты Джейн Биркин

Чем модная индустрия обязана Джейн Биркин?

Правила жизни
Базилик Базилик

Чем полезен базилик? Исследуем суперфуд и пробуем пару рецептов

Здоровье
Какие экстремальные нагрузки может выдержать организм человека Какие экстремальные нагрузки может выдержать организм человека

Как долго можно выдержать без пищи, без воды или на морозе?

Maxim
Навстречу теплым берегам Навстречу теплым берегам

Даже на обычной даче можно создать атмосферу Средиземноморья

Лиза
Открыть в приложении