Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Иногда они возвращаются: зачем сотрудники-бумеранги стремятся на прежнее место работы Иногда они возвращаются: зачем сотрудники-бумеранги стремятся на прежнее место работы

Стоит ли возвращать уволившихся сотрудников, и как это правильно сделать

Forbes
Устал и ухожу: как владельцы и руководители компаний добровольно покидают свои посты Устал и ухожу: как владельцы и руководители компаний добровольно покидают свои посты

С годами отход от дел по болезни стал привычным для бизнеса

Forbes
Незамеченная революция новатора-мученика: что нужно знать про Варлама Шаламова Незамеченная революция новатора-мученика: что нужно знать про Варлама Шаламова

Какую революцию Шаламов совершил в литературе и чем он отличается от Фуко

СНОБ
Вымершие карликовые бегемоты указали на молодость травянистых равнин Мадагаскара Вымершие карликовые бегемоты указали на молодость травянистых равнин Мадагаскара

Ученые выяснили, что вымершие карликовые бегемоты жили в лесах

N+1
Что такое калланетика и помогает ли она похудеть: 9 упражнений Что такое калланетика и помогает ли она похудеть: 9 упражнений

Эффективный комплекс упражнений для укрепления мышц, которые можно делать дома

РБК
Как я нашла и полюбила себя после большого жизненного кризиса: личная история Как я нашла и полюбила себя после большого жизненного кризиса: личная история

Возможно, эта история покажет вам направление, вдохновит на перемены к лучшему

Psychologies
«Папа пробрался в шоу-бизнес лучше мамы»: дочь Глюкозы рассказала, кто помогает ей в карьере «Папа пробрался в шоу-бизнес лучше мамы»: дочь Глюкозы рассказала, кто помогает ей в карьере

16-летняя дочь Глюк’оZы пошла по ее стопам

VOICE
Сезонное предложение Сезонное предложение

Разбираемся, какие сезонные продукты нам помогут отлично выглядеть

Лиза
От Фаулза до Горбуновой: 7 главных книг лета От Фаулза до Горбуновой: 7 главных книг лета

Книги, за чтением которых время пролетит незаметно

РБК
От Месси до Малкома: как испанские налоговые органы преследуют футболистов От Месси до Малкома: как испанские налоговые органы преследуют футболистов

Почему в Испании возбуждают так много дел против топ-игроков?

Forbes
Голос совести: как Шинейд О’Коннор хватило смелости оставаться самой собой Голос совести: как Шинейд О’Коннор хватило смелости оставаться самой собой

Шинейд О’Коннор — одна из самых противоречивых фигур музыкальной индустрии

Forbes
«Главное — не сидеть на месте»: 7 простых способов сделать каждый день лучше «Главное — не сидеть на месте»: 7 простых способов сделать каждый день лучше

Как справиться с апатией и изменить жизнь к лучшему

Psychologies
«Формула-1» бьет рекорды: почему команды серии дорожают на сотни процентов в год «Формула-1» бьет рекорды: почему команды серии дорожают на сотни процентов в год

Оценки стоимости команд «Формулы-1» стремительно растут

Forbes
Русские породы собак, которые ценятся во всем мире Русские породы собак, которые ценятся во всем мире

От среднеазиатской овчарки до русского той-терьера: русские породы собак

Maxim
Тоннельное мышление: почему мы искажаем реальность и как вернуть себе адекватность Тоннельное мышление: почему мы искажаем реальность и как вернуть себе адекватность

Сталкивались ли вы с людьми, которые убеждены, что только их картина мира верна?

Psychologies
Законное оскорбление величия Законное оскорбление величия

История Древнего Рима в зеркале сериальной продукции

Weekend
Характер такой: пятиминутный путеводитель по основным психотипам Характер такой: пятиминутный путеводитель по основным психотипам

Психотипы: основные особенности и моменты, на которые нужно обратить внимание

Правила жизни
ИИ «дурачит» ученых, придумывая данные. Но такие данные могут упростить обучение самого ИИ ИИ «дурачит» ученых, придумывая данные. Но такие данные могут упростить обучение самого ИИ

ИИ расширяет реальность. В буквальном смысле

ТехИнсайдер
Что будет с «автоматом», если придется буксировать автомобиль Что будет с «автоматом», если придется буксировать автомобиль

Почему нельзя буксировать машину с АКП?

Maxim
«Красивый, плохой, злой»: почему женщины влюбляются в маньяков — 2 фильма о психологии поклонниц «Красивый, плохой, злой»: почему женщины влюбляются в маньяков — 2 фильма о психологии поклонниц

Вспоминаем две такие картины о самых жестоких убийцах XX века

Psychologies
10 фильмов, в которых главный герой попадает в чистилище 10 фильмов, в которых главный герой попадает в чистилище

Картины, в которых герои проходят сквозь испытания и страдания за свои грехи

Maxim
Драйвер инноваций: как изменилась интерактивная реклама в интернете Драйвер инноваций: как изменилась интерактивная реклама в интернете

Как меняется интерактивная реклама и создаются технологические тренды?

ТехИнсайдер
Комиссарши в пыльных шлемах Комиссарши в пыльных шлемах

Прекрасные дамы, которые активно участвовали в революции

Дилетант
Орангутаны-мигранты позаимствовали пищевые привычки у местных Орангутаны-мигранты позаимствовали пищевые привычки у местных

У кого именно и как долго орангутаны-мигранты учатся есть новую для них пищу

N+1
Фёдор Палицын: судьба генштабиста Фёдор Палицын: судьба генштабиста

Фёдор Палицын: современниками и потомками недооценён

Дилетант
Тихоокеанский берег Перу зеленеет, но это плохая новость Тихоокеанский берег Перу зеленеет, но это плохая новость

Исследования выявили масштабные изменения растительности в Андах в Перу и Чили

ТехИнсайдер
Россияне стали чаще интересоваться мистическими передачами и эзотерическим контентом Россияне стали чаще интересоваться мистическими передачами и эзотерическим контентом

Российские телеканалы фиксируют рост интереса к мистическим передачам

Forbes
Хейтвотчинг: почему мы смотрим на вещи, которые нас очень раздражают Хейтвотчинг: почему мы смотрим на вещи, которые нас очень раздражают

Почему люди продолжают смотреть и читать то, что им не нравится?

Forbes
«Нет слова, чтобы назвать все, что я чувствовала»: Шэрон Стоун о травме свидетеля «Нет слова, чтобы назвать все, что я чувствовала»: Шэрон Стоун о травме свидетеля

Отрывок из автобиографии Шэрон Стоун «Красота жизни, прожитой дважды»

Forbes
Сериал «Медведь»: почему открытие ресторана — это полное безумие и осмысленный хаос Сериал «Медведь»: почему открытие ресторана — это полное безумие и осмысленный хаос

Сериал «Медведь»: как поддержка и любовь близких могут повлиять на бизнес

Forbes
Открыть в приложении