Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Перевоспитание мужчин и инвестиции: как Австралия стала примером в борьбе с насилием Перевоспитание мужчин и инвестиции: как Австралия стала примером в борьбе с насилием

Как Австралия смогла войти в топ-20 самых безопасных стран мира для женщин?

Forbes
Как установить облачные сервисы Google на Huawei Как установить облачные сервисы Google на Huawei

Как установить на Huawei Таблицы Google, а также Фото, Диск и Документы

CHIP
Почему мозгу нужно ошибаться и можно ли этого избежать Почему мозгу нужно ошибаться и можно ли этого избежать

Почему мы попадаемся в ловушку собственного мышления

Inc.
«Стать жертвой маньяка может каждая»: история похищенной девушки в Челябинской области и комментарий психолога «Стать жертвой маньяка может каждая»: история похищенной девушки в Челябинской области и комментарий психолога

Советы психолога, как обезопасить себя, насколько это возможно, от маньяков

Psychologies
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
«Парадокс о мандарине»: как безнаказанность влияет на наше поведение «Парадокс о мандарине»: как безнаказанность влияет на наше поведение

Действует ли мораль в условиях безнаказанности?

Forbes
О желания до жалости: 5 компонентов любви — мнение философа О желания до жалости: 5 компонентов любви — мнение философа

Из чего состоит чувство любви?

Psychologies
Что такое алкогольная депрессия и как распознать ее признаки Что такое алкогольная депрессия и как распознать ее признаки

Почему после обильного возлияния хочется умереть?

Maxim
Психолог из Гарварда назвала 9 токсичных фраз, которые используют газлайтеры Психолог из Гарварда назвала 9 токсичных фраз, которые используют газлайтеры

Несколько манипулятивных фраз, которые часто используют газлайтеры

Inc.
Одна инъекция антивозрастного протеина улучшает память обезьян Одна инъекция антивозрастного протеина улучшает память обезьян

Инъекция обезьянам белка "фактора долголетия" улучшает их когнитивные функции

ТехИнсайдер
Сила притяжения Сила притяжения

Быть желанной хочет каждая женщина. Но что такое «соблазнительность»?

Лиза
Инженеры научили робота «плавать» в толще песка Инженеры научили робота «плавать» в толще песка

Инженеры разработали робота, способного автономно передвигаться в толще песка

N+1
Вредничает или болеет Вредничает или болеет

Почему животное не слушается, проявляет агрессию или метит территорию?

Лиза
Как вор Стефан Брайтвизер обокрал мировые музеи на $2 млрд и стал любимцем публики Как вор Стефан Брайтвизер обокрал мировые музеи на $2 млрд и стал любимцем публики

Как вор Стефан Братвизер стал героем книги журналиста Майкла Финкеля

Forbes
Канаэ Минато: «Признание». Фрагмент из японского детектива Канаэ Минато: «Признание». Фрагмент из японского детектива

Отрывок из одного из самых знаменитых детективов Японии

СНОБ
Сразу не заметишь Сразу не заметишь

5 неочевидных симптомов, которые указывают на хронический стресс

Лиза
Гражданин хороший Гражданин хороший

Как в Китае контролируют население?

ТехИнсайдер
Как выглядеть на пляже на все 100: советы по уходу за купальником, которые помогут надолго сохранить его внешний вид Как выглядеть на пляже на все 100: советы по уходу за купальником, которые помогут надолго сохранить его внешний вид

Как нужно ухаживать за купальным костюмом, чтобы не покупать новый каждое лето

ТехИнсайдер
«Бросить вызов голливудским ожиданиям»: как Флоренс Пью меняет образ женщины в кино «Бросить вызов голливудским ожиданиям»: как Флоренс Пью меняет образ женщины в кино

Как Флоренс Пью стала новым лицом феминизма в киноиндустрии.

Forbes
Манекен заставили потеть во имя науки Манекен заставили потеть во имя науки

Компания Thermetrics разработала термический манекен ANDI

N+1
Полиглот, революционерка, посол Полиглот, революционерка, посол

Александра Коллонтай — женщина-миф русской революции

Дилетант
Иван Фролухин. Frantsuza Bistrot, С.-Петербург Иван Фролухин. Frantsuza Bistrot, С.-Петербург

Шеф-повар из Duo Band запустил ренессанс французской кухни по всей России

Собака.ru
Всё сложится Всё сложится

Модель Дарья Попова объясняет, как эталонно собирать чемодан

VOICE
Лео Бокерия: «Я обожаю само слово «сердце» Лео Бокерия: «Я обожаю само слово «сердце»

Кардиохирург Лео Бокерия — одна из самых легендарных личностей в нашей медицине

Коллекция. Караван историй
Болотное дело Болотное дело

На Suzuki Jimny туда, где только мокрое место осталось

Автопилот
Как текстильная промышленность влияла на культуру, экономику и политику Как текстильная промышленность влияла на культуру, экономику и политику

О тканях как об одном из главных товаров в истории человечества

СНОБ
Если море зовет Если море зовет

Magellano 60 — самодостаточный кроссовер, способный на долгое плавание

Y Magazine
Интересная история! Как Сальвадор Дали придумал дизайн обертки «Чупа-Чупс» Интересная история! Как Сальвадор Дали придумал дизайн обертки «Чупа-Чупс»

Мало кто знает, что Сальвадор Дали занимался маркетинговым дизайном

ТехИнсайдер
Ляг и лежи Ляг и лежи

5 причин, почему валяться на диване полезно для здоровья

Лиза
Тратьте деньги, чтобы сэкономить время: советы от инвестгуру Навала Равиканта Тратьте деньги, чтобы сэкономить время: советы от инвестгуру Навала Равиканта

Как оценить себя правильно и на что стоит тратить время?

Forbes
Открыть в приложении