Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Без правил»: как спортивная драма о боксе дестигматизирует страх не стать чемпионом «Без правил»: как спортивная драма о боксе дестигматизирует страх не стать чемпионом

«Без правил»: необычная и бессобытийная драма о спорте

Forbes
Симбиоз или паразитирование? Симбиоз или паразитирование?

Какие выгода производителям от продукции под СТМ для ритейла?

Агроинвестор
Режиссер Алексей Мартынов — о смысле существования Мастерской Брусникина Режиссер Алексей Мартынов — о смысле существования Мастерской Брусникина

Режиссер Алексей Мартынов — о необходимости в какой-то момент опираться на себя

РБК
В Индийском океане существует гигантская гравитационная дыра, и мы наконец-то можем узнать ее причину В Индийском океане существует гигантская гравитационная дыра, и мы наконец-то можем узнать ее причину

К образованию этой аномалии привели шлейфы раскаленной магмы

ТехИнсайдер
В режиме «не беспокоить»: что такое синдром цифровой усталости, чем он опасен и как с ним бороться В режиме «не беспокоить»: что такое синдром цифровой усталости, чем он опасен и как с ним бороться

Как зумеры столкнулись с выгоранием от бесконечного скроллинга социальных сетей

Правила жизни
От укачивания в транспорте можно использовать специальные очки! Вот как они работают От укачивания в транспорте можно использовать специальные очки! Вот как они работают

Необычный способ, который спасет ваш будущий отпуск

ТехИнсайдер
Инфляция растет: как защитить свои деньги Инфляция растет: как защитить свои деньги

Как инвесторам защитить свои сбережения, когда инфляция разгоняется?

Forbes
Камеры начнут наказывать водителей за шум. Как будут штрафовать Камеры начнут наказывать водителей за шум. Как будут штрафовать

Штрафы за шумные машины и мотоциклы скоро должны появиться в КоАП

РБК
Необъяснимые загадки молний: почему нельзя звонить в грозу и как электричество срывает с людей одежду Необъяснимые загадки молний: почему нельзя звонить в грозу и как электричество срывает с людей одежду

Молния — физическое явление, способное вытворять очень странные штуки

Maxim
Патчи для глаз: для чего нужны и как правильно пользоваться Патчи для глаз: для чего нужны и как правильно пользоваться

Для чего нужны патчи и зачем в них микроиглы?

РБК
В большинстве российских компаний не видят пользу цифрового рубля для бизнеса В большинстве российских компаний не видят пользу цифрового рубля для бизнеса

Более 65% российских компаний не видят преимущества цифрового рубля для бизнеса

Forbes
Роль цикличности в истории Роль цикличности в истории

Как обвинитель по делу Бейлиса стал обвиняемым

Weekend
Голос лидера: как говорить, чтобы вас слушались Голос лидера: как говорить, чтобы вас слушались

Что определяет лидерский голос и как его развить?

Psychologies
Дикий-дикий Запад: какие сериалы посмотреть, если тебе нравится Дикий-дикий Запад: какие сериалы посмотреть, если тебе нравится

Сериалы, которые зацепят поклонников вестернов

VOICE
К китам и оленям: как в России растет спрос на приключенческий туризм К китам и оленям: как в России растет спрос на приключенческий туризм

Приключенческий туризм, который раньше был незаметен, выходит в массовый сегмент

Forbes
От влюбленности до паники: как и почему выставки влияют на наше психологическое здоровье От влюбленности до паники: как и почему выставки влияют на наше психологическое здоровье

Музеи — важная часть социокультурного пространства

Psychologies
Почему некоторые растения становятся плотоядными: загадочные хищники Почему некоторые растения становятся плотоядными: загадочные хищники

Что сподвигло некоторые виды растений перейти на диету из живых существ?

ТехИнсайдер
Семейные ссоры: как остаться вместе — 4 правила Семейные ссоры: как остаться вместе — 4 правила

Что нужно сказать, когда ситуация во время ссоры становится критической?

Psychologies
Куда двигаться Куда двигаться

Какие именно танцы подойдут тебе?

VOICE
Говорим ли мы прозой? Говорим ли мы прозой?

Зачем нужен словарь для языка, которым мы пользуемся каждый день?

Наука и жизнь
В будущее возьмут всех: 5 причин, почему «Футурама» — великий мультсериал В будущее возьмут всех: 5 причин, почему «Футурама» — великий мультсериал

Что на самом деле сделало комедию про футуристических обывателей бессмертной

Правила жизни
В России впервые показали кроссовер «Москвич 5». Что это за машина В России впервые показали кроссовер «Москвич 5». Что это за машина

«Москвич 5»: JAC Sehol X6 под новым именем

РБК
Как одеться в дождь и отлично выглядеть — 5 идей от героев стритстайла Как одеться в дождь и отлично выглядеть — 5 идей от героев стритстайла

Как в дождливую погоду одеваться без риска промокнуть и без ущерба стилю?

Правила жизни
Что носить в жару: 5 базовых образов для действительно модных девушек Что носить в жару: 5 базовых образов для действительно модных девушек

Пять образов, чтобы ты могла менять их и каждый день выглядеть на все сто!

VOICE
Семеро по банкам. Чем вино в алюминии отличается от бутылочного Семеро по банкам. Чем вино в алюминии отличается от бутылочного

Чем вино в жестяной банке отличается от бутылочного?

СНОБ
От Роналду и Гретцки до Трусовой и Уильямс: спортивные рекорды книги Гиннесса От Роналду и Гретцки до Трусовой и Уильямс: спортивные рекорды книги Гиннесса

Каких спортсменов можно найти на страницах книги рекордов?

Forbes
Женщина, которая поймет Женщина, которая поймет

Анна Михалкова отражает все русское женское в одном лице

Weekend
Все, что нужно знать о мороженом: когда, кому и почему летний десерт опасен Все, что нужно знать о мороженом: когда, кому и почему летний десерт опасен

Кому мороженое противопоказано и как наслаждаться им?

Psychologies
Почему картошка фри в Почему картошка фри в

В картошке фри из "Макдоналдса" есть секретный ингредиент

ТехИнсайдер
Дело тонкое Дело тонкое

Что надо знать российскому бизнесу при выходе на арабский рынок

Деньги
Открыть в приложении