Почему брови помогают искусственному интеллекту нас обманывать

ForbesКультура

Когнитивный хакинг: как искусственный интеллект нас обманывает и почему мы ему верим

Фото Nahel Abdul Hadi / Unsplash

Искусственный интеллект уже научился давать ответы на важные для человека вопросы, и иногда эти ответы даже можно с пользой применять. Однако проблема в том, что понять, как именно эти ответы появились, зачастую не могут даже разработчики этой системы, имеющие доступ к коду. При этом роботы умеют взламывать наше доверие и иногда «галлюцинируют», то есть говорят неправду. Forbes публикует отрывок из книги самого известного в мире эксперта по кибербезопасности Брюса Шнайера «Взломать все» о том, как это происходит и почему брови помогают искусственному интеллекту нас обманывать.

Слово «хак» в известном нам сейчас значении появилось в 1950-х в Массачусетском технологическом институте и изначально означало просто некий изобретательный способ решать проблемы, и только со временем «хак» и «хакер» обрели оттенок противозаконной антиобщественной деятельности. В 1980-х «хакингом» стали называть почти исключительно взлом систем компьютерной безопасности с той или иной криминальной целью.

Легендарный эксперт по кибербезопасности, криптограф, гарвардский профессор и автор бестселлеров Брюс Шнайер считает, что хакерские приемы окружают нас повсюду, и чтобы вовремя распознавать попытки «взломать» наш банковский счет, наш компьютер, наш мозг или наши гражданские права, нужно в свою очередь обладать хакерским мышлением. По его мнению, хаки бывают моральными и аморальными, причем эти понятия не тождественны «законные и незаконные». Не противоречащие закону взломы могут быть совершенно безнравственными, и наоборот — «существуют аморальные законы».

В своей новой книге Шнайер описывает хаки, большинство из которых технически законны, но противоречат интересам общества. При этом он уверен, что такими хаками особенно успешно занимаются богатые и влиятельные люди, в частности, правительства стран и главы крупных компаний. А от компьютерного хакинга до хакинга экономических, политических и социальных систем, по его мнению, всего один шаг. В своей новой книге он среди прочего рассказывает, что дети — прирожденные хакеры и без труда находят изъяны в разнообразных системах родительского и учительского контроля, объясняет, как беглые олигархи покупают недвижимость для взлома правовых систем и как противостоять «хакингу» со стороны пикаперов.

Книга «Взломать все. Как сильные мира сего используют уязвимости систем в своих интересах» выходит в русском переводе в июле в издательстве «Альпина Паблишер». Forbes публикует отрывок.

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной — Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, Вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает, что ответ на главный вопрос бытия — «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются черными ящиками: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 году система искусственного интеллекта AlphaGo выиграла матч из пяти партий у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее — он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два». У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 году исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Спокоен как самурай: как японская философия помогает выжить в трудные времена Спокоен как самурай: как японская философия помогает выжить в трудные времена

Что помогает японцам принимать неопределенность?

Forbes
От подозрения на рак до ремиссии: как работают онкопсихологи — экспертный разбор От подозрения на рак до ремиссии: как работают онкопсихологи — экспертный разбор

В чем заключается работа онкопсихологов? Кому и как они помогают?

Psychologies
Неудачник, который победил: как Вертинский преодолел поэзию, эпоху и свою судьбу Неудачник, который победил: как Вертинский преодолел поэзию, эпоху и свою судьбу

Как Вертинский прожил несколько жизней и предвосхитил куртуазных маньеристов

СНОБ
Отрывок из второго сезона аудиосериала Дарьи Бобылевой «Магазин работает до наступления тьмы» Отрывок из второго сезона аудиосериала Дарьи Бобылевой «Магазин работает до наступления тьмы»

Отрывок из мистического книжного сериала писательницы Дарьи Бобылевой

СНОБ
Недобрососедские отношения: как зумеры обесценили мечту миллениалов и что из этого получилось Недобрососедские отношения: как зумеры обесценили мечту миллениалов и что из этого получилось

Почему зумерам и миллениалами так сложно взаимодействовать друг с другом?

Правила жизни
Митя Фомин: «Мечтаю полететь в космос!» Митя Фомин: «Мечтаю полететь в космос!»

«Все имеет свою цену. У успеха и признания, безусловно, есть обратная сторона»

Караван историй
Сливки европейского edtech: как меняется европейский рынок образовательных технологий Сливки европейского edtech: как меняется европейский рынок образовательных технологий

Как меняется фокус образовательных технологий

Inc.
Почему Великобритания вступила в Первую мировую войну Почему Великобритания вступила в Первую мировую войну

Отрывок из книги «Уинстон Черчилль: его эпоха, его преступления»

СНОБ
10 цитат Александра Лурии, которые помогут понять, что происходит в вашей голове 10 цитат Александра Лурии, которые помогут понять, что происходит в вашей голове

Как взаимосвязаны мозговые механизмы и психические процессы: цитаты психолога

Psychologies
Стрессовое ожирение Стрессовое ожирение

Почему возникает стрессовое ожирение и что делать

Лиза
10 неожиданных фактов о главном герое каждого лета – арбузе 10 неожиданных фактов о главном герое каждого лета – арбузе

Арбуз — ягода, фрукт или овощ?

ТехИнсайдер
ТОП-10 самых горячих мест на Земле. В этих городах все еще живут люди! ТОП-10 самых горячих мест на Земле. В этих городах все еще живут люди!

Самые жаркие точки планеты: температура там поднимается выше 50°C

ТехИнсайдер
Морозная свежесть антоновки: подробный гид по российскому сидру Морозная свежесть антоновки: подробный гид по российскому сидру

Из каких яблок делают сидры в России, зачем их пить из винных бокалов?

СНОБ
Новый добрый стриптиз Новый добрый стриптиз

«Мужской стриптиз»: те же 25 лет спустя

Weekend
Развод и тапочки по почте Развод и тапочки по почте

Как правильно и без ссор разделить имущество после распада семьи

Лиза
Наследие пришельцев: почему испортился имидж продуктов с ГМО Наследие пришельцев: почему испортился имидж продуктов с ГМО

Отрывок из книги «Как ГМО спасают планету и почему люди этому мешают»

Forbes
Картинки с отягчающими обстоятельствами Картинки с отягчающими обстоятельствами

Как карикатуры нарушали границы допустимого и к каким последствиям это приводило

Weekend
«Мною сильно манипулировали»: Кристина Асмус объяснила, почему не уходила от избивавшего ее мужчины «Мною сильно манипулировали»: Кристина Асмус объяснила, почему не уходила от избивавшего ее мужчины

Актрису возмутили предположения о том, что она сама виновата в домашнем насилии

VOICE
Идеальный рацион: 3 заповеди здорового питания — советы диетолога Идеальный рацион: 3 заповеди здорового питания — советы диетолога

Как превратить диету в здоровый и полезный рацион? Рассказывает диетолог

Psychologies
«Мы с уверенностью смотрим в завтрашний день» «Мы с уверенностью смотрим в завтрашний день»

Глава «АгроГарда» Павел Царев — о желании расширить земельный банк

Агроинвестор
Тибетские выдры пристрастились к выпускаемой буддистами рыбе Тибетские выдры пристрастились к выпускаемой буддистами рыбе

Тибетские выдры явно предпочитают охотиться на чужеродные виды рыб

N+1
Орангутаны-мигранты позаимствовали пищевые привычки у местных Орангутаны-мигранты позаимствовали пищевые привычки у местных

У кого именно и как долго орангутаны-мигранты учатся есть новую для них пищу

N+1
Без денег не останетесь: куда прятать наличные на пляже Без денег не останетесь: куда прятать наличные на пляже

Самые надежные места, куда можно спрятать деньги во время отдыха на море

ТехИнсайдер
60-тысячелетний зуб с острова Ява приписали сапиенсу 60-тысячелетний зуб с острова Ява приписали сапиенсу

Палеоантропологи исследовали два молочных зуба, найденные в индонезийской пещере

N+1
Как в Фонде борьбы с лейкемией помогают подопечным перезапустить карьеру Как в Фонде борьбы с лейкемией помогают подопечным перезапустить карьеру

Как проект «Самое время жить. Карьера» помогает людям вернуться на рынок труда

Forbes
У аристократов тоже есть проблемы! Узнайте, как эта женщина скрывала свой недостаток У аристократов тоже есть проблемы! Узнайте, как эта женщина скрывала свой недостаток

Французская аристократка XVII страдала от проблем с зубами

ТехИнсайдер
Шпион, пытающийся выйти вон Шпион, пытающийся выйти вон

Как «Заключенный» Патрика Макгуэна говорит о возможности и невозможности свободы

Weekend
Жизнь продолжается Жизнь продолжается

Ладно скроенная Lada

Автопилот
Жизнь дала им второй шанс: реальные истории людей, которые чудом выжили в невероятных обстоятельствах Жизнь дала им второй шанс: реальные истории людей, которые чудом выжили в невероятных обстоятельствах

Случаи этих людей — настоящее чудо

ТехИнсайдер
Самые дорогие трансферные кампании в истории футбола: от «Челси» до «Реала» Самые дорогие трансферные кампании в истории футбола: от «Челси» до «Реала»

Десятка самых больших трат футбольных команд за одно окно

Forbes
Открыть в приложении