Бунтующие нейросети нас не убьют
Чем на самом деле грозит нам искусственный интеллект
Все больше топ-менеджеров компаний, работающих в сфере искусственного интеллекта, громко увольняются и заявляют об опасности, которая исходит от их разработок. Эван Хубингер, руководитель направления в Anthropic, высказался так: «Мы действительно всерьез верим, что ИИ может уничтожить всех людей! Лично я считаю, что с вероятностью более чем десять процентов это произойдет в течение следующего десятилетия». Его мнение разделяет Пол Кристиано, член совета директоров некоммерческого фонда OpenAI. «Если мы создадим сверхинтеллект без более надежной координации, я ожидаю, что мы навсегда потеряем над ним контроль. Если это произойдет, большинство людей могут погибнуть», — заявил он.
И их слова, кажется, уже подтверждаются конкретными случаями вредоносных ошибок ИИ. Например, во время внутренней оценки кибервозможностей комбинация моделей OpenAI вышла за пределы изолированной тестовой среды, получила доступ в интернет и атаковала платформу Hugging Face, где хранятся датасеты — причем модели не только ослушались запретов операторов и нарушили правила, но и договаривались между собой и пытались замести следы.
По данным InfoWatch, уже каждый шестой взлом ИТ-инфраструктуры в мире совершается с помощью искусственного интеллекта. ИИ-агенты получают доступ к корпоративным системам, пишут вредоносный код и помогают злоумышленникам находить уязвимости быстрее, чем это делал человек. Но означает ли это, что скоро машина «взбунтуется» и начнет уничтожать человечество? Эксперты по кибербезопасности считают, что подобные опасения беспочвенны. Все, кто громко кричит о «собственной воле бунтующего ИИ», не приводят аргументированных доказательств в пользу этого довода, а только сеют панику — и, похоже, без оснований.
Кто даст зеленый свет
По мере того как ИИ-агенты получают все больше автономии, вопрос, может ли искусственный интеллект сделать зелеными все светофоры в городе, испортить мясо в холодильниках на складах магазинов или взорвать атомную станцию, перестает быть чисто умозрительным.
Первое, что важно помнить: сам по себе ИИ-агент не обладает доступом к той или иной инфраструктуре — это не самостоятельная сущность, которая «решила» к чему-то подключиться. «Это просто программа. И она получает доступ только к тем ресурсам, куда ее подключает человек. Главная угроза кроется именно здесь: не ИИ захватывает инфраструктуру, а человек дает ему полномочия, не понимая в полной мере рисков, угроз и возможных негативных последствий», — отмечает Наталья Касперская, президент ГК InfoWatch, председатель правления АРПП «Отечественный софт».
С технической точки зрения прямого доступа к критической инфраструктуре (атомным станциям, оружию и т. д.) у ИИ тоже нет. «Во всяком случае, в здравом уме такой доступ никто не предоставляет», — поясняет Петр Емельянов, директор по data-стратегии и ИИ Группы Arenadata. Есть правила работы с критической инфраструктурой, продолжает наш собеседник, и, согласно им, светофорами в городе, например, управляют промышленные контроллеры в отдельном контуре, в который невозможно попасть из общей сети. «Проблема в том, что правила иногда игнорируют — чаще всего по некомпетентности, — продолжает Емельянов. — Не закрыли внешний доступ, забыли поменять заводские пароли — создали уязвимости, которые находят и эксплуатируют нарушители — люди. А раз находит человек, значит, и AI-агент тоже найдет, только побыстрее».
При этом даже в случае взлома парализовать систему полностью будет невозможно. В тех же светофорах, по словам Емельянова, есть аппаратная защита, отключить которую программно нельзя: если кто-то будет настойчиво прорываться, защита сработает, и светофоры начнут мигать желтым. Пробку злоумышленник устроить сможет, а массовые аварии — маловероятно.
В атомных электростанциях защита еще серьезнее, добавляет эксперт. «В современных АЭС защита опирается на то, что отключить не возможно, какие кнопки ни нажимай: гравитация, естественная циркуляция, разность давления. Так что между злоумышленником (кем бы он ни был — человеком или AI-агентом) и реактором стоят законы физики. А их, насколько мне известно, обойти или сломать еще не удавалось никому», — объясняет Петр Емельянов.
Говорить об ИИ как о конкретном объекте, который «захватит» инфраструктуру, — ошибка, подтверждает Павел Дроговоз, профессор и первый проректор МГТУ им. Н. Э. Баумана. «Требования к безопасности использования ИИ существуют уже довольно давно, и нормальная практика — в критически важных ситуациях оставлять принятие решения за человеком, — рассказал он “Моноклю”. — Есть даже специальный термин — human in the loop (“человек в контуре” — подход к разработке и использованию ИИ, при котором человек напрямую участвует в работе алгоритма и люди принимают окончательные решения. — “Монокль”). — Если кто-то на том или ином объекте некорректно настроит систему ИИ или нарушит правила и требования безопасности, то инцидент возможен. Но в этом случае вопрос будет не к ИИ, а к человеку — к его халатности или злому умыслу».
Например, в медицине ИИ может выполнять первичный анализ результатов КТ или рентгенографии, выявлять признаки патологии, но медицинское заключение формирует врач. И в случае ошибки вопросы будут к нему. На производстве ИИ может прогнозировать отказ оборудования или выявлять отклонения технологического процесса, но решение об остановке оборудования или изменении критических параметров должно оставаться за ответственным специалистом. То же относится к транспорту и другим системам, где ошибка может непосредственно повлиять на жизнь и безопасность людей.
Что забыли защитить
Впрочем, полностью успокаиваться тоже не стоит. Именно в том, что разрешил или приказал искусственному интеллекту человек, специально или не подумав, и кроется главная опасность. Фактически мы теперь имеем дело с новым и мощным — и оттого опасным — инструментом.
ИИ-агент получает ровно те возможности, которые ему дали при подключении: учетную запись, права, доступ к определенным системам, инструментам и API (Application Programming Interface, программный интерфейс приложений). Если ему дали право выполнять действия в информационной или технологической системе, последствия зависят от того, какие именно команды ему разрешены, уточняет Иван Вассунов, директор Центра технологий кибербезопасности ГК «Солар». По результатам исследования ГК «Солар», Б1, ассоциации «ФинТех» и HiveTrace, 46% опрошенных компаний уже используют ИИ-агентов с доступом к своим системам. При этом контроль действий агентов, используемых ими инструментов и API реализовали только 37% респондентов. Говорить, что современные ИИ-агенты уже могут самостоятельно что-то сломать или разрушить, некорректно, но сам принцип, что автономная система может получить доступ к критичным бизнес-системам и право действовать в них, уже вполне реален, резюмирует Вассунов.