Нейросети бывают криминальными
ФСТЭК определила угрозы безопасности, связанные с искусственным интеллектом. Теперь их надо будет учитывать разработчикам софта для госструктур и критической информационной инфраструктуры
Федеральная служба по техническому и экспортному контролю (ФСТЭК) впервые внесла в банк данных угроз (БДУ) информационной безопасности риски, связанные с искусственным интеллектом (ИИ), следует из сообщения на сайте регулятора.
В перечне описаны специфичные технологии ИИ, уязвимости в которых могут использоваться злоумышленниками в кибератаках. Это, в частности, модели машинного обучения, наборы обучающих данных (датасеты), а также RAG (Retrieval Augmented Generation – подход, при котором ответ генерируется на основе данных, полученных из внешних источников) и LoRA-адаптеры (Low-Rank Adaptation – подход, который позволяет адаптировать большие модели к конкретным задачам). Также в разделе описаны векторы возможных атак, например эксплуатация уязвимостей в фреймворках (шаблонах) для ИИ, модификация системных промптов (запросов) или конфигураций агентов, а также DoS-атаки (атака, при которой используется одно устройство), направленные на исчерпание квоты запросов.
Первоначальной целью создания БДУ являлось простое повышение информированности специалистов по информбезопасности о существующих угрозах. Но теперь любая организация, от которой законодательство требует защиты своей информационной системы, обязана использовать банк для разработки модели угроз, говорится на сайте ФСТЭК. Согласно требованиям 152-ФЗ «О персональных данных» и требованиям ФСТЭК, разработка модели угроз обязательна для большинства информационных систем, которые обрабатывают персональные данные. «Новый раздел БДУ становится официальным и актуальным источником для такого моделирования в части ИИ», – пояснил директор департамента расследований T.Hunter Игорь Бедеров.