Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

РБКHi-Tech

Ложь, шум и капелька яда

Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

Автор: София Труцуненко, методический лид направления Data Science школы IT-профессий Skillfactory

Фото: Михаил Гребенщиков / РБК

Любой, кто работал с большими моделями ИИ (ChatGPT, Midjourney), знает, что сгенерированные тексты и изображения часто требуют коррекции или дополнительных уточнений. Нейросеть может придумывать цифры, создавать фальшивые объекты или признаки, которых на самом деле не было в исходных данных. Это довольно частое явление для больших генеративных моделей, которое еще называют галлюцинациями. Но за неправильными результатами могут скрываться не только ошибки модели, но и злонамеренные действия — отравление данных.

Что такое отравление данных

Отравление данных (data poisoning) — это атака на машинное обучение, во время которой злоумышленник вводит вредоносные данные в обучающий набор для нарушения работы алгоритма обучения и снижения его эффективности.

Чтобы понять, как работает отравление данных, нужно разобраться, как в общем работают алгоритмы машинного обучения. Изначально собирается большой набор данных, и от того, какие именно данные взяли, зависит результат. Следующий шаг — привести данные к одному формату, а для некоторых задач дополнительно снабдить их подсказками для алгоритма (разметкой). Далее алгоритм находит в них признаки и закономерности.

И когда обученный алгоритм сталкивается с данными, которые он еще не видел, он может решить эту задачу, опираясь на те правила, которые он для себя создал ранее. Отравление данных нарушает этот процесс, подмешивая в обучающий набор вредоносные сведения, которые искажают или запутывают обученный алгоритм.

Рассмотрим некоторые примеры таких атак.

  • Внесение шума (Noise Injection): добавление случайных или искаженных данных в обучающий набор.
  • Удаление данных (Data Removal): исключение части данных из обучающего набора.
  • Вставка ложных объектов (Object Insertion): добавление несуществующих или ложных объектов в обучающий набор. Сюда же входят скрытые надписи, вотермарки, изображения.
  • Изменение меток классов (Label Flipping): изменение или искажение разметки классов в обучающем наборе. То есть данные не добавляются, но происходит подмена: например, картинки с кошками подписываются как картинки с собаками, и наоборот.

Но гораздо интереснее те методы, которые нельзя заметить, ведь современные отравленные данные могут выглядеть нормально для человеческого глаза, но при этом они тоже будут ломать алгоритм.

Одним из самых громких примеров отравления данных является программа Nightshade, созданная исследователями Чикагского университета. Это ответ на достаточно больную этическую тему для больших генеративных ИИ-моделей — проблему авторского права.

Чтобы обучить качественную модель на уровне DALL-E и Midjourney, нужно не просто много данных, нужно очень много данных. И многие большие модели не обладают правами на работы, которые использовались в обучении. А результат работы — сгенерированная картинка, которая не имеет признаков интеллектуальной собственности. Nightshade незаметно вставляет признаки одного объекта на картинки с другим. Там, где человеческий глаз увидит собаку, нейронная сеть может воспринимать признаки и контуры другого объекта, например кота. Это позволяет создавать искажения в изображениях, которые остаются незамеченными человеком, но влияют на работу модели искусственного интеллекта, обученной на этих данных. Изображения меняются таким образом, что видимая разница минимальна.

Зоны риска

Отравление данных — это очень серьезный метод воздействия на системы искусственного интеллекта, он может привести к различным по степени негативным последствиям в зависимости от контекста и особенностей атаки. На эффективность отравления данных влияют степень его скрытности и сложность обнаружения изменений.

Цели атаки и контекст также влияют на последствия — от обмана локальных систем безопасности до воздействия на масштабные финансовые или медицинские системы.

Сейчас отравление данных существует и на уровне прикладных инструментов для незащищенных некрупных систем, и как глобальная угроза безопасности, которая изучается ведущими учеными и отраслевыми специалистами.

Искусственный интеллект внедряется во все чувствительные сферы нашей жизни: финансы, медицину, пропускные системы и даже поиск преступников. Последствия отравления данных могут быть катастрофическими. Вот несколько примеров.

Распознавание лиц: злоумышленник может добавить в обучающий набор чужие изображения лиц, взятые из открытых источников. Это может привести к тому, что невиновного человека задержат правоохранительные органы.

Медицинские данные: подмена истории болезни пациента или результатов анализов в медицинских приложениях. Такая атака может привести к ложному диагнозу.

Финансовые данные: из-за добавления фальшивых транзакций или ухищрений в финансовые данные человеку могут предъявить необоснованные обвинения в финансовых махинациях. А атака большего масштаба может спровоцировать дестабилизацию рынка.

Дорожная ситуация (беспилотные автомобили): злоумышленник может добавить деформированные дорожные знаки или маркировку на дорогах в систему распознавания. Это может привести к авариям и несчастным случаям.

Способы защиты

Чтобы минимизировать риски отравления данных, необходим системный подход к кибербезопасности. С одной стороны, он должен включать традиционные методы: мониторинг сетей и использование брандмауэров, антивирусов и обновление программного обеспечения. Кроме того, для обнаружения вредоносных воздействий алгоритмами машинного обучения могут решаться такие задачи, как мониторинг аномалий, фильтрация и валидация данных после обучения.

Специалисту, работающему с большими моделями и сложными признаками, важно регулярно мониторить и изучать данные, которые он использовал для обучения моделей искусственного интеллекта. Это позволит своевременно выявлять подозрительные или аномальные паттерны, которые могут свидетельствовать о внедрении отравленных данных.

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

3 роскошные альтернативы новому внедорожнику Tank 700. Подробности и цены 3 роскошные альтернативы новому внедорожнику Tank 700. Подробности и цены

Три достойные альтернативы для флагмана Great Wall

РБК
«Робею перед такими сочными красками»: почему мы боимся яркого макияжа «Робею перед такими сочными красками»: почему мы боимся яркого макияжа

Почему девушки порой стесняются даже красной помады?

Psychologies
Ольга Сварник: «Мозгу постоянно нужна новизна» Ольга Сварник: «Мозгу постоянно нужна новизна»

О мире, где человек вынужден конкурировать с нейросетями

РБК
Супружеский «долг»: как на женщин влияет сексуализированное насилие в браке Супружеский «долг»: как на женщин влияет сексуализированное насилие в браке

Почему общество не замечает изнасилования в браке?

Forbes
5 «вредных» напитков, которые полезны для здоровья 5 «вредных» напитков, которые полезны для здоровья

Соки, кофе и какао — чем полезны эти «вредные» напитки?

ТехИнсайдер
Генетики пересчитали время смешения предков современных людей и неандертальцев Генетики пересчитали время смешения предков современных людей и неандертальцев

Когда произошло смешение предков современных людей с неандертальцами?

N+1
«Мама всегда выбирала благо пациента, а не букву закона»: из книги Нюты Федермессер «Мама всегда выбирала благо пациента, а не букву закона»: из книги Нюты Федермессер

Глава из сборника рассказов Нюты Федермессер «Камера хранения»

Forbes
Неочевидная болезнь, которая может вас убить: когда нужно проверить функцию щитовидной железы Неочевидная болезнь, которая может вас убить: когда нужно проверить функцию щитовидной железы

Если вы быстро устаете, а нервная система сбоит — проверьте щитовидную железу

ТехИнсайдер
Ребенок стал квадробером: как выглядит новый (опять странный!) тренд поколения альфа Ребенок стал квадробером: как выглядит новый (опять странный!) тренд поколения альфа

Почему поколению альфа так нравится менять свой образ?

Psychologies
Грязные дела: как правильно выбрать буксировочный трос в машину Грязные дела: как правильно выбрать буксировочный трос в машину

Плюсы и минусы разных видов буксировочных тросов

ТехИнсайдер
Красный, как помидор: почему во время тренировки краснеет лицо и как это можно предотвратить Красный, как помидор: почему во время тренировки краснеет лицо и как это можно предотвратить

Почему люди краснеют во время занятий спортом?

ТехИнсайдер
«И плакал ангел, и слезы его были, как камни». Евгений Водолазкин о «Лавре», средневековье, любви и времени «И плакал ангел, и слезы его были, как камни». Евгений Водолазкин о «Лавре», средневековье, любви и времени

Евгений Водолазкин о его первом романе и средневековом представлении о времени

СНОБ
От ларьков поворот! От ларьков поворот!

Почему сотрудникам ГУЛАГа было строго запрещено пользоваться лагерными ларьками?

Дилетант
Капсула памяти Капсула памяти

Как органично вписать в интерьер вещи из путешествий

Новый очаг
«Конец мира — это только начало: Экономика после краха глобализации» «Конец мира — это только начало: Экономика после краха глобализации»

Как деглобализация повлияет на важнейшие промышленные материалы

N+1
Жизнь после: 6 фильмов о преодолении психологических травм Жизнь после: 6 фильмов о преодолении психологических травм

Фильмы о людях, которые смогли примириться со своими психологическими травмами

Psychologies
Ребенок за штурвалом: страшная катастрофа Airbus A310 авиакомпании «Аэрофлот», которая унесла жизни 75 человек Ребенок за штурвалом: страшная катастрофа Airbus A310 авиакомпании «Аэрофлот», которая унесла жизни 75 человек

Эта авивкатастрофа заняла первое место в рейтинге «самых нелепых»

ТехИнсайдер
Замуж за футболиста — не приговор: три бизнес-истории жен игроков сборной России Замуж за футболиста — не приговор: три бизнес-истории жен игроков сборной России

Как оставаться независимой и самодостаточной, даже выйдя замуж за футболиста

Forbes
Какие бывают огнетушители для автомобиля, какой лучше, и как его выбрать Какие бывают огнетушители для автомобиля, какой лучше, и как его выбрать

Все об автомобильных огнетушителях: выбор, требования ГИБДД, сравнение

РБК
К чему мы до сих пор не можем привыкнуть в китайских автомобилях К чему мы до сих пор не можем привыкнуть в китайских автомобилях

Поднебесная не перестает удивлять экзотическими решениями в своих авто

Maxim
Загадка «ангарского цветка» Загадка «ангарского цветка»

Ученые находят растения, которые относят к цветковым, в слоях юрского периода

Наука и техника
В Греции нашли остатки древнейших в Европе молотильных досок В Греции нашли остатки древнейших в Европе молотильных досок

Анализ каменных артефактов, найденных на четырех археологических памятниках

N+1
Радикальная оптимистка: как Дуа Липа заставила весь мир танцевать под свой бит Радикальная оптимистка: как Дуа Липа заставила весь мир танцевать под свой бит

Кто такая Дуа Липа и чем примечателен её альбом Radical Optimism?

Правила жизни
«Я не только жила с абьюзером, но и стала им сама?»: история читательницы «Я не только жила с абьюзером, но и стала им сама?»: история читательницы

Как понять, что вы перенимаете черты абьюзера?

Psychologies
Чем накормить гения Чем накормить гения

Как помочь нашим детям хорошо сдать экзамены?

Лиза
Почему мы любим делать несколько дел сразу: пример «обеда за просмотром кино» Почему мы любим делать несколько дел сразу: пример «обеда за просмотром кино»

Есть, отвлекаясь на сериал, — один из самых простых способов переесть

ТехИнсайдер
Солнечный друг Солнечный друг

5 вопросов врачу по безопасному загару

Лиза
Мягкий и подключаемый гибрид. В чём разница и как работают? Мягкий и подключаемый гибрид. В чём разница и как работают?

Что называют обычным гибридом (HEV), а что подключаемым (PHEV)

4x4 Club
«Каждый новый кризис давал нам большой пик по выручке» «Каждый новый кризис давал нам большой пик по выручке»

ГК «Ресторация» готова к гостиничному буму и росту спроса на оснащение отелей

Монокль
Важный нюанс, из-за которого у вас плохо получаются снимки с зумом Важный нюанс, из-за которого у вас плохо получаются снимки с зумом

Съемка с оптическим увеличением только на первый взгляд кажется простой

CHIP
Открыть в приложении