Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

РБКHi-Tech

Ложь, шум и капелька яда

Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

Автор: София Труцуненко, методический лид направления Data Science школы IT-профессий Skillfactory

Фото: Михаил Гребенщиков / РБК

Любой, кто работал с большими моделями ИИ (ChatGPT, Midjourney), знает, что сгенерированные тексты и изображения часто требуют коррекции или дополнительных уточнений. Нейросеть может придумывать цифры, создавать фальшивые объекты или признаки, которых на самом деле не было в исходных данных. Это довольно частое явление для больших генеративных моделей, которое еще называют галлюцинациями. Но за неправильными результатами могут скрываться не только ошибки модели, но и злонамеренные действия — отравление данных.

Что такое отравление данных

Отравление данных (data poisoning) — это атака на машинное обучение, во время которой злоумышленник вводит вредоносные данные в обучающий набор для нарушения работы алгоритма обучения и снижения его эффективности.

Чтобы понять, как работает отравление данных, нужно разобраться, как в общем работают алгоритмы машинного обучения. Изначально собирается большой набор данных, и от того, какие именно данные взяли, зависит результат. Следующий шаг — привести данные к одному формату, а для некоторых задач дополнительно снабдить их подсказками для алгоритма (разметкой). Далее алгоритм находит в них признаки и закономерности.

И когда обученный алгоритм сталкивается с данными, которые он еще не видел, он может решить эту задачу, опираясь на те правила, которые он для себя создал ранее. Отравление данных нарушает этот процесс, подмешивая в обучающий набор вредоносные сведения, которые искажают или запутывают обученный алгоритм.

Рассмотрим некоторые примеры таких атак.

  • Внесение шума (Noise Injection): добавление случайных или искаженных данных в обучающий набор.
  • Удаление данных (Data Removal): исключение части данных из обучающего набора.
  • Вставка ложных объектов (Object Insertion): добавление несуществующих или ложных объектов в обучающий набор. Сюда же входят скрытые надписи, вотермарки, изображения.
  • Изменение меток классов (Label Flipping): изменение или искажение разметки классов в обучающем наборе. То есть данные не добавляются, но происходит подмена: например, картинки с кошками подписываются как картинки с собаками, и наоборот.

Но гораздо интереснее те методы, которые нельзя заметить, ведь современные отравленные данные могут выглядеть нормально для человеческого глаза, но при этом они тоже будут ломать алгоритм.

Одним из самых громких примеров отравления данных является программа Nightshade, созданная исследователями Чикагского университета. Это ответ на достаточно больную этическую тему для больших генеративных ИИ-моделей — проблему авторского права.

Чтобы обучить качественную модель на уровне DALL-E и Midjourney, нужно не просто много данных, нужно очень много данных. И многие большие модели не обладают правами на работы, которые использовались в обучении. А результат работы — сгенерированная картинка, которая не имеет признаков интеллектуальной собственности. Nightshade незаметно вставляет признаки одного объекта на картинки с другим. Там, где человеческий глаз увидит собаку, нейронная сеть может воспринимать признаки и контуры другого объекта, например кота. Это позволяет создавать искажения в изображениях, которые остаются незамеченными человеком, но влияют на работу модели искусственного интеллекта, обученной на этих данных. Изображения меняются таким образом, что видимая разница минимальна.

Зоны риска

Отравление данных — это очень серьезный метод воздействия на системы искусственного интеллекта, он может привести к различным по степени негативным последствиям в зависимости от контекста и особенностей атаки. На эффективность отравления данных влияют степень его скрытности и сложность обнаружения изменений.

Цели атаки и контекст также влияют на последствия — от обмана локальных систем безопасности до воздействия на масштабные финансовые или медицинские системы.

Сейчас отравление данных существует и на уровне прикладных инструментов для незащищенных некрупных систем, и как глобальная угроза безопасности, которая изучается ведущими учеными и отраслевыми специалистами.

Искусственный интеллект внедряется во все чувствительные сферы нашей жизни: финансы, медицину, пропускные системы и даже поиск преступников. Последствия отравления данных могут быть катастрофическими. Вот несколько примеров.

Распознавание лиц: злоумышленник может добавить в обучающий набор чужие изображения лиц, взятые из открытых источников. Это может привести к тому, что невиновного человека задержат правоохранительные органы.

Медицинские данные: подмена истории болезни пациента или результатов анализов в медицинских приложениях. Такая атака может привести к ложному диагнозу.

Финансовые данные: из-за добавления фальшивых транзакций или ухищрений в финансовые данные человеку могут предъявить необоснованные обвинения в финансовых махинациях. А атака большего масштаба может спровоцировать дестабилизацию рынка.

Дорожная ситуация (беспилотные автомобили): злоумышленник может добавить деформированные дорожные знаки или маркировку на дорогах в систему распознавания. Это может привести к авариям и несчастным случаям.

Способы защиты

Чтобы минимизировать риски отравления данных, необходим системный подход к кибербезопасности. С одной стороны, он должен включать традиционные методы: мониторинг сетей и использование брандмауэров, антивирусов и обновление программного обеспечения. Кроме того, для обнаружения вредоносных воздействий алгоритмами машинного обучения могут решаться такие задачи, как мониторинг аномалий, фильтрация и валидация данных после обучения.

Специалисту, работающему с большими моделями и сложными признаками, важно регулярно мониторить и изучать данные, которые он использовал для обучения моделей искусственного интеллекта. Это позволит своевременно выявлять подозрительные или аномальные паттерны, которые могут свидетельствовать о внедрении отравленных данных.

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Нет причин не продлить нашу жизнь до 200 лет и даже до 1000» «Нет причин не продлить нашу жизнь до 200 лет и даже до 1000»

Как мировая наука и бизнес борются со старением

РБК
Правила жизни Любови Полищук Правила жизни Любови Полищук

Правила жизни народной артистки Российской Федерации Любови Полищук

Правила жизни
Ольга Сварник: «Мозгу постоянно нужна новизна» Ольга Сварник: «Мозгу постоянно нужна новизна»

О мире, где человек вынужден конкурировать с нейросетями

РБК
7 признаков того, что пора менять воздушный фильтр: знаете ли вы их 7 признаков того, что пора менять воздушный фильтр: знаете ли вы их

Своевременно менять воздушный фильтр даже важнее, чем масляный

ТехИнсайдер
Вопрос на засыпку: можно ли увидеть зеркало, и какого оно цвета? Вопрос на засыпку: можно ли увидеть зеркало, и какого оно цвета?

Какого цвета зеркало? И можно ли его вообще увидеть?

ТехИнсайдер
Сделано в Британии: 10 отличных английских сериалов, которые вы полюбили или пропустили Сделано в Британии: 10 отличных английских сериалов, которые вы полюбили или пропустили

Британские сериалы, которые стоит посмотреть

Правила жизни
Великая Отечественная война: многие не знают, как было на самом деле Великая Отечественная война: многие не знают, как было на самом деле

Как на самом деле развивались знаковые события Великой Отечественной войны?

ТехИнсайдер
Как избавиться от платяной моли: рекомендации профессиональных клинеров Как избавиться от платяной моли: рекомендации профессиональных клинеров

Рассказываем, какие существуют способы борьбы с платяной молью!

VOICE
Палеоантропологи реконструировали череп жившего около миллиона лет назад гоминина Юньсянь-2 Палеоантропологи реконструировали череп жившего около миллиона лет назад гоминина Юньсянь-2

Палеоантропологи реконструировали деформированный череп Юньсянь-2

N+1
Как травма становится стимулом для роста: 7 необходимых этапов Как травма становится стимулом для роста: 7 необходимых этапов

Душевные травмы: калечат или дают стимул для внутреннего развития?

Psychologies
Как взбодриться без кофе: 6 научно доказанных способов (с примерами) Как взбодриться без кофе: 6 научно доказанных способов (с примерами)

Глубокое дыхание, холодная вода, берпи и другие альтернативные источники энергии

РБК
Человек с большой цифры Человек с большой цифры

Как технологии лишают нас сна, памяти, эмпатии и отучают знакомиться

Men Today
Самая большая черная дыра и конец бэби-бума на Земле: новости науки Самая большая черная дыра и конец бэби-бума на Земле: новости науки

Кто из животных обладает сознанием и в чем ошибались демографы?

Forbes
7 лучших ролей Любови Аксеновой 7 лучших ролей Любови Аксеновой

Любовь Аксенова: девушка супергероя, избалованная дочь и сбежавшая невеста

Maxim
Кто такой Mr. Parker и Владимир Владимирович(тм): умер легенда «ЖЖ» — журналист Максим Кононенко Кто такой Mr. Parker и Владимир Владимирович(тм): умер легенда «ЖЖ» — журналист Максим Кононенко

Mr. Parker — один из тех, кто определял стиль российского сегмента Интернета

Maxim
Майк Омер: «Странные игры». Настоящие преступления в игрушечном домике Майк Омер: «Странные игры». Настоящие преступления в игрушечном домике

Глава из триллера Майка Омера «Странные игры» о тайнах психики

СНОБ
Первый пациент с чипом Neuralink рассказал о жизни после операции Первый пациент с чипом Neuralink рассказал о жизни после операции

Первый пациент, которому вживили чип Neuralink, рассказал о жизни после операции

Forbes
Как быстро и компактно упаковать вещи: 7 советов стюардессы с 16-летним опытом Как быстро и компактно упаковать вещи: 7 советов стюардессы с 16-летним опытом

Советы бортпроводницы помогут ничего не забыть и обойтись минимумом вещей

ТехИнсайдер
Управлять наслаждением Управлять наслаждением

Вы готовы к необычным ощущениям, потрясениям и открытиям?

Psychologies
Антропологи реконструировали верхнюю челюсть жившего 115 тысяч лет назад ребенка Антропологи реконструировали верхнюю челюсть жившего 115 тысяч лет назад ребенка

Палеоантропологи сделали виртуальную реконструкцию верхней челюсти ребенка

N+1
«Ставить дружбу выше истины»: каково это — быть настоящим другом «Ставить дружбу выше истины»: каково это — быть настоящим другом

Дружба складывается не из схожестей людей, а из моментов, в которых они разнятся

Psychologies
Белое или красное Белое или красное

Продукты и блюда, которые отлично сочетаются с разными видами вина

Лиза
Воздушные порталы: где и как обновляют инфраструктуру аэропортов Воздушные порталы: где и как обновляют инфраструктуру аэропортов

Как правительство справляется с обновлением аэропортовой инфраструктуры?

ФедералПресс
Эмоциональный шантаж: что это и как понять, что вы с ним столкнулись Эмоциональный шантаж: что это и как понять, что вы с ним столкнулись

Выслушивали ли вы когда-нибудь просьбу или требования против своего желания?

Psychologies
10 вещей, которые сделаны из нефти. Вы удивитесь! 10 вещей, которые сделаны из нефти. Вы удивитесь!

От шоколада до зубной пасты — многие товары для дома производятся из нефти

ТехИнсайдер
5 вредных мифов о психиатрии, которые мешают вовремя получить помощь 5 вредных мифов о психиатрии, которые мешают вовремя получить помощь

Какие мифы о психиатрии встречаются чаще всего и что лежит в их основе?

Psychologies
The Doors для сглаживания танинов и Дебюсси для усиления свежести. Как музыка меняет вкус вина The Doors для сглаживания танинов и Дебюсси для усиления свежести. Как музыка меняет вкус вина

Почему сомелье предпочитают проводить дегустации в тишине?

СНОБ
«Интимная история человечества» «Интимная история человечества»

Как уважение стало ценнее власти

N+1
Как правильно пить в одиночестве: 12 честных правил Как правильно пить в одиночестве: 12 честных правил

Как пить в одиночку осознанно и продуманно?

Maxim
Вышедшая после убийства матери Джипси Роуз Бланшар призналась, что мечтает о работе в Макдоналдсе Вышедшая после убийства матери Джипси Роуз Бланшар призналась, что мечтает о работе в Макдоналдсе

Почему преступникам сложно интегрироваться в общество и могут ли они это сделать

Psychologies
Открыть в приложении