Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

РБКHi-Tech

Ложь, шум и капелька яда

Каким цифровым «зельем» можно отравить нейросеть и к чему это приведет

Автор: София Труцуненко, методический лид направления Data Science школы IT-профессий Skillfactory

Фото: Михаил Гребенщиков / РБК

Любой, кто работал с большими моделями ИИ (ChatGPT, Midjourney), знает, что сгенерированные тексты и изображения часто требуют коррекции или дополнительных уточнений. Нейросеть может придумывать цифры, создавать фальшивые объекты или признаки, которых на самом деле не было в исходных данных. Это довольно частое явление для больших генеративных моделей, которое еще называют галлюцинациями. Но за неправильными результатами могут скрываться не только ошибки модели, но и злонамеренные действия — отравление данных.

Что такое отравление данных

Отравление данных (data poisoning) — это атака на машинное обучение, во время которой злоумышленник вводит вредоносные данные в обучающий набор для нарушения работы алгоритма обучения и снижения его эффективности.

Чтобы понять, как работает отравление данных, нужно разобраться, как в общем работают алгоритмы машинного обучения. Изначально собирается большой набор данных, и от того, какие именно данные взяли, зависит результат. Следующий шаг — привести данные к одному формату, а для некоторых задач дополнительно снабдить их подсказками для алгоритма (разметкой). Далее алгоритм находит в них признаки и закономерности.

И когда обученный алгоритм сталкивается с данными, которые он еще не видел, он может решить эту задачу, опираясь на те правила, которые он для себя создал ранее. Отравление данных нарушает этот процесс, подмешивая в обучающий набор вредоносные сведения, которые искажают или запутывают обученный алгоритм.

Рассмотрим некоторые примеры таких атак.

  • Внесение шума (Noise Injection): добавление случайных или искаженных данных в обучающий набор.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Генная терапия: встречайте лекарства будущего Генная терапия: встречайте лекарства будущего

Насколько мы близки к победе над «плохой генетикой»?

Монокль
По ту сторону диагноза: как живет человек с рассеянным склерозом По ту сторону диагноза: как живет человек с рассеянным склерозом

История девушки с рассеянным склерозом, которая смогла добиться ремиссии

СНОБ
Какие витамины и как лучше пить: подробный гид от эндокринолога Какие витамины и как лучше пить: подробный гид от эндокринолога

Как же понять, есть у вас авитаминоз? Может ли быть передозировка витаминами?

Psychologies
Заповеди женского полка: отрывок из книги о бомбардировщицах — героях Великой Отечественной войны Заповеди женского полка: отрывок из книги о бомбардировщицах — героях Великой Отечественной войны

Воспоминания писателя Бориса Ласкина о женщинах на войне

СНОБ
«Мифы воды. От кракена и „Летучего голландца“ до реки Стикс и Атлантиды» «Мифы воды. От кракена и „Летучего голландца“ до реки Стикс и Атлантиды»

Суеверия, связанные с приливами и отливами

N+1
Не все коты одинаково полезны. История Непотопляемого Сэма — самого везучего кота в истории Не все коты одинаково полезны. История Непотопляемого Сэма — самого везучего кота в истории

Как кот Сэм три раза тонул, стал героем флота и дожил до старости

ТехИнсайдер
Евгеника: хотели как лучше... Евгеника: хотели как лучше...

Как евгеника стала синтезом теории вырождения, теории Дарвина и научного расизма

Знание – сила
Москва по-собянински: азиатский город с архитектурными доминантами и фасадами Москва по-собянински: азиатский город с архитектурными доминантами и фасадами

Какую Москву хочет построить Сергей Собянин?

Монокль
Удивительный мир живой природы: как общаются между собой живые организмы Удивительный мир живой природы: как общаются между собой живые организмы

Самые необычные способы коммуникации из мира фауны

ТехИнсайдер
Женская манипуляция. Всегда ли это нужно и как не увлечься психологическими играми Женская манипуляция. Всегда ли это нужно и как не увлечься психологическими играми

Где та тонкая грань между неэкологичными манипуляциями и женской мудростью?

Лиза
Бум внутри периметра: можно ли удвоить долю фондового рынка в российской экономике Бум внутри периметра: можно ли удвоить долю фондового рынка в российской экономике

Быстрый рост фондового рынка возможен, считает главный экономист «Эксперта РА»

Forbes
Спиной к еде Спиной к еде

Чтобы привести себя в форму, зачастую не нужны жесткие диеты

Лиза
Как быстро почистить затирку плитки: советы профессиональных клинеров Как быстро почистить затирку плитки: советы профессиональных клинеров

Как быстро почистить затирку плитки и как потом за ней ухаживать?

VOICE
Как справиться с завистью к подруге: советует психолог Как справиться с завистью к подруге: советует психолог

Почему возникает зависть к подруге, как с ней эффективно справиться?

VOICE
Как удобно загрузить багажник в путешествии: 10 правил опытных автотуристов Как удобно загрузить багажник в путешествии: 10 правил опытных автотуристов

Как правильно разместить вещи в багажнике автомобиля?

ТехИнсайдер
Вселенная Майнкрафта Вселенная Майнкрафта

В кубическом мире строят, копают и выживают более 130 миллионов игроков

Вокруг света
«Переедание — это ваша попытка заставить свое тело не чувствовать» «Переедание — это ваша попытка заставить свое тело не чувствовать»

Что такое переедание, о чем оно нам сигнализирует, и как научиться не переедать?

Psychologies
Город в поисках культурной идентичности Город в поисках культурной идентичности

Улан-Удэ: русская провинциальная архитектура и монгольская героика

Weekend
5 секретов шоколадного загара 5 секретов шоколадного загара

Советы, которые позволят надолго сохранить цвет загара

Лиза
Не болей! Не болей!

5 признаков того, что твоя собака нездорова

Лиза
Агрессоры в саду Агрессоры в саду

В статье речь пойдёт не о диких сорняках, а об обитателях сада, посаженных нами

Наука и жизнь
Какими видами спорта занимались наши предки-славяне Какими видами спорта занимались наши предки-славяне

Список исконно русских спортивных игр: от аналога хоккея до мордобоя

Maxim
Почему манга читается справа налево и какой в этом смысл Почему манга читается справа налево и какой в этом смысл

Что такое манга и как её читать?

Maxim
Теория игр Теория игр

Прав ли сказавший, что наша жизнь – игра?

Вокруг света
Осмелиться быть собой: 5 упражнений Осмелиться быть собой: 5 упражнений

Как вновь обрести свою идентичность и начать собственный путь

Psychologies
Ресторатор Александр Сысоев — о пьянстве в барах и том, как с ним бороться Ресторатор Александр Сысоев — о пьянстве в барах и том, как с ним бороться

Почему люди в барах напиваются и пристают к гостям и как этого избежать

СНОБ
«Виды доброты» в Каннах: как Йоргос Лантимос рассказывает о власти и любви «Виды доброты» в Каннах: как Йоргос Лантимос рассказывает о власти и любви

Что представляют из себя три новеллы в фильме Йоргоса Лантимоса «Виды доброты»

Forbes
«Старообрядцы и евреи: Триста лет рядом» «Старообрядцы и евреи: Триста лет рядом»

Что делало похожими друг на друга евреев и старообрядцев

N+1
Хищения в особо крупных Хищения в особо крупных

Русский авангард вечно оказывается в криминальной хронике, что с ним не так?

RR Люкс.Личности.Бизнес.
5 вредных мифов о психиатрии, которые мешают вовремя получить помощь 5 вредных мифов о психиатрии, которые мешают вовремя получить помощь

Какие мифы о психиатрии встречаются чаще всего и что лежит в их основе?

Psychologies
Открыть в приложении