Чем грозит самообучение нейросетей на искусственных данных

РБКHi-Tech

Запрограммированный коллапс

Чем грозит самообучение нейросетей на искусственных данных

Что случится, если нейросети начнут обучаться на данных, которые они же и сгенерировали? Одно из возможных последствий — скорая деградация моделей ИИ, утверждает авторитетное издание VentureBeat, специализирующееся на новых технологиях.

ИИ в замешательстве

Создание контента при помощи нейросетей уже стало массовой практикой, обращают внимание авторы статьи The AI feedback loop: Researchers warn of 'model collapse' as AI trains on AI-generated content, опубликованной в VentureBeat. Так, половина сотрудников McKinsey применяют в своей работе инструменты генеративного ИИ, и эта тенденция только усиливается. Сегодня основная часть исходных данных, на которых обучаются нейросети, в основном создана людьми — это книги, статьи, фотографии и так далее. Но что произойдет, когда ИИ начнет обучаться на контенте, сгенерированном другим ИИ?

Группа исследователей из Великобритании и Канады опубликовала статью, в которой рассматривается именно этот вопрос. Их выводы неутешительны: использование для обучения ИИ данных, сгенерированных другими ИИ, приводит к необратимым дефектам в результирующих моделях.

Исследователи обратили особое внимание на вероятностные распределения для текстовых и генеративных моделей ИИ, генерирующих изображения. Выяснилось, что обучение на данных, произведенных другими моделями, вызывает «коллапс моделей» — дегенеративный процесс, при котором со временем модели забывают истинное распределение исходных данных. И происходит это довольно быстро.

Постепенно ошибки в сгенерированных данных накапливаются, в результате чего модели, обучающиеся на таких данных, начинают еще больше искажать реальность. Это приводит к тому, что они все больше ошибаются в своих ответах и генерируемом контенте, а также производят все меньше неповторяющегося, непротиворечивого контента.

«Аналогично тому, как мы заполнили океаны пластиковым мусором и атмосферу углекислым газом, мы собираемся заполнить интернет бессмысленной болтовней. Это усложнит обучение новых моделей путем парсинга веб-сайтов, давая преимущество компаниям, которые уже это сделали или которые контролируют доступ к человеческим интерфейсам», — заявил один из авторов статьи, профессор безопасности инженерии в Кембриджском университете и Университете Эдинбурга Росс Андерсон.

Почему происходит коллапс

Проблему деградации качества в продуктах ИИ можно сравнить с увеличением артефактов при многократном копировании изображения в формате JPEG. В качестве другой аналогии можно привести комедию 1996 года «Множество», в которой главный герой клонирует себя, а затем клонирует клонов, что приводит к экспоненциальному снижению уровня интеллекта у каждого нового клона.

Коллапс моделей происходит, когда данные, сгенерированные моделями ИИ, «загрязняют» тренировочный набор для последующих моделей. «Оригинальные антропогенные данные лучше отражают реальный мир, поскольку содержат в том числе неправдоподобную информацию, — объяснил Илья Шумайлов, один из авторов работы. — Генеративные модели, однако, имеют тенденцию к переобучению на популярных данных и часто неправильно понимают или интерпретируют менее популярные данные».

Если модель обучается на дата-сете c 10 изображениями синих котов и 90 желтых, ИИ запоминает, что желтые коты преобладают и показывает даже синих котов желтоватыми, а на запрос о новых данных выдает зеленых котов. С последующими циклами синий цвет и вовсе заменяется зеленоватым, переходя затем в желтый.

«Загрязнение» данными, сгенерированными ИИ, приводит к искажению восприятия реальности моделями. Даже когда исследователи обучали модели не создавать слишком много повторяющихся ответов, они обнаружили, что коллапс все равно происходит, поскольку ИИ начинает выдавать ошибочные ответы, чтобы избежать частого повторения данных.

Как решить проблему

Исследователи выделили два пути, которые позволяют избежать коллапса модели.

Первый — сохранение оригинального дата-сета, полностью или в основном созданного людьми, и предотвращение его смешивания с данными от ИИ. В этом случае модель можно периодически переобучать на этих данных или полностью обновлять с их использованием. Второй путь, который может уберечь от деградации в качестве ответов и сократить количество ошибок, — повторное введение в обучение ИИ нового очищенного антропогенного дата-сета.

Исследователи отмечают, что это потребует создания некоего механизма массовой маркировки или же усилий со стороны создателей контента или ИИ-компаний, которые позволят разделить данные от людей и машин. Также важно обеспечить справедливое представление менее популярной информации в дата-сете как с точки зрения количества, так и качества и точного описания характеристик. Это серьезный вызов, поскольку модели сложно обучать на редких событиях.

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Сквозные и критические: как изменилась стратегия развития технологий Сквозные и критические: как изменилась стратегия развития технологий

Сектор инноваций в России продолжает развиваться благодаря господдержке

РБК
В такси на Дубровку В такси на Дубровку

Ищешь живописное место для фотосессии? Советские фильмы знают ответ!

Лиза
Немирное «земледелие» Немирное «земледелие»

Как работает система залпового минирования

Популярная механика
Кнут Гамсун Кнут Гамсун

Кнут Гамсун говорил от имени нации и тем сильно её скомпрометировал

Дилетант
«Люди не смогут отличить, что реально, а что воображаемо» «Люди не смогут отличить, что реально, а что воображаемо»

Пять кратких историй успеха, достигнутого в том числе и выходцами из России

РБК
Дейнотерий – слон с берегов Дона Дейнотерий – слон с берегов Дона

Слоны – одни из самых стабильных в эволюционном плане животных...

Наука и техника
«Нет причин не продлить нашу жизнь до 200 лет и даже до 1000» «Нет причин не продлить нашу жизнь до 200 лет и даже до 1000»

Как мировая наука и бизнес борются со старением

РБК
Опять и опять «Назад в будущее» Опять и опять «Назад в будущее»

Краткая история ленты «Назад в будущее», вырастившей последнее поколение XX века

Weekend
Он лгал и учил лгать Он лгал и учил лгать

«Мы не знаем страны, в которой живем». А знаем ли мы Юрия Андропова?

Дилетант
Банановые перспективы российских субтропиков Банановые перспективы российских субтропиков

Инвесторы хотят импортозаместить экзотические фрукты

Агроинвестор
Вяземские Вяземские

Происходивший от Рюрика княжеский род Вяземских известен ещё со Средневековья

Дилетант
Главное – остаться незамеченным Главное – остаться незамеченным

В чем состоит военная (а возможно, и не только) хитрость стелс-технологии?

Наука и техника
Знать без царя в голове Знать без царя в голове

Мини-сериал о сестрах Митфорд, которые искали любовь, а нашли политику

Weekend
Дорогой инноваций Дорогой инноваций

Что изменит высокоскоростная магистраль Москва — Санкт-Петербург

Эксперт
ФГИС вам в помощь ФГИС вам в помощь

Как работают внедренные в агроотрасль информсистемы

Агроинвестор
Что следует знать начинающему инвестору Что следует знать начинающему инвестору

Что надо знать, когда планируете начать инвестировать?

Наука и техника
Как Ленин дэвов побеждал Как Ленин дэвов побеждал

Какие отпечатки оставили на народах России события на рубеже XIX и XX веков

Дилетант
Денис Власенко: «Все-таки мир не черно-белый» Денис Власенко: «Все-таки мир не черно-белый»

Денис Власенко о «супергеройских» ролях и о том, каково это в возрастном гриме

Ведомости
Инфляция в белых халатах Инфляция в белых халатах

Медицинская инфляция может ускориться до 14% к концу года

Ведомости
Вьетнамский вклад в импортозамещение Вьетнамский вклад в импортозамещение

Концерн TH Group открыл завод по переработке молока в Калужской области

Агроинвестор
Сеньоры на потоке Сеньоры на потоке

Зачем Минцифры запускает новые программы подготовки IT-кадров

Ведомости
Таблетки на ветер? Таблетки на ветер?

Как правильно выбрасывать лекарства из аптечки?

Лиза
Золотой век английской карикатуры Золотой век английской карикатуры

«Отечество карикатуры и пародии» — об Англии Георгианской эпохи

Дилетант
Между фугой и фуззом Между фугой и фуззом

Современные композиторы, ломающие жанровые барьеры

Weekend
Откуда что пошло на флоте Откуда что пошло на флоте

Повседневная жизнь на парусном военном корабле XVIII века

Наука и техника
Почему ЕС не растет Почему ЕС не растет

Что провоцирует системный кризис развития Евросоюза

Эксперт
Вековые традиции Вековые традиции

Не получается нарисовать стрелки, а тени сразу скатываются?

Лиза
Традиционная стабильность Традиционная стабильность

Какое место в энергетике будущего будут занимать уголь, нефть и газ

Ведомости
Стимулы вместо принуждения Стимулы вместо принуждения

Чем биржевая торговля сельхозпродукцией может быть интересна бизнесу

Агроинвестор
Маленькие шаги к переменам Маленькие шаги к переменам

Интервью с создателем инклюзивных раскрасок и игрушек Натальей Пониной

Лиза
Открыть в приложении