Чем грозит самообучение нейросетей на искусственных данных

РБКHi-Tech

Запрограммированный коллапс

Чем грозит самообучение нейросетей на искусственных данных

Что случится, если нейросети начнут обучаться на данных, которые они же и сгенерировали? Одно из возможных последствий — скорая деградация моделей ИИ, утверждает авторитетное издание VentureBeat, специализирующееся на новых технологиях.

ИИ в замешательстве

Создание контента при помощи нейросетей уже стало массовой практикой, обращают внимание авторы статьи The AI feedback loop: Researchers warn of 'model collapse' as AI trains on AI-generated content, опубликованной в VentureBeat. Так, половина сотрудников McKinsey применяют в своей работе инструменты генеративного ИИ, и эта тенденция только усиливается. Сегодня основная часть исходных данных, на которых обучаются нейросети, в основном создана людьми — это книги, статьи, фотографии и так далее. Но что произойдет, когда ИИ начнет обучаться на контенте, сгенерированном другим ИИ?

Группа исследователей из Великобритании и Канады опубликовала статью, в которой рассматривается именно этот вопрос. Их выводы неутешительны: использование для обучения ИИ данных, сгенерированных другими ИИ, приводит к необратимым дефектам в результирующих моделях.

Исследователи обратили особое внимание на вероятностные распределения для текстовых и генеративных моделей ИИ, генерирующих изображения. Выяснилось, что обучение на данных, произведенных другими моделями, вызывает «коллапс моделей» — дегенеративный процесс, при котором со временем модели забывают истинное распределение исходных данных. И происходит это довольно быстро.

Постепенно ошибки в сгенерированных данных накапливаются, в результате чего модели, обучающиеся на таких данных, начинают еще больше искажать реальность. Это приводит к тому, что они все больше ошибаются в своих ответах и генерируемом контенте, а также производят все меньше неповторяющегося, непротиворечивого контента.

«Аналогично тому, как мы заполнили океаны пластиковым мусором и атмосферу углекислым газом, мы собираемся заполнить интернет бессмысленной болтовней. Это усложнит обучение новых моделей путем парсинга веб-сайтов, давая преимущество компаниям, которые уже это сделали или которые контролируют доступ к человеческим интерфейсам», — заявил один из авторов статьи, профессор безопасности инженерии в Кембриджском университете и Университете Эдинбурга Росс Андерсон.

Почему происходит коллапс

Проблему деградации качества в продуктах ИИ можно сравнить с увеличением артефактов при многократном копировании изображения в формате JPEG. В качестве другой аналогии можно привести комедию 1996 года «Множество», в которой главный герой клонирует себя, а затем клонирует клонов, что приводит к экспоненциальному снижению уровня интеллекта у каждого нового клона.

Коллапс моделей происходит, когда данные, сгенерированные моделями ИИ, «загрязняют» тренировочный набор для последующих моделей. «Оригинальные антропогенные данные лучше отражают реальный мир, поскольку содержат в том числе неправдоподобную информацию, — объяснил Илья Шумайлов, один из авторов работы. — Генеративные модели, однако, имеют тенденцию к переобучению на популярных данных и часто неправильно понимают или интерпретируют менее популярные данные».

Если модель обучается на дата-сете c 10 изображениями синих котов и 90 желтых, ИИ запоминает, что желтые коты преобладают и показывает даже синих котов желтоватыми, а на запрос о новых данных выдает зеленых котов. С последующими циклами синий цвет и вовсе заменяется зеленоватым, переходя затем в желтый.

«Загрязнение» данными, сгенерированными ИИ, приводит к искажению восприятия реальности моделями. Даже когда исследователи обучали модели не создавать слишком много повторяющихся ответов, они обнаружили, что коллапс все равно происходит, поскольку ИИ начинает выдавать ошибочные ответы, чтобы избежать частого повторения данных.

Как решить проблему

Исследователи выделили два пути, которые позволяют избежать коллапса модели.

Первый — сохранение оригинального дата-сета, полностью или в основном созданного людьми, и предотвращение его смешивания с данными от ИИ. В этом случае модель можно периодически переобучать на этих данных или полностью обновлять с их использованием. Второй путь, который может уберечь от деградации в качестве ответов и сократить количество ошибок, — повторное введение в обучение ИИ нового очищенного антропогенного дата-сета.

Исследователи отмечают, что это потребует создания некоего механизма массовой маркировки или же усилий со стороны создателей контента или ИИ-компаний, которые позволят разделить данные от людей и машин. Также важно обеспечить справедливое представление менее популярной информации в дата-сете как с точки зрения количества, так и качества и точного описания характеристик. Это серьезный вызов, поскольку модели сложно обучать на редких событиях.

Хочешь стать одним из более 100 000 пользователей, кто регулярно использует kiozk для получения новых знаний?
Не упусти главного с нашим telegram-каналом: https://kiozk.ru/s/voyrl

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Люди не смогут отличить, что реально, а что воображаемо» «Люди не смогут отличить, что реально, а что воображаемо»

Пять кратких историй успеха, достигнутого в том числе и выходцами из России

РБК
Не работает тачпад на ноутбуке: причины и способы решения проблемы Не работает тачпад на ноутбуке: причины и способы решения проблемы

Что делать, если перестал работать тачпад на ноутбуке с Windows

CHIP
Много шума — и ничего Много шума — и ничего

Антирейтинг — топ-7 наиболее значимых технологических провалов нашего времени

РБК
Французское влияние в мягком подбрюшье России Французское влияние в мягком подбрюшье России

Как Париж выстраивает стратегическое партнерство с государствами Средней Азии

Монокль
Тяжелый легкий бег Тяжелый легкий бег

Как работает организм на марафонских дистанциях

Популярная механика
Кино привезли Кино привезли

Сколько стоили импортные фильмы России

Деньги
В ловушке гениальности В ловушке гениальности

Были бы шедевры, если бы их творцы не отличались особенностями психики?

Psychologies
Маршрут построен Маршрут построен

Как экономить на поездках в метро в разных городах России

Лиза
«Бочкарёвские дуры» в Зимнем «Бочкарёвские дуры» в Зимнем

Живучи домыслы о женском батальоне, который защищал Зимний дворец в 1917 году

Дилетант
Нерусская водка: какие бренды популярнее всего за рубежом Нерусская водка: какие бренды популярнее всего за рубежом

О самых популярных брендах иностранной «беленькой»

Maxim
«Мои фильмы всегда выпускались с надеждой, что они провалятся» «Мои фильмы всегда выпускались с надеждой, что они провалятся»

Андрей Тарковский об отношениях с родиной, зрителями и творчеством

Weekend
Атмосфера жизни Атмосфера жизни

Загородный подмосковный дом с интерьером вне времени

SALON-Interior
7 фруктов, которые нельзя хранить в холодильнике: мнение шеф-повара 7 фруктов, которые нельзя хранить в холодильнике: мнение шеф-повара

Каким фруктам не место в холодильнике

VOICE
Трофейный ресурс Трофейный ресурс

Что получил СССР в качестве компенсации от Германии по итогам войны

Эксперт
VR, алгоритмы Netflix и даже ChatGPT: 5 книг, которые предсказали современные ИИ-технологии VR, алгоритмы Netflix и даже ChatGPT: 5 книг, которые предсказали современные ИИ-технологии

Книги, которыми (возможно) вдохновлялись Сэм Альтман, Стив Джобс и Билл Гейтс

Inc.
Роли исполняли Роли исполняли

Несколько дримкаров, прошедших кастинги в популярные фильмы

Men Today
Компания в кризисе: как не утонуть, когда все вокруг рушится? Компания в кризисе: как не утонуть, когда все вокруг рушится?

Как сохранить самообладание и профессионализм, когда компания в кризисе?

Inc.
Обратное плацебо: что такое эффект ноцебо и как он мешает нам жить Обратное плацебо: что такое эффект ноцебо и как он мешает нам жить

Чем вреден эффект ноцебо и можно ли от него избавиться?

ТехИнсайдер
Цифровая паутина «Черного квадрата» Цифровая паутина «Черного квадрата»

Как манифест Малевича переосмысливают современные художники

Вокруг света
Образование без серверов: как и зачем использовать облачные технологии вузам Образование без серверов: как и зачем использовать облачные технологии вузам

Использование облачных технологий в процессе образования улучшает успеваемость

Forbes
Американские врачи выполнили первую в мире пересадку мочевого пузыря Американские врачи выполнили первую в мире пересадку мочевого пузыря

Хирурги впервые в мире пересадили пациенту мочевой пузырь от мертвого донора

N+1
Шимпанзе используют «деревянный телеграф» для удаленного общения Шимпанзе используют «деревянный телеграф» для удаленного общения

Ученые знают, что шимпанзе барабанят по деревьям, но только сейчас поняли, зачем

ТехИнсайдер
Откуда берутся деньги Откуда берутся деньги

Как доллар превратился в глобальное оружие

Деньги
Что скрывает этикетка Что скрывает этикетка

Научиться расшифровывать эти загадочные и малопонятные надписи не так уж сложно

Лиза
Табаковы Табаковы

Олег Табаков — мэтр сцены, голос Матроскина и учитель великих актеров

Караван историй
Вспомнить всех Вспомнить всех

15 лучших ролей в русских сериалах

Men Today
Во II тысячелетии до нашей эры британское олово попало на Ближний Восток Во II тысячелетии до нашей эры британское олово попало на Ближний Восток

Во II тысячелетии до н. э олово поступало из Британии на Ближний Восток

N+1
Hовые имена в моде Hовые имена в моде

Сверкающее вау: новейшие супергерои модной индустрии!

Собака.ru
В своем ритме В своем ритме

Элегантный современный интерьер, где соединились прошлое и настоящее

SALON-Interior
Как превратить бывшее болото в тематический парк и привлечь в него тысячи туристов Как превратить бывшее болото в тематический парк и привлечь в него тысячи туристов

Как предпринимательница превратила любовь к сказам в успешный проект

Forbes
Открыть в приложении