Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Все мы не молодеем: 5 тестов для оценки скорости старения Все мы не молодеем: 5 тестов для оценки скорости старения

Простые тесты, которые помогут понять, насколько вы справляетесь со старением

ТехИнсайдер
Поэт Владимир Алейников — о Леониде Губанове и 1970-х: Наша эпоха была орфической Поэт Владимир Алейников — о Леониде Губанове и 1970-х: Наша эпоха была орфической

Каким был Леонид Губанов — один из важнейших поэтов советского андеграунда

СНОБ
С особым подходом: почему хакеры атакуют компании разных отраслей по-разному С особым подходом: почему хакеры атакуют компании разных отраслей по-разному

Как бизнес-интересы определяют способы атак на сайты российских компаний

Forbes
Молочные и мясные антигены сдерживают появление рака кишечника Молочные и мясные антигены сдерживают появление рака кишечника

Как пищевые антигены запускают иммунную систему кишечника

ТехИнсайдер
Нейробиолог назвал привычку, объединяющую гениев. А у вас она есть? Нейробиолог назвал привычку, объединяющую гениев. А у вас она есть?

Настоящий прорыв мысли начинается в тишине и одиночестве

Maxim
Ах, какая женщина! Ах, какая женщина!

История жизни и любви Софи Лорен

Лиза
Зачем нужна астрохимия? Зачем нужна астрохимия?

Чем занимается астрохимия, когда и как она выделилась в самостоятельную науку

Знание – сила
Тяжелые эвакуационные машины с колесной формулой 8х8 Тяжелые эвакуационные машины с колесной формулой 8х8

Особенности эвакуационных тягачей

Обозрение армии и флота
Сколько стоит ваше время и как лучше говорить «нет»: секреты продуктивности Google Сколько стоит ваше время и как лучше говорить «нет»: секреты продуктивности Google

Отрывок из книги «Аптайм. Оптимальный способ управления временем и энергией»

Forbes
Проживание вдалеке от магазинов в детстве повысило риск ожирения в подростковом возрасте Проживание вдалеке от магазинов в детстве повысило риск ожирения в подростковом возрасте

Как ограниченный доступ к продуктам питания связан с развитием ожирения?

N+1
Чтобы одежда всегда вкусно пахла: 7 способов сделать крутые ароматизаторы для шкафа Чтобы одежда всегда вкусно пахла: 7 способов сделать крутые ароматизаторы для шкафа

Как из подручных средств сделать ароматизатор для шкафа?

ТехИнсайдер
«Рыжий и был этим временем» «Рыжий и был этим временем»

Семен Серзин о Борисе Рыжем и своем фильме «Рыжий»

Weekend
Без воды Без воды

Какие у безводной косметики преимущества и недостатки?

Лиза
«Кометы. Странники Солнечной системы» «Кометы. Странники Солнечной системы»

Как определить параметры ядра кометы

N+1
Управляющий партнер фонда «ТилТех Капитал» — о том, как угодить инвестору Управляющий партнер фонда «ТилТех Капитал» — о том, как угодить инвестору

Есть ли что-то общее у бизнеса и науки?

РБК
Все побежали — и я побежал: кому нужны онлайн-марафоны, а кому они только навредят Все побежали — и я побежал: кому нужны онлайн-марафоны, а кому они только навредят

Почему не стоит верить марафонам желаний?

VOICE
«Иерусалим земной и подземный» «Иерусалим земной и подземный»

Как были устроены первые археологические исследования в городе?

N+1
4 явления, с которыми вы обязательно столкнетесь на сеансах у психолога 4 явления, с которыми вы обязательно столкнетесь на сеансах у психолога

Что происходит с нами во время работы с психотерапевтом?

Psychologies
Дом над ямой. Победить своих демонов Дом над ямой. Победить своих демонов

Как справиться с безнадежностью — колонка Катерины Мурашовой

СНОБ
Как заниматься анальным сексом, как подготовиться и что делать, если вам не понравилось Как заниматься анальным сексом, как подготовиться и что делать, если вам не понравилось

В чем секрет удачного анального секса? Как получить от него удовольствие?

Psychologies
Разворот к человечности Разворот к человечности

Выход из социально-политического кризиса лежит в новом взгляде на человека

Монокль
Как можно использовать мяту в быту: 8 потрясающих идей Как можно использовать мяту в быту: 8 потрясающих идей

Вариантов, как можно применить мяту в быту, на самом деле целое множество!

ТехИнсайдер
Гуамских зимородков вернули в природу спустя 36 лет Гуамских зимородков вернули в природу спустя 36 лет

Гуамские альционы вернулись в природу впервые за 36 лет

N+1
Мамина гордость: как властная мать почти разрушила карьеру звезды сборной Франции Мамина гордость: как властная мать почти разрушила карьеру звезды сборной Франции

Как родственные связи могут погубить карьеру звездного спортсмена Рабьо

Forbes
Огранка эпохи: как ювелирная индустрия прошла путь от кричащей роскоши до минимализма Огранка эпохи: как ювелирная индустрия прошла путь от кричащей роскоши до минимализма

Вспоминаем, какой была ювелирная индустрия в конце «нулевых»

Forbes
Человек, изменивший все: как Дон Гарбер превратил МЛС в турнир с доходом в $2 млрд Человек, изменивший все: как Дон Гарбер превратил МЛС в турнир с доходом в $2 млрд

Дон Гарбер и его уникальный дар видеть возможности там, где другие отчаились

Forbes
Хирурги опубликовали подробности и годичные результаты первой трансплантации глаза Хирурги опубликовали подробности и годичные результаты первой трансплантации глаза

Первая трансплантация донорского глазного яблока: детали операции и ее эффекты

N+1
Пробуксовка на грузовом маршруте Пробуксовка на грузовом маршруте

Продажи грузовиков в России падают. Почему?

Монокль
Кто такой пополамщик: 7 причин такого поведения со стороны мужчины Кто такой пополамщик: 7 причин такого поведения со стороны мужчины

Кто такой пополамщик и почему мужчины придерживаются такой модели поведения

Psychologies
«Ромул», «Прометей», «Завет» и другие фильмы про Чужих — от худшего к лучшему «Ромул», «Прометей», «Завет» и другие фильмы про Чужих — от худшего к лучшему

Лучшие и худшие фильмы о жутких и опасных ксеноморфах

Правила жизни
Открыть в приложении