Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Природные успокоительные и витаминные бомбы: 7 фруктов, богатых магнием Природные успокоительные и витаминные бомбы: 7 фруктов, богатых магнием

Получить суточную дозу магния можно, просто добавив в свой рацион эти продукты!

ТехИнсайдер
Живу и радуюсь! Живу и радуюсь!

Удовольствие – это жизненная необходимость

Добрые советы
Туристическая подлодка и летающий автомобиль: топ-5 забытых изобретений из СССР Туристическая подлодка и летающий автомобиль: топ-5 забытых изобретений из СССР

Рассказываем о 5 выдающихся, но забытых изобретениях Страны Советов

ТехИнсайдер
Человек стал вожаком птичьей стаи и ведет птиц по маршрутам миграции Человек стал вожаком птичьей стаи и ведет птиц по маршрутам миграции

Команда экологов Waldrappteam учит перелетных птиц находить пути миграции

ТехИнсайдер
Откуда берется сексофобия и как от нее избавиться: 2 способа Откуда берется сексофобия и как от нее избавиться: 2 способа

Как избавиться от неприятных мыслей об интимной близости?

Psychologies
«Как живем, так и шутим»: вспоминая Александра Васильевича Маслякова «Как живем, так и шутим»: вспоминая Александра Васильевича Маслякова

Светлана Мудрик вспоминает мэтра, под чьим руководством начинала свой путь

Правила жизни
Очевидные преимущества Очевидные преимущества

О яхтах Gulf Craft, оборудовании и технологиях, применяемых при их производстве

Y Magazine
14 фраз, из-за которых тебя перестанут воспринимать всерьез 14 фраз, из-за которых тебя перестанут воспринимать всерьез

Фразы, которые мастера красноречия советуют никогда не использовать

VOICE
Хорошо-то как! Хорошо-то как!

Как получать удовольствие от жизни всегда и просто так?

Добрые советы
Пищевая перезагрузка Пищевая перезагрузка

Как сидеть на диете и не срываться, если в семье худеешь только ты

Лиза
«Всё сам. Всё сам» «Всё сам. Всё сам»

Ход обсуждения, а фактически — судилища, был зафиксирован Владимиром Малиным

Дилетант
Вперед, к гармонии Вперед, к гармонии

В чем отличие Seadeck 6 от лодок предыдущего поколения?

Y Magazine
Сырьевое эмбарго: резервы небольшие Сырьевое эмбарго: резервы небольшие

Очевидных кандидатов на контрсанкции на третьем году санкционной войны немного

Монокль
Соленый папоротник и мороженое из грибов: что пробовать на Камчатке Соленый папоротник и мороженое из грибов: что пробовать на Камчатке

Самые аутентичные блюда Камчатки

СНОБ
Наши сияющие 30 Наши сияющие 30

О том, как меняются наши взгляды на красоту и возраст

Новый очаг
Витебская Джоконда: как художница Вера Ермолаева превращала детские книги в авангард Витебская Джоконда: как художница Вера Ермолаева превращала детские книги в авангард

Как иллюстрации к детским стихам могут быть объектом авангардного эксперимента

Forbes
8 неожиданных фраз, которые разрушают вашего ребенка 8 неожиданных фраз, которые разрушают вашего ребенка

Почему некоторые даже самые привычные слова лучше не говорить детям

Psychologies
Правильный счет: как научиться зарабатывать на криптобизнесе? Правильный счет: как научиться зарабатывать на криптобизнесе?

Разбираемся в тонкостях и нюансах операций с криптовалютой в компании эксперта

Правила жизни
Сьюзен Таубес «Развод». Впервые на русском Сьюзен Таубес «Развод». Впервые на русском

Отрывок из забытого романа Сьюзен Таубес «Развод»

СНОБ
Ушла за цветами для мамы и пропала без вести: загадочное дело Марджори Уэст Ушла за цветами для мамы и пропала без вести: загадочное дело Марджори Уэст

Малышка по имени Марджори Уэст таинственно исчезла в лесах Пенсильвании

ТехИнсайдер
Елена Проклова: «Я имею право жить не так, как надо, а как хочу» Елена Проклова: «Я имею право жить не так, как надо, а как хочу»

Лена, какие-то утяжелители возьми, нельзя же так порхать по жизни

Коллекция. Караван историй
Стать психологом – как и зачем? Стать психологом – как и зачем?

О подводных камнях псиобразования и о том, кому можно доверять в этом вопросе

Psychologies
Молочные и мясные антигены сдерживают появление рака кишечника Молочные и мясные антигены сдерживают появление рака кишечника

Как пищевые антигены запускают иммунную систему кишечника

ТехИнсайдер
Хирурги опубликовали подробности и годичные результаты первой трансплантации глаза Хирурги опубликовали подробности и годичные результаты первой трансплантации глаза

Первая трансплантация донорского глазного яблока: детали операции и ее эффекты

N+1
«Прощай, United States!» Пароход размером больше «Титаника» станет мега-рифом «Прощай, United States!» Пароход размером больше «Титаника» станет мега-рифом

Корабль United States погибает, чтобы наконец начать приносить пользу

ТехИнсайдер
В своих стенах. Строительство дома с помощью маткапитала: как выбрать подрядчика В своих стенах. Строительство дома с помощью маткапитала: как выбрать подрядчика

Какие подводные камни ждут при строительстве дома и что необходимо предусмотреть

Лиза
Небесная Европа Небесная Европа

Возможно, спутник Юпитера — место, где есть, пусть и самая примитивная, жизнь?

Знание – сила
Чудеса системы Сатурна: жизнь на Титане? Чудеса системы Сатурна: жизнь на Титане?

Почему на Титане можно представить только неземлеподобную жизнь?

Наука и техника
Ученые в восторге от буйволов: живые машины восстанавливают природу лучше любой техники Ученые в восторге от буйволов: живые машины восстанавливают природу лучше любой техники

Чем так полезны для природы буйволы?

ТехИнсайдер
Огненный гость из загадочной Вселенной: почему нельзя делать снимки шаровой молнии и другие факты о таинственном явлении Огненный гость из загадочной Вселенной: почему нельзя делать снимки шаровой молнии и другие факты о таинственном явлении

Шаровая молния: загадочное явление, которое притягивает и пугает одновременно

ТехИнсайдер
Открыть в приложении