Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Пластыри от прыщей: как они устроены и действительно ли помогают избавиться от высыпаний Пластыри от прыщей: как они устроены и действительно ли помогают избавиться от высыпаний

Работают ли патчи от прыщей или это просто маркетинг?

ТехИнсайдер
Воспитание маленького медведя. Про вежливость Воспитание маленького медведя. Про вежливость

Действительно ли современные родители плохо воспитывают своих детей?

СНОБ
Почему нельзя сдавать пауэрбанк в багаж Почему нельзя сдавать пауэрбанк в багаж

Что может случиться, если сдать power bank в багаж самолета?

CHIP
Чистоплотный, примерный семьянин и настоящий пловец: 12 впечатляющих фактов об образе жизни дикобразов Чистоплотный, примерный семьянин и настоящий пловец: 12 впечатляющих фактов об образе жизни дикобразов

Как дикобразы обустраивают своё жилище? Какие у них отношения в семье?

ТехИнсайдер
Дышать или не дышать: насколько эффективна дорогостоящая ксенонотерапия Дышать или не дышать: насколько эффективна дорогостоящая ксенонотерапия

Ксенонотерапия: что это за метод, безопасен ли он и насколько полезен в лечении?

Forbes
Вперед, к гармонии Вперед, к гармонии

В чем отличие Seadeck 6 от лодок предыдущего поколения?

Y Magazine
Живу и радуюсь! Живу и радуюсь!

Удовольствие – это жизненная необходимость

Добрые советы
Неожиданные концовки в литературе: книги, которые взорвали наши умы Неожиданные концовки в литературе: книги, которые взорвали наши умы

Произведения, которые оставляют долгий след в памяти благодаря своим финалам

Maxim
9 уникальных комнатных растений, которые украсят дом и удивят гостей9 уникальных комнатных растений, которые украсят дом и удивят гостей 9 уникальных комнатных растений, которые украсят дом и удивят гостей9 уникальных комнатных растений, которые украсят дом и удивят гостей

У комнатных растений много суперсил

VOICE
«Реалити-шоу срывает все маски» «Реалити-шоу срывает все маски»

Женя Кривцова о Колумбии, жизни под прицелом телекамеры и дворовом детстве

OK!
Плакун-трава Плакун-трава

Яркий акцент пейзажа, как вызов цветовому постоянству — это зацвёл дербенник!

Наука и жизнь
Что сказать зависимому Что сказать зависимому

Как уговорить близкого с аддикцией обратиться к психотерапевту

Psychologies
Охота за интересным Охота за интересным

Шесть российских стриминговых платформ, у которых есть будущее

Монокль
Зачем нужна астробиология? Зачем нужна астробиология?

Чем занимается астробиология, когда и как она выделилась в отдельную науку?

Знание – сила
Опухоли повысили риск развития сердечно-сосудистых заболеваний Опухоли повысили риск развития сердечно-сосудистых заболеваний

Частота развития сердечно-сосудистых заболеваний выше у пациентов с опухолями

N+1
Пьет значит жив Пьет значит жив

Как запой оказался единственной живой темой «Живого трупа»

Weekend
Родить по расчету Родить по расчету

Финансовая подготовка к рождению ребенка: 5 практичных советов

Лиза
Большие перемены Большие перемены

20 фактов, которые должны знать папа и мама первоклассника (и не только)

Men Today
Таланты из России дорожают, легионеры дешевеют: как изменились цены на игроков РПЛ Таланты из России дорожают, легионеры дешевеют: как изменились цены на игроков РПЛ

Портал Transfermarkt обновил цены на игроков Российской премьер-лиги (РПЛ)

Forbes
Клептомания: что это такое, причины заболевания, симптомы и методы лечения Клептомания: что это такое, причины заболевания, симптомы и методы лечения

Разбираем, что такое клептомания простыми словами

Psychologies
Кандидатский максимум Кандидатский максимум

Не все собеседования проходят гладко, а некоторые вообще очень странные

VOICE
«Кэрролл на вашей стороне»: как дизайнеры вдохновляются книгами, а писатели становятся модными иконами «Кэрролл на вашей стороне»: как дизайнеры вдохновляются книгами, а писатели становятся модными иконами

Почему писателей уже можно считать новыми инфлюенсерами?

Правила жизни
Утюг в сторону: как безопасно для материала разгладить складки на кожаной куртке Утюг в сторону: как безопасно для материала разгладить складки на кожаной куртке

Как в домашних условиях избавить кожаную куртку от складок

ТехИнсайдер
«Под рекой»: история женщины, столкнувшейся со своим прошлым и детскими страхами «Под рекой»: история женщины, столкнувшейся со своим прошлым и детскими страхами

Глава из романа Аси Демишкевич «Под рекой»

Forbes
Семь симптомов диабета Семь симптомов диабета

На ранних стадиях диабет хорошо лечится, главное – не упустить время!

Здоровье
«Ты не похожа на других женщин»: почему это плохой комплимент и как его можно сделать лучше «Ты не похожа на других женщин»: почему это плохой комплимент и как его можно сделать лучше

Давайте разберемся, что стоит за фразой «ты не такая, как все девушки»

Psychologies
Конечно, Вася Конечно, Вася

Василий Баста Вакуленко о самокритике, драках и творческих альтер эго

Men Today
Грозит ли насекомым вымирание? Грозит ли насекомым вымирание?

С насекомыми в Европе не всё благополучно, и вот почему

Наука и жизнь
10 видов предательства в семейной жизни 10 видов предательства в семейной жизни

Какие виды предательства бывают в семье, кроме физической измены?

Psychologies
«Рюмка водки и свежий воздух». Антон Тотибадзе о любимых художниках, семье и автопортрете в натюрморте «Рюмка водки и свежий воздух». Антон Тотибадзе о любимых художниках, семье и автопортрете в натюрморте

Антон Тотибадзе о его первых впечатлениях от живописи и кошмарных снах

СНОБ
Открыть в приложении