Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«А как же шарики?!» Человечество исчерпает запасы гелия быстрее, чем нефти или газа – но есть выход «А как же шарики?!» Человечество исчерпает запасы гелия быстрее, чем нефти или газа – но есть выход

Поставщики начали отказывать в поставках гелия даже научным лабораториям

ТехИнсайдер
«Бриджертоны» — 80 миллионов поклонников и мгновенная слава актеров «Бриджертоны» — 80 миллионов поклонников и мгновенная слава актеров

О закулисье «Бриджертонов» и историях актеров, сыгравших самые яркие роли

Караван историй
Ветряки, солнечные панели и декарбонизация бизнеса: какой будет энергетика будущего Ветряки, солнечные панели и декарбонизация бизнеса: какой будет энергетика будущего

Есть ли у человечества возможность отказаться от грязных ресурсов?

Forbes
Аргонавты Вселенной Аргонавты Вселенной

Фрагменты романа-утопии Александра Ярославского «Аргонавты Вселенной»

Наука и жизнь
Почему взрослые дети не уважают зрелых родителей: мнение и советы психоаналитика Почему взрослые дети не уважают зрелых родителей: мнение и советы психоаналитика

Почему мы считаем родительские убеждения устаревшими и обесцениваем их опыт

Psychologies
Дело Дурова: где право и ключи? Дело Дурова: где право и ключи?

Что же французам было нужно от Павла Дурова на самом деле?

Монокль
Детки в клетке: что такое квадробинг и может ли он быть опасным для ребенка Детки в клетке: что такое квадробинг и может ли он быть опасным для ребенка

Может ли квадробинг нанести вред детской психике?

Forbes
Неврологи описали изменения мозга у беременной женщины Неврологи описали изменения мозга у беременной женщины

Ученые провели 26 томографий беременной, чтобы оценить изменения ее мозга

N+1
«И тянутся города»: как группа из Барнаула прославилась благодаря виральному треку «И тянутся города»: как группа из Барнаула прославилась благодаря виральному треку

Как барнаульцы создали один из самых успешных рок-проектов страны?

Forbes
Старый фотоальбом: почему мы стремимся к теплым отношениям, а в итоге замерзаем от холода? Старый фотоальбом: почему мы стремимся к теплым отношениям, а в итоге замерзаем от холода?

Как наши паттерны снова и снова заставляют менять маршрут в отношениях

Psychologies
Загрязнители воздуха по-разному повлияли на повседневную двигательную активность американцев Загрязнители воздуха по-разному повлияли на повседневную двигательную активность американцев

Загрязнение воздуха влияет на двигательную повседневную активность

N+1
Истина где-то рядом: как создавались культовые «Секретные материалы» Истина где-то рядом: как создавались культовые «Секретные материалы»

«Секретные материалы»: какое влияние оказал культовый сериал на индустрию?

Правила жизни
13 игр с поцелуями — от тех, которые оживят вашу прелюдию, до тех, которые подойдут для вечеринки 13 игр с поцелуями — от тех, которые оживят вашу прелюдию, до тех, которые подойдут для вечеринки

Игры с поцелуями: как насчет еще одного повода поцеловаться?

VOICE
Ареопаг против Хрущёва Ареопаг против Хрущёва

Властная элита СССР, которая тяжело поддавалась либерализации и реформаторству

Дилетант
Дочь за отца отвечает Дочь за отца отвечает

«Мой Марчелло»: знакомые и родственники в оммаже великому Мастроянни

Weekend
Украшения Украшения

В рейтинге RR — самые запоминающиеся драгоценности года и одно — двадцатилетия

RR Люкс.Личности.Бизнес.
HAVAL H5: Лёгкий, длинный и не слишком дорогой HAVAL H5: Лёгкий, длинный и не слишком дорогой

Замена Chevrolet Tahoe — Haval Н5: весит меньше, а стоит дешевле

4x4 Club
«Золушка — это я» «Золушка — это я»

Екатерина Вилкова о теме сказок, сказочных ролях и чудесах в жизни

OK!
От создателей «Южного парк» и «Офиса»: самые высокооплачиваемые шоураннеры — 2024 От создателей «Южного парк» и «Офиса»: самые высокооплачиваемые шоураннеры — 2024

Рейтинг самых высокооплачиваемых шоураннеров 2024 года

Forbes
Иван Янковский, самосуд и ельцинская Россия: каким получился сериал «Аутсорс»? Иван Янковский, самосуд и ельцинская Россия: каким получился сериал «Аутсорс»?

О параллелях, смыслах и оглушающем эффекте сериала «Аутсорс»

Правила жизни
История щербета: вы всю жизнь произносили это слово неправильно. Даже производители десерта пишут его с ошибкой История щербета: вы всю жизнь произносили это слово неправильно. Даже производители десерта пишут его с ошибкой

Что значит слово «щербет»?

ТехИнсайдер
«Русагро» переработает рапс в Кузбассе «Русагро» переработает рапс в Кузбассе

На будущем предприятии ГК «Русагро» планируется перерабатывать 1 млн т рапса

Агроинвестор
Услышать, как тикают часики: зачем москвичек направляют на проверку фертильности Услышать, как тикают часики: зачем москвичек направляют на проверку фертильности

О том, как устроена проверка фертильности и какую вызвала реакцию у экспертов

Forbes
Хотите сохранять мир в отношениях? Общайтесь правильно! Хотите сохранять мир в отношениях? Общайтесь правильно!

Как говорить с партнером, чтобы вас слышали и понимали

Psychologies
Инь-ян Инь-ян

Что означает древний символ инь-ян и как применять его силу на практике

Лиза
Лю Чжэньюнь: Когда я смотрю спектакли по моим произведениям, я каждый раз открываю в них что-то новое Лю Чжэньюнь: Когда я смотрю спектакли по моим произведениям, я каждый раз открываю в них что-то новое

Китайский писатель Лю Чжэньюнь о визитах в Россию и русской литературе

СНОБ
Разговоры о страшном Разговоры о страшном

Как обэриуты изучали мир, где остановилось время

Weekend
Где у нас кнопка счастья? Где у нас кнопка счастья?

Есть ли у нас центр наслаждения и как его активировать?

Добрые советы
Глава Дагестана Сергей Меликов — Forbes: «Здесь всегда будут свои отношения» Глава Дагестана Сергей Меликов — Forbes: «Здесь всегда будут свои отношения»

Чем отличается дагестанская история имама Шамиля от общепринятой версии?

Forbes
В ожидании полярного сияния. О якутской драме «Чума» В ожидании полярного сияния. О якутской драме «Чума»

Какие темы поднимает фильм Дмитрия Давыдова «Чума»

СНОБ
Открыть в приложении