Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Исследование показало, что социальное дистанцирование не защищает от инфекций Исследование показало, что социальное дистанцирование не защищает от инфекций

Социальное дистанцирование не защищает от инфекций. А что защищает?

ТехИнсайдер
Если устала от детей Если устала от детей

Что на самом деле тебя истощает и как вернуться в ресурс

Лиза
Как увидеть угрозы безопасности при работе с ИИ? Ловите чек-лист Как увидеть угрозы безопасности при работе с ИИ? Ловите чек-лист

Чем опасны ИИ-модели для бизнеса и почему традиционная ИБ не справляется

Inc.
Эффекта ноль Эффекта ноль

4 самые бесполезные косметологические процедуры — мнение врача

Лиза
Леонардо да Винчи. Биография Леонардо да Винчи. Биография

Почему «Джоконда» – шедевр, на который хотят посмотреть вживую миллионы людей

kiozk originals
Соленый папоротник и мороженое из грибов: что пробовать на Камчатке Соленый папоротник и мороженое из грибов: что пробовать на Камчатке

Самые аутентичные блюда Камчатки

СНОБ
Яхты Яхты

В люксовом яхтинге гигантоманию сменила компактность

RR Люкс.Личности.Бизнес.
Почему Луна не падает на Землю: 5 случайных фактов о мире, которые известны благодаря физике Почему Луна не падает на Землю: 5 случайных фактов о мире, которые известны благодаря физике

Что физика помогла нам узнать о мире вокруг нас?

ТехИнсайдер
Вечный ЗОЖ Вечный ЗОЖ

Почему любительский спорт переживает ренессанс

Men Today
Не по-нашему. 5 минусов скандинавского стиля в интерьере Не по-нашему. 5 минусов скандинавского стиля в интерьере

Рассмотрим минусы скандинавского стиля интерьера в российских реалиях

Лиза
Взаимовыгодный альянс Взаимовыгодный альянс

Покупка U. S. Steel японскими металлургами имеет выгоду для обеих сторон

Монокль
«Субстанция»: безумный боди-хоррор с Деми Мур о страхах стареющей кинозвезды «Субстанция»: безумный боди-хоррор с Деми Мур о страхах стареющей кинозвезды

«Субстанция»: яростная просьба отстать от женщин и их внешности

Forbes
Артиллерия в новом веке Артиллерия в новом веке

Основные направления развития рынка артиллерийского вооружения

Обозрение армии и флота
7 странных, но работающих способов найти себе пару 7 странных, но работающих способов найти себе пару

Подумать только, когда-то мы считали, что онлайн-знакомства — это странно!

VOICE
Как гинеколог Тавхида бен Шейх делала медицину в Тунисе доступной для женщин Как гинеколог Тавхида бен Шейх делала медицину в Тунисе доступной для женщин

Гинеколог Тавхида бен Шейх не только лечила женщин, но и боролась за их права

Forbes
Ученые в восторге от буйволов: живые машины восстанавливают природу лучше любой техники Ученые в восторге от буйволов: живые машины восстанавливают природу лучше любой техники

Чем так полезны для природы буйволы?

ТехИнсайдер
Сезон не охоты Сезон не охоты

Как вдохновиться на подвиг вернуться к тренировкам?

Men Today
Морские губки отпугивают хищников ядовитым молибденом Морские губки отпугивают хищников ядовитым молибденом

У губок в Эйлатском заливе есть оригинальный способ отпугивания хищников

ТехИнсайдер
Путешествия Путешествия

Уникальные локации, эталонный сервис и необычные предложения в отелях мира

RR Люкс.Личности.Бизнес.
«Рыжий и был этим временем» «Рыжий и был этим временем»

Семен Серзин о Борисе Рыжем и своем фильме «Рыжий»

Weekend
Без лишних предисловий: Каневский и Сулим Без лишних предисловий: Каневский и Сулим

Леонид Каневский и Саша Сулим — главная динамическая пара прямо сейчас

Собака.ru
В чем польза боярышника и что из него можно приготовить В чем польза боярышника и что из него можно приготовить

Боярышник: что это за ягода и чем он полезен?

РБК
«Комбинация»: как женская группа из Саратова покорила Советский Союз «Комбинация»: как женская группа из Саратова покорила Советский Союз

Как девчонки в неоновых лосинах и с начесами на головах покорили СССР?

Forbes
Человек стал вожаком птичьей стаи и ведет птиц по маршрутам миграции Человек стал вожаком птичьей стаи и ведет птиц по маршрутам миграции

Команда экологов Waldrappteam учит перелетных птиц находить пути миграции

ТехИнсайдер
Моложе, красивее, идеальнее: 5 пугающих фильмов о тяге к совершенству Моложе, красивее, идеальнее: 5 пугающих фильмов о тяге к совершенству

Фильмы, исследующие внутренние конфликты через изменения внешние

Psychologies
Расхламляйся! Расхламляйся!

Как расстаться навсегда с ненужным скарбом?

Лиза
Успеть за 24 часа Успеть за 24 часа

Гид по Москве. Программа-минимум для тех, кто первый раз в столице

Лиза
Voyager включил двигатели, которые не использовал 44 года: они все еще работают! Voyager включил двигатели, которые не использовал 44 года: они все еще работают!

Как инженеры NASA умудряются продлить работу космического аппарата Voyager

ТехИнсайдер
Красота Красота

Шорт-лист самых интересных бьюти-запусков года

RR Люкс.Личности.Бизнес.
В ожидании полярного сияния. О якутской драме «Чума» В ожидании полярного сияния. О якутской драме «Чума»

Какие темы поднимает фильм Дмитрия Давыдова «Чума»

СНОБ
Открыть в приложении