Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Пророческий мультсериал: 7 сбывшихся предсказаний из «Симпсонов» Пророческий мультсериал: 7 сбывшихся предсказаний из «Симпсонов»

Про 7 самых интересных предсказаний «Симпсонов», которые сбылись

ТехИнсайдер
Гуамских зимородков вернули в природу спустя 36 лет Гуамских зимородков вернули в природу спустя 36 лет

Гуамские альционы вернулись в природу впервые за 36 лет

N+1
Столкновение умов: как не проиграть конкуренцию в борьбе за лидерство в области ИИ Столкновение умов: как не проиграть конкуренцию в борьбе за лидерство в области ИИ

Как на самом деле развивается ИИ в России?

Forbes
Вперед, к гармонии Вперед, к гармонии

В чем отличие Seadeck 6 от лодок предыдущего поколения?

Y Magazine
Интроверты​​​​ Интроверты​​​​

Как использовать особенности своего характера

kiozk originals
Мобильная лаборатория: проверка на дорогах Мобильная лаборатория: проверка на дорогах

Как устроен диагностический комплекс для мониторинга состояния дорожных покрытий

Наука
Нежный уголовник, «дедушка» советских диссидентов: каким был Иван Тургенев Нежный уголовник, «дедушка» советских диссидентов: каким был Иван Тургенев

Иван Тургенев — нежный уголовник, «дедушка» советских диссидентов

СНОБ
Что такое айран и чем он полезен Что такое айран и чем он полезен

Айран — турецкий напиток, полюбившийся во всем мире

РБК
Ирина Безрукова: «Важно успевать жить свою жизнь» Ирина Безрукова: «Важно успевать жить свою жизнь»

Ирина Безрукова: секреты ухода за собой и любовь к орхидеям

Здоровье
Может ли взорваться аккумулятор в телефоне Может ли взорваться аккумулятор в телефоне

Новая фобия: аккумулятор вашего мобильного гаджета может взорваться

CHIP
Культ удовольствия Культ удовольствия

Гедонизм — это хорошо или плохо?

Добрые советы
«Я больше так не могу»: что делать, если потерял мотивацию к работе, и как компании помочь сотруднику «Я больше так не могу»: что делать, если потерял мотивацию к работе, и как компании помочь сотруднику

Почему сотруднику может разонравиться его работа?

СНОБ
Следи за словами. Фразы, которые точно не стоит говорить своему боссу Следи за словами. Фразы, которые точно не стоит говорить своему боссу

С помощью каких фраз можно зарекомендовать себя как ненадежного сотрудника

Лиза
Много вопросов, мало ответов: почему тесты на определение профессии не работают Много вопросов, мало ответов: почему тесты на определение профессии не работают

Кем быть? Как найти дело, которое не только нравится, но и приносит деньги?

Forbes
4 явления, с которыми вы обязательно столкнетесь на сеансах у психолога 4 явления, с которыми вы обязательно столкнетесь на сеансах у психолога

Что происходит с нами во время работы с психотерапевтом?

Psychologies
Со всей душой Со всей душой

Как отдохнуть в Армении в бархатный сезон

Лиза
Россияне полюбили избинг. Почему отдых в сельских домиках так нравится молодежи? Россияне полюбили избинг. Почему отдых в сельских домиках так нравится молодежи?

Что такое избинг и почему молодых людей привлекает загородный отдых

Psychologies
Расстройства пищевого поведения привели к тяжелым электролитным нарушениям Расстройства пищевого поведения привели к тяжелым электролитным нарушениям

К чему приводят электролитные нарушения при расстройствах пищевого поведения

N+1
Московский Монмартр Московский Монмартр

Городок художников, притаившийся в необычных домах 1930-1950х годов

Seasons of life
Улучшение землепользования сделает сельское хозяйство углеродно-отрицательным к середине века Улучшение землепользования сделает сельское хозяйство углеродно-отрицательным к середине века

В 2050 мировой сельхозсектор может перейти к отрицательным углеродным выбросам

N+1
Слова и музыка Слова и музыка

Елизавета Базыкина удивляет спокойствием не только к успеху, но и к неудачам

VOICE
Вторая планета от Солнца Вторая планета от Солнца

Верфь Heesen в июле объявила о продаже 55‑метровой яхты своему давнему клиенту

Y Magazine
Для кофеманов! Узнайте виды кофе в Италии и почему их сложно найти в России Для кофеманов! Узнайте виды кофе в Италии и почему их сложно найти в России

Кофейная культура Италии

ТехИнсайдер
Портрет неизвестного Портрет неизвестного

Кто решает, какое произведение искусства называть шедевром?

СНОБ
Скелеты в шкафу: почему так тяжело долго жить с тайной, о которой нельзя говорить Скелеты в шкафу: почему так тяжело долго жить с тайной, о которой нельзя говорить

Как секреты влияют на нашу жизнь и почему их так трудно хранить?

Forbes
«Любовь — это все, что нам нужно?»: история одной клиентки психотерапевта «Любовь — это все, что нам нужно?»: история одной клиентки психотерапевта

Как клиенты с помощью психотерапии пытаются справиться с одиночеством?

Psychologies
А вы знали? Вот как обтягивающая одежда может навредить вашему здоровью! А вы знали? Вот как обтягивающая одежда может навредить вашему здоровью!

Почему вам стоит убрать обтягивающую одежду из своего гардероба

ТехИнсайдер
Выбираем материнскую плату X99 для мощного, но недорогого компьютера Выбираем материнскую плату X99 для мощного, но недорогого компьютера

Лучшие материнские платы X99 для сборки достойного игрового ПК

CHIP
Настоящий прорыв в области криминалистики: как Алек Джеффрис изобрел ДНК-дактилоскопию Настоящий прорыв в области криминалистики: как Алек Джеффрис изобрел ДНК-дактилоскопию

Как Алек Джеффрис нашел уникальную деталь, которой различаются ДНК людей

ТехИнсайдер
От соблазнительницы до убийцы: 7 роковых женщин из кино, которые не боятся разрушать жизни От соблазнительницы до убийцы: 7 роковых женщин из кино, которые не боятся разрушать жизни

Собрали в подборку семь роковых леди кинематографа, способных на многое

Maxim
Открыть в приложении