Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему не стоит оставлять открытыми алюминиевые банки в холодильнике Почему не стоит оставлять открытыми алюминиевые банки в холодильнике

Безопасно ли есть из железных банок, которые были оставлены открытыми?

ТехИнсайдер
Обмен франшизами: как бренды России и Белоруссии осваивают соседний рынок Обмен франшизами: как бренды России и Белоруссии осваивают соседний рынок

Планы по выводу франшиз на белорусский рынок есть у многих российских брендов

Forbes
Динамически меняющая внешность маска поможет обмануть систему распознавания лиц Динамически меняющая внешность маска поможет обмануть систему распознавания лиц

Инженеры создали маску, способную изменять форму лица и цвет кожи

N+1
Индивидуальность: как остаться самим собой в мире, где все стремятся выглядеть одинаково Индивидуальность: как остаться самим собой в мире, где все стремятся выглядеть одинаково

Индивидуальность: что это такое и почему её важно развивать?

Psychologies
Мозг, исцеляющий себя Мозг, исцеляющий себя

Реальные истории людей, которые победили болезни и преобразили свой мозг

kiozk originals
Сериал «Наследники» наяву: дети Руперта Мердока ведут борьбу за медиаимперию Сериал «Наследники» наяву: дети Руперта Мердока ведут борьбу за медиаимперию

Подробности скандала в духе сериала «Наследники» от HBO

СНОБ
14 фраз, из-за которых тебя перестанут воспринимать всерьез 14 фраз, из-за которых тебя перестанут воспринимать всерьез

Фразы, которые мастера красноречия советуют никогда не использовать

VOICE
Ханты-Мансийск: мамонты и современное искусство Ханты-Мансийск: мамонты и современное искусство

В равнинах Западной Сибири, на слиянии Оби и Иртыша находится Ханты-Мансийск

Psychologies
«Плохая девочка»: как Николь Кидман учит женщин не бояться собственных желаний «Плохая девочка»: как Николь Кидман учит женщин не бояться собственных желаний

«Плохая девочка»: фильм о женщине, которая учиться жить в мире с самой собой

Forbes
Эта девочка убедила своего парня убить и сжечь всю ее семью! История преступления в США Эта девочка убедила своего парня убить и сжечь всю ее семью! История преступления в США

Эрин Кэффи подстроила убийство семьи после запрета встречаться с парнем

ТехИнсайдер
Кто остановит испанского слизня Кто остановит испанского слизня

Какие методы борьбы существуют против инвазивного вредителя — испанского слизня

Наука
Феминизм, магический реализм и жизнь самой жестокой королевы: 7 лучших книг африканских писателей Феминизм, магический реализм и жизнь самой жестокой королевы: 7 лучших книг африканских писателей

Африканская литература: о правах женщин, любви и национальной идентичности

Правила жизни
Вес попутал Вес попутал

Росина Сефиен – о том, как одеваться, если ты плюс-сайз

VOICE
Более 5000 живущих у американцев тигров не помогут увеличить генетическое разнообразие диких сородичей Более 5000 живущих у американцев тигров не помогут увеличить генетическое разнообразие диких сородичей

Тигры, живущие у частных владельцев, не помогут обогатить генофонд диких тигров

N+1
Стесняюсь спросить: что такое рак крови, как его лечат и кто в группе риска? Стесняюсь спросить: что такое рак крови, как его лечат и кто в группе риска?

Развенчиваем популярные мифы о лейкемии, лейкозах и не только

Правила жизни
Антиалкогольная компания Антиалкогольная компания

Десятка выдающихся пьяниц, алкоголиков и выпивающих героев мирового киноэкрана

Weekend
Яна Крайнова: «Даже после успеха «Дневника доктора Зайцевой» я чувствовала себя самозванкой» Яна Крайнова: «Даже после успеха «Дневника доктора Зайцевой» я чувствовала себя самозванкой»

На любых актерских курсах учат: актриса не должна много думать головой

Коллекция. Караван историй
«Папа, давай заморозим твой мозг». Как с помощью крионики хотят победить смерть «Папа, давай заморозим твой мозг». Как с помощью крионики хотят победить смерть

Сможет ли крионика подарить людям вечную жизнь?

СНОБ
Сезон не охоты Сезон не охоты

Как вдохновиться на подвиг вернуться к тренировкам?

Men Today
9 уникальных комнатных растений, которые украсят дом и удивят гостей9 уникальных комнатных растений, которые украсят дом и удивят гостей 9 уникальных комнатных растений, которые украсят дом и удивят гостей9 уникальных комнатных растений, которые украсят дом и удивят гостей

У комнатных растений много суперсил

VOICE
Почему страшно быть счастливым? Почему страшно быть счастливым?

Почему многие неосознанно избегают своего счастья?

Здоровье
Что такое Германская Новая Медицина и чем она опасна: объяснение врача Что такое Германская Новая Медицина и чем она опасна: объяснение врача

Германская Новая Медицина — метод лечения, считающийся шарлатанством

Psychologies
Гастромир изнутри Гастромир изнутри

Что делает гастросцену России такой уникальной и успешной?

Men Today
Как появился ярлык Made in China. Отрывок из книги Как появился ярлык Made in China. Отрывок из книги

Как появился ярлык Made in China, что он значит для производителей и покупателей

СНОБ
Холли, где твой щит? Холли, где твой щит?

«Холли» Фин Трох: социальная мистика из Бельгии

Weekend
На пике тренда На пике тренда

Где приобщиться к моде на летний отдых на горнолыжных курортах?

Men Today
Миниатюрный робот с напечатанными на 3D-принтере шестью ногами закатил мяч в ворота Миниатюрный робот с напечатанными на 3D-принтере шестью ногами закатил мяч в ворота

Как инженерам удалось разработать шестиногого микроробота Picotaur

N+1
«Накатить бокальчик игристого». Сомелье рекомендуют вина к завтраку «Накатить бокальчик игристого». Сомелье рекомендуют вина к завтраку

Сомелье рассказали, какие вина подойдут к яичнице, каше и сырникам

СНОБ
Ничего личного: как строительная корпорация США создавала советскую индустрию Ничего личного: как строительная корпорация США создавала советскую индустрию

Как американская компания Bechtel Corporation помогала строить СССР

Forbes
Не фантазия, а реальность: как фиджитал становится инструментом бизнеса Не фантазия, а реальность: как фиджитал становится инструментом бизнеса

Фиджитал становится для компаний важным инструментом для продвижения

Forbes
Открыть в приложении