Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Тяжелый легкий бег Тяжелый легкий бег

Как работает организм на марафонских дистанциях

Популярная механика
NASA выбрало место высадки для венерианского атмосферного зонда DAVINCI NASA выбрало место высадки для венерианского атмосферного зонда DAVINCI

Как будет проведено исследование атмосферы и поверхности Венеры

N+1
Утро — доброе: 11 правил для хорошего начала дня Утро — доброе: 11 правил для хорошего начала дня

Лишь немногие способны спокойно собраться с утра и при этом все успеть

Psychologies
Патронус, боггарт и Карта Мародеров: психологические уроки «Гарри Поттера» Патронус, боггарт и Карта Мародеров: психологические уроки «Гарри Поттера»

Почему история о «мальчике, который выжил» не перестает нас увлекать?

Psychologies
Как уникальные свойства урана изменят мир: будущее за мирным атомом Как уникальные свойства урана изменят мир: будущее за мирным атомом

Как с помощью урана можно избавить Землю от огромного количества отходов

ТехИнсайдер
«Наши дети порой бедокурят»: печальная история встречи индейских вождей с Авраамом Линкольном «Наши дети порой бедокурят»: печальная история встречи индейских вождей с Авраамом Линкольном

Индейские войны — череда самых долгих и ожесточенных битв Америки

Вокруг света
Как победить храп соседа по купе и другие секреты выживания в поезде Как победить храп соседа по купе и другие секреты выживания в поезде

Как сделать путешествие на поезде идиллическим?

Maxim
Беспамятство за работой Беспамятство за работой

Михаил Трофименков о французском режиссере Алене Рене

Weekend
Кубик в кубе Кубик в кубе

Даже если вы не видели Ольгу Кравцову и Руслана Габидуллина, вы любите их голоса

Собака.ru
Рыбы и зрелищ Рыбы и зрелищ

Самые интересные места для погружения на планете

Вокруг света
Трюковые самокаты: как выбрать подходящую модель Трюковые самокаты: как выбрать подходящую модель

Трюковой самокат — это особый вид, сделанный специально для выполнения трюков

ТехИнсайдер
Фильтр с песком очистил воду от нанопластика Фильтр с песком очистил воду от нанопластика

С помощью фильтрации через песок из воды можно удалить до 99,5% пластика

N+1
«Если ты показываешь смерть, нужно показать и жизнь» «Если ты показываешь смерть, нужно показать и жизнь»

Как войну снимают женщины

Weekend
«Меня избивали руками и ногами»: Решетова заявила о насилии после «ужасного видео со свадьбы» «Меня избивали руками и ногами»: Решетова заявила о насилии после «ужасного видео со свадьбы»

Бывшая возлюбленная рэпера Тимати назвала себя жертвой бытового насилия

VOICE
«Беты» первыми столкнутся с природными санкциями» «Беты» первыми столкнутся с природными санкциями»

Каким видится сегодня поколение потребителей будущего?

РБК
Мавзолей Джучи-хана оказался построен через 100 лет после его смерти Мавзолей Джучи-хана оказался построен через 100 лет после его смерти

Старший сын Чингисхана, возможно, никогда не был похоронен в известной гробнице

N+1
Одно прикосновение фанатки сломало всю ее жизнь: история актрисы Джин Тирни Одно прикосновение фанатки сломало всю ее жизнь: история актрисы Джин Тирни

Джин Тирни всего лишь одно прикосновение поклонницы принесло много страданий

VOICE
У динозавров не было вшей: кем на самом деле оказались «паразиты» Мелового периода У динозавров не было вшей: кем на самом деле оказались «паразиты» Мелового периода

Палеонтологи разобрались в крошечных насекомых, живших 100 миллионов лет назад

Вокруг света
Защитные реакции психики: почему в момент ссоры мы плачем или молчим Защитные реакции психики: почему в момент ссоры мы плачем или молчим

Происхождение защитных механизмов, как они включаются и работают внутри нас

VOICE
«Детям необходимо жить в семье»: как устроен процесс усыновления в России «Детям необходимо жить в семье»: как устроен процесс усыновления в России

Рассказываем об актуальной ситуации с сиротством в России

Forbes
Называет истеричкой и не говорит о любви: 5 главных претензий женщин к мужчинам Называет истеричкой и не говорит о любви: 5 главных претензий женщин к мужчинам

Ты даже не представляешь, сколько претензий накапливается у женщин к мужчинам

Maxim
Эффект бабочки: чешуекрылые подсказали ученым, как создать сверхматериал для звукоизоляции Эффект бабочки: чешуекрылые подсказали ученым, как создать сверхматериал для звукоизоляции

Природа уже изобрела сверхматериалы до нас

Вокруг света
Игорь Горьков Игорь Горьков

Генеральный директор Nexign Игорь Горьков — можно ли предсказать будущее?

Собака.ru
9 серьезных катастроф, случившихся по вине конструкторов: самые страшные события в истории 9 серьезных катастроф, случившихся по вине конструкторов: самые страшные события в истории

Человечество ошибается – и делает это отнюдь не редко

ТехИнсайдер
Кто такие самцы Кто такие самцы

Чем отличаются самцы от самок?

СНОБ
Любительские рации: на что они реально способны? Любительские рации: на что они реально способны?

Какие рации бывают и на что обратить внимание при выборе этого аксессуара

CHIP
Почему ПЗРК FIM-92 Stinger до сих пор нечем заменить Почему ПЗРК FIM-92 Stinger до сих пор нечем заменить

Имя «Стингер» стало нарицательным еще в афганскую войну

Maxim
Для охоты, общения и навигации: как рыбы научились использовать электричество Для охоты, общения и навигации: как рыбы научились использовать электричество

Человек не может обходиться без электричества. А рыбы освоили его гораздо раньше

Вокруг света
Знаете ли вы, что самыми точными часами в мире считаются атомные? 5 интересных фактов о времени для самых любознательных Знаете ли вы, что самыми точными часами в мире считаются атомные? 5 интересных фактов о времени для самых любознательных

Интересные фактов о времени и часах

ТехИнсайдер
Это ящерица или фарш на ножках? 5 фактов об удивительном красном тегу из Аргентины Это ящерица или фарш на ножках? 5 фактов об удивительном красном тегу из Аргентины

Что едят и как живут экзотические красные ящерицы

Вокруг света
Открыть в приложении