Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Хрупкий балтийский берег Хрупкий балтийский берег

Как жители Балтики отвоевывают у моря родные берега

Вокруг света
Идти на поводу у эмоций: почему важно слушать внутренний голос Идти на поводу у эмоций: почему важно слушать внутренний голос

На самом деле без эмоций вообще невозможно принимать решения

Psychologies
Крепкая связь с семьей позволила подросткам преуспеть в личностном развитии Крепкая связь с семьей позволила подросткам преуспеть в личностном развитии

Сильная связь с семьей позволяет подросткам быть независимыми

N+1
Семь марионеток Семь марионеток

Каким было правительство марионеточной «Финляндской Демократической Республики»

Дилетант
Создана первая квантовая плата: невероятный прорыв в области квантовых вычислений Создана первая квантовая плата: невероятный прорыв в области квантовых вычислений

Австралийские ученые создали первую в мире схему квантового компьютера

ТехИнсайдер
Съедобное из несъедобного: готовим вкусные блюда из сорняков Съедобное из несъедобного: готовим вкусные блюда из сорняков

Легким движением букет из полевых цветов превращается... в кулинарные изыски!

ТехИнсайдер
«Зависимость как от наркотиков»: сериалы представляют угрозу для психики? «Зависимость как от наркотиков»: сериалы представляют угрозу для психики?

Почему нас так затягивают сериалы?

Psychologies
Молотов в Берлине Молотов в Берлине

О чем наркоминдел беседовал в Берлине с Гитлером

Дилетант
На пути к климатической нейтральности На пути к климатической нейтральности

В стране будет организована широкая сеть карбоновых полигонов

Агроинвестор
Нам живыми быть не идет. О российском фильме «Межсезонье» Нам живыми быть не идет. О российском фильме «Межсезонье»

Новый фильм Александра Ханта «Межсезонье» — почему его стоит смотреть

СНОБ
Властитель «страны грез»: жизнь и таинственная смерть баварского короля Людвига II Властитель «страны грез»: жизнь и таинственная смерть баварского короля Людвига II

Память о Людвиге II не умрет до тех пор, пока в горах будут стоять его замки

Вокруг света
Ученые-волонтеры создали бесплатную языковую модель ИИ. Она не слабее, чем модели Google Ученые-волонтеры создали бесплатную языковую модель ИИ. Она не слабее, чем модели Google

Монополия в разработке и обучении языковых моделей нарушена

ТехИнсайдер
Изотопы азота указали на высокое положение мегалодона в цепи питания Изотопы азота указали на высокое положение мегалодона в цепи питания

Трофический уровень мегалодона был выше, чем у любых других акул

N+1
Как сериал «В ритме жизни» рассказывает о вечной борьбе женщины со своим телом Как сериал «В ритме жизни» рассказывает о вечной борьбе женщины со своим телом

Сериал «В ритме жизни» — о самых драматичных отношениях в жизни каждой женщины

Forbes
Жизнь с роботом, развод с психопатом: отрывок из романа «Созданы для любви» Жизнь с роботом, развод с психопатом: отрывок из романа «Созданы для любви»

Глава из романа «Созданы для любви» — абсурдного и тонкого рассуждения о семье

Forbes
20 лет в больнице: почему миллионерша Югетта Кларк осталась в палате после успешной операции 20 лет в больнице: почему миллионерша Югетта Кларк осталась в палате после успешной операции

Почему одна из самых богатых женщин Америки предпочла стать затворницей?

VOICE
Один большой HDD или два маленьких: что лучше? Один большой HDD или два маленьких: что лучше?

Что лучше – использовать один большой накопитель или два маленьких?

CHIP
Работает ли фильм «Секрет»: как исполнить свое желание без карты желаний Работает ли фильм «Секрет»: как исполнить свое желание без карты желаний

Как исполнять желания и добиваться целей тем, кто не верит в мистику

Psychologies
Тайна гибели шестилетней Джонбенет Рэмси: кто убил маленькую «Мисс Рождество» Тайна гибели шестилетней Джонбенет Рэмси: кто убил маленькую «Мисс Рождество»

Все были уверены: когда девочка вырастет, она станет известной моделью

VOICE
Неудобные вопросы гинекологу Неудобные вопросы гинекологу

Самые распространенные проблемы, которые волнуют женщин

Лиза
Физики напрямую измерили разность фаз слабого взаимодействия у дважды странных барионов Физики напрямую измерили разность фаз слабого взаимодействия у дважды странных барионов

Новая экспериментальная техника точных тестов для CP-симметрии

N+1
Ничего лишнего Ничего лишнего

Как стать бьюти-минималистом и не вестись на маркетинговые уловки

Новый очаг
Что такое SMAS-лифтинг и так ли он безопасен Что такое SMAS-лифтинг и так ли он безопасен

SMAS-лифтинг — безопасная альтернатива пластике?

РБК
История одной вещи: железный конструктор, заменявший советским детям Lego История одной вещи: железный конструктор, заменявший советским детям Lego

История железного конструктора, который до сих пор вызывает приятную ностальгию

Правила жизни
Физики подтвердили спин-зарядовое разделение в одномерной квантовой жидкости Физики подтвердили спин-зарядовое разделение в одномерной квантовой жидкости

Физики измерили свойства зарядовых и спиновых волн в одномерной ферми-жидкости

N+1
Как связаны эмпатия и тревога? Как связаны эмпатия и тревога?

У эмпатии есть и свои недостатки — мы ощущаем чувства так же остро, как свои

Psychologies
«Полный бред! Скептицизм в мире больших данных». Как относиться к получаемой информации критически «Полный бред! Скептицизм в мире больших данных». Как относиться к получаемой информации критически

Отрывок из книги «Полный бред! Скептицизм в мире больших данных»

N+1
И Аньес создала зеркало И Аньес создала зеркало

Зинаида Пронченко о Джейн Биркин в фильме Аньес Варда

Weekend
«Глазами альбатроса»: Ученый отправляется в путешествие, чтобы понаблюдать за жизнью альбатросов «Глазами альбатроса»: Ученый отправляется в путешествие, чтобы понаблюдать за жизнью альбатросов

Атолл Мидуэй лежит в томном одиночестве в центре северной части Тихого океана

N+1
Антикризисные меры: 5 способов сделать кондиционер своими руками Антикризисные меры: 5 способов сделать кондиционер своими руками

Как сделать кондиционер из подручных средств?

ТехИнсайдер
Открыть в приложении