Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Эти продукты остановят выпадение волос! Включите их в свой рацион прямо сейчас Эти продукты остановят выпадение волос! Включите их в свой рацион прямо сейчас

Что такое биотин и как он влияет на состояние наших волос?

ТехИнсайдер
Чтение выходного дня: фрагмент детской и крайне познавательной книги о мигрантах Чтение выходного дня: фрагмент детской и крайне познавательной книги о мигрантах

Книга для детей рассказывает истории мигрантов в художественной форме

Правила жизни
Очаровательные королевские малышки! Как выглядели в детстве Кейт Миддлтон, Меган Маркл, Елизавета II и другие Очаровательные королевские малышки! Как выглядели в детстве Кейт Миддлтон, Меган Маркл, Елизавета II и другие

Детские фотографии представительниц Британской монархии

VOICE
Валерия: Валерия:

Валерия откровенно рассказывает о своей жизни

Коллекция. Караван историй
Проклятый аксессуар: почему дочь Жаклин Кеннеди отказалась от семейной реликвии Проклятый аксессуар: почему дочь Жаклин Кеннеди отказалась от семейной реликвии

История аксессуара, который передавался в семье Жаклин Кеннеди с 1903 года

VOICE
«Вкус детства»: история «той самой» советской сгущёнки «Вкус детства»: история «той самой» советской сгущёнки

Когда появилась, какой была и стала «та самая» сгущёнка

Вокруг света
Будь в моменте. Учись радоваться жизни прямо сейчас Будь в моменте. Учись радоваться жизни прямо сейчас

Что такое синдром отложенной жизни

Лиза
Графен на пульсе: ученые изобрели татуировку, которая измеряет давление Графен на пульсе: ученые изобрели татуировку, которая измеряет давление

Разработана электронная татуировка для измерения артериального давления

Вокруг света
В мире костюмов: секреты стиля Николая Дроздова В мире костюмов: секреты стиля Николая Дроздова

Николай Дроздов — воплощение стиля ученого-полевика

Правила жизни
«Время для себя»: как появился винил и почему сегодня он так популярен «Время для себя»: как появился винил и почему сегодня он так популярен

Как развивалась история винила?

Правила жизни
Как избегать секса с самим собой Как избегать секса с самим собой

Алексей Алексенко обсуждает проблемы разделения на два пола

СНОБ
Посттравматический рост: как стать сильнее после тяжелых потрясений Посттравматический рост: как стать сильнее после тяжелых потрясений

Тяжелые испытания могут разрушить, «убить» волю, а могут сделать нас сильнее

Psychologies
5 редких и до смешного простых образов Джейн Биркин, которые мы повторим этим летом 5 редких и до смешного простых образов Джейн Биркин, которые мы повторим этим летом

Джейн Биркин в ближайшие десятилетия не потеряет свой титул модной иконы

VOICE
СССР vs США: что показал эксперимент по сравнению образования 1958 года СССР vs США: что показал эксперимент по сравнению образования 1958 года

Много лет назад журналисты выяснили, где образование лучше: в США или в СССР

VOICE
Каким был принц Филипп: 9 фактов из биографии супруга королевы Елизаветы Каким был принц Филипп: 9 фактов из биографии супруга королевы Елизаветы

О яркой жизни супруга королевы Великобритании

РБК
Что такое SMAS-лифтинг и так ли он безопасен Что такое SMAS-лифтинг и так ли он безопасен

SMAS-лифтинг — безопасная альтернатива пластике?

РБК
Живой будильник: почему петухи кричат по утрам Живой будильник: почему петухи кричат по утрам

Утренний крик петуха был первым будильником, который появился у человека

ТехИнсайдер
Неслучайны связи Неслучайны связи

Мы поговорили с создателями трех тревел-проектов о том, как искать «своих»

Seasons of life
«Медперсонал шептался, что я нечистая»: три истории о жизни с ВИЧ в России «Медперсонал шептался, что я нечистая»: три истории о жизни с ВИЧ в России

Страх, отрицание и принятие: несколько историй людей, живущих с ВИЧ

Psychologies
Изжога, диабет и еще 4 проблемы со здоровьем, превращающие пиво в яд Изжога, диабет и еще 4 проблемы со здоровьем, превращающие пиво в яд

6 проблем со здоровьем, при которых стоит отказаться от пива

Psychologies
Археологи разобрались в хронологии испанского памятника с палеолитическим искусством Археологи разобрались в хронологии испанского памятника с палеолитическим искусством

Ученые получили 62 радиоизотопные датировки материалов из пещеры Ардалес

N+1
Кое-что о Рене Кое-что о Рене

Совершенно необязательно проживать все в полную силу и взаправду

Караван историй
Хофманнита Хофманнита

Рэперка Хофманнита перестала быть мемом и превратилась в серьезную артистку

Собака.ru
Как развивать критическое мышление ребенка? Как развивать критическое мышление ребенка?

Как научить навыку критического мышления детей?

Psychologies
Вместо уколов и таблеток: робот-оригами доставит лекарство прямо к больному органу Вместо уколов и таблеток: робот-оригами доставит лекарство прямо к больному органу

Изобретение американских ученых уже называют революцией в медицине

Вокруг света
Летящие насквозь Летящие насквозь

Каждое мгновение нейтрино триллионами пронзают наши тела

Вокруг света
Украденная жизнь: история Джейси Дьюгард, которая провела 18 лет в плену у маньяка Украденная жизнь: история Джейси Дьюгард, которая провела 18 лет в плену у маньяка

Семья Дьюгард перебралась в Калифорнию, считая, что этот штат самым спокойный

VOICE
Ручной тормоз: виды и главные ошибки при эксплуатации Ручной тормоз: виды и главные ошибки при эксплуатации

Разбираемся, что такое «ручник» и как он работает

РБК
Миф о третьем свидании: когда надо идти в постель с мужчиной, если тебе нужны отношения Миф о третьем свидании: когда надо идти в постель с мужчиной, если тебе нужны отношения

Почему говорят, что сексом нельзя заниматься раньше, чем на третьем свидании?

VOICE
Белый дым из выхлопной трубы: почему появляется и что с этим делать Белый дым из выхлопной трубы: почему появляется и что с этим делать

В зависимости от цвета дым может указывать на различные проблемы с автомобилем

РБК
Открыть в приложении