Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как правильно снимать на смартфон: советы от профессионального фотографа Как правильно снимать на смартфон: советы от профессионального фотографа

Даже со средненьким смартфоном можно устроить невероятную фотосессию

CHIP
Виктор Савиных: я обнаружил вокруг Земли ионосферный слой Виктор Савиных: я обнаружил вокруг Земли ионосферный слой

Легендарный летчик-космонавт, трижды побывавший на земной орбите

Наука
«Я больше никогда не женюсь»: разведенные мужчины против брака? «Я больше никогда не женюсь»: разведенные мужчины против брака?

Почему одни женятся снова, а другие остаются холостяками?

Psychologies
Число жизненного пути: как рассчитать свою совместимость с мужчиной Число жизненного пути: как рассчитать свою совместимость с мужчиной

Что такое совместимость по числам жизненного пути?

VOICE
Мифы о пиве, в которые все верят Мифы о пиве, в которые все верят

Заблуждения о пиве — это скверно, но не опасно

Maxim
Иракская Атлантида: обмелевший Тигр открыл мегаполис бронзового века Иракская Атлантида: обмелевший Тигр открыл мегаполис бронзового века

Три тысячелетия назад здесь кипела торговля, а сейчас это дно водохранилища

Вокруг света
Как обустроить сад в средиземноморском стиле: 4 идеи от ландшафтного дизайнера Как обустроить сад в средиземноморском стиле: 4 идеи от ландшафтного дизайнера

Как создать на своем участке сад, который будет напоминать о пейзажах Ниццы?

Вокруг света
Отношения с супругом вызывают усталость и раздражение: 8 возможных причин Отношения с супругом вызывают усталость и раздражение: 8 возможных причин

Если супружеская жизнь не приносит радости, то проблема может крыться здесь

Psychologies
«Зеленый роутер»: ученые из Москвы и Тель-Авива раздали Wi-Fi через кактус «Зеленый роутер»: ученые из Москвы и Тель-Авива раздали Wi-Fi через кактус

Новые «зеленые» возможности в области беспроводной связи

Вокруг света
«Живите долго!»: простые советы долгожителей «Живите долго!»: простые советы долгожителей

Как встать на путь к долголетию?

Psychologies
Какие нарушения в организме влияют на кожу лица Какие нарушения в организме влияют на кожу лица

Глаза — зеркало души, а кожа лица — зеркало всего организма

Psychologies
В миллион раз быстрее: перевернет ли возможности интернета новый рекорд скорости В миллион раз быстрее: перевернет ли возможности интернета новый рекорд скорости

Японские ученые продемонстрировали рекордную скорость передачи данных

Forbes
5 советов, которые помогут выспаться, даже если вы мало спите 5 советов, которые помогут выспаться, даже если вы мало спите

Качество сна не менее важно, чем его количество

ТехИнсайдер
«Ей нравилось торговать»: как девушка из Техаса меняет взгляд на спортивную одежду «Ей нравилось торговать»: как девушка из Техаса меняет взгляд на спортивную одежду

Бренд Aviator Nation Пейдж Микоски взлетел во время пандемии

Forbes
Как найти смысл жизни при любых обстоятельствах: примеры из практики Виктора Франкла Как найти смысл жизни при любых обстоятельствах: примеры из практики Виктора Франкла

Отрывок из книги Виктора Франкла «О смысле жизни»

Psychologies
Никаких заторов Никаких заторов

7 продуктов, снижающих риск образования тромбов

Лиза
Пенис в сумочке: история Сада Абэ — самой странной эскортницы-убийцы в истории Пенис в сумочке: история Сада Абэ — самой странной эскортницы-убийцы в истории

Сада Абэ считается самой странной куртизанкой в Японии

VOICE
Родители-вертолеты и родители-тигры: кем быть, чтобы воспитать счастливого человека Родители-вертолеты и родители-тигры: кем быть, чтобы воспитать счастливого человека

Отрывок из книги «Формула» — о том, как воспитать счастливого ребенка

Forbes
10 способов снять стресс на работе 10 способов снять стресс на работе

Десять рекомендаций, как успокоиться и снять стресс на работе

Psychologies
Весы не могут без  любви, Рыбы придирчивы: секреты совместимости по гороскопу Весы не могут без  любви, Рыбы придирчивы: секреты совместимости по гороскопу

В чем секрет идеальных пар и как разобраться в совместимости мужчины и женщины?

VOICE
Деликатес из льна, турецкие мотивы и пир горой за 700 рублей: чем кормят туристов в Дагестане Деликатес из льна, турецкие мотивы и пир горой за 700 рублей: чем кормят туристов в Дагестане

Южная республика готова удивить даже искушенных гастротуристов

Вокруг света
Белый дым из выхлопной трубы: почему появляется и что с этим делать Белый дым из выхлопной трубы: почему появляется и что с этим делать

В зависимости от цвета дым может указывать на различные проблемы с автомобилем

РБК
Зеленые модники. 7 стильных растений для дома Зеленые модники. 7 стильных растений для дома

Какие растения сейчас на пике популярности?

Лиза
«Чучело» в 2022 году: 3 причины посмотреть «Невидимый мир» «Чучело» в 2022 году: 3 причины посмотреть «Невидимый мир»

Чем примечателен «Невидимый мир» Лауры Вандель?

Psychologies
8 способов зарядиться энергией природы 8 способов зарядиться энергией природы

Природа особенно хороша тогда, когда мы познаем ее на чувственном уровне

Psychologies
Добро пожаловаться Добро пожаловаться

Три повода для ссор с соседями, в которых можно и нужно идти до конца

Лиза
Почему вообще не хочется отношений с противоположным полом: 5 причин Почему вообще не хочется отношений с противоположным полом: 5 причин

Если вам не хочется отношений, это нормально

Psychologies
Твои натуральные локоны: все, что нужно знать о кудрявом методе Твои натуральные локоны: все, что нужно знать о кудрявом методе

Устала бороться с непослушными волосами, пытаясь их выпрямить?

VOICE
Как шариковая ручка покорила мир: история изобретения Как шариковая ручка покорила мир: история изобретения

Утром 29 октября 1945 года у дверей универмага Gimbels выстроилась очередь

ТехИнсайдер
Древние люди проломили черепа гигантским броненосцам Древние люди проломили черепа гигантским броненосцам

Древние люди нападали на гигантских броненосцев

N+1
Открыть в приложении