Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Индия после Ганди Индия после Ганди

История крупнейшей демократии в мире

kiozk originals
«Никогда не делайте этого для мужчин»: советы онлайн-тренингов комментирует психолог «Никогда не делайте этого для мужчин»: советы онлайн-тренингов комментирует психолог

Что ни при каких обстоятельствах нельзя позволять мужчине?

Psychologies
Как нужно питаться до и после тренировки: практические советы Как нужно питаться до и после тренировки: практические советы

Правильное питание поможет быстрее восстанавливаться после тренировок

ТехИнсайдер
Почему стиральная машина плохо отжимает: проблемы и решения Почему стиральная машина плохо отжимает: проблемы и решения

Проблемы с отжимом можно решить самостоятельно. Рассказываем, как

CHIP
«Менять надо не людей, а систему»: почему кризис может привести к росту бездомности «Менять надо не людей, а систему»: почему кризис может привести к росту бездомности

О помощи беженцам и безработным, об уходе крупных доноров с российского рынка

Forbes
Почему Ярослава Мудрого можно считать лучшим брачным агентом раннего Средневековья Почему Ярослава Мудрого можно считать лучшим брачным агентом раннего Средневековья

Нескучная история с юмором и на современном языке

Вокруг света
История крупнейшего ограбления поезда начала XX века История крупнейшего ограбления поезда начала XX века

Масштабная операция по ограблению почтового поезда в императорской России

СНОБ
Что не смогла предсказать Ванга: история любви ясновидящей Что не смогла предсказать Ванга: история любви ясновидящей

В жизни Ванги было трое мужчин, но отношения с ними не сделали ее счастливой

VOICE
От балета до полдэнса От балета до полдэнса

Танцы помогают прийти в форму и благоприятно влияют на ментальное здоровье

Здоровье
Топ‑10 худших нарядов вечера Топ‑10 худших нарядов вечера

Темой нынешнего бала института костюма Met Gala стал «Позолоченный гламур»

ЖАРА Magazine
Мертвые лошади и запрет на почесывание: самые абсурдные правила дорожного движения в Северной и Южной Америке Мертвые лошади и запрет на почесывание: самые абсурдные правила дорожного движения в Северной и Южной Америке

Иногда правила дорожного движения не имеют никакого смысла

ТехИнсайдер
Кирилл Рябов Кирилл Рябов

Кирилл Рябов — менестрель петербургской хтони и кумир молодежи

Собака.ru
Бавары похоронили убитого в бою мужчину ничком. Но вместе с ценными вещами Бавары похоронили убитого в бою мужчину ничком. Но вместе с ценными вещами

Антропологи исследовали кости убитого в VII–VIII веке индивида

N+1
Режиссер Савва Савельев — о поисках лица времени и работе с друзьями Режиссер Савва Савельев — о поисках лица времени и работе с друзьями

Режиссер Савва Савельев — о петербургском хорошем тоне в отношении войны

РБК
Это мы еще досмотрим Это мы еще досмотрим

Кто будет делать игровое кино, сериалы и док в новом мире

СНОБ
Что делать для сохранения ментального здоровья: советы и лайфхаки от психолога Что делать для сохранения ментального здоровья: советы и лайфхаки от психолога

Чувствуешь, что уже "не вывозишь"? Что же делать?

VOICE
Украденная жизнь: история Джейси Дьюгард, которая провела 18 лет в плену у маньяка Украденная жизнь: история Джейси Дьюгард, которая провела 18 лет в плену у маньяка

Семья Дьюгард перебралась в Калифорнию, считая, что этот штат самым спокойный

VOICE
Какие элитные дома Москвы построены на месте кладбищ? Какие элитные дома Москвы построены на месте кладбищ?

Премиум-апартаменты на костях

Вокруг света
«Меня избивали руками и ногами»: Решетова заявила о насилии после «ужасного видео со свадьбы» «Меня избивали руками и ногами»: Решетова заявила о насилии после «ужасного видео со свадьбы»

Бывшая возлюбленная рэпера Тимати назвала себя жертвой бытового насилия

VOICE
Где впервые были одомашнены волки Где впервые были одомашнены волки

Вероятнее всего впервые волк был одомашнен в восточной Евразии

ТехИнсайдер
5 городов, которые на самом деле сводят с ума: все об опасных для психики «синдромах путешественника» 5 городов, которые на самом деле сводят с ума: все об опасных для психики «синдромах путешественника»

Какие опасности поджидают туристов в Иерусалиме, Париже и Венеции?

Вокруг света
«Я ставлю вопрос: как быть отсюда?» «Я ставлю вопрос: как быть отсюда?»

Оксана Тимофеева о том, как любить родину

Weekend
Сибирский КОТ, или Прототип термоядерного реактора нового поколения Сибирский КОТ, или Прототип термоядерного реактора нового поколения

Как на промышленных предприятиях воспитывают сибирского КОТа

Наука
Охотница на королей: как Диана де Пуатье завладела сердцем французского монарха Охотница на королей: как Диана де Пуатье завладела сердцем французского монарха

Диана де Пуатье почти тринадцать лет была некоронованной королевой Франции

Вокруг света
9 безобидных бытовых привычек, которые опустошают твой кошелек 9 безобидных бытовых привычек, которые опустошают твой кошелек

Чтобы сэкономить семейный бюджет, пересмотри свои действия

Лиза
Как открыть музей своей семьи в провинции Как открыть музей своей семьи в провинции

Москвичка открыла в Кинешме Ивановской области музей своих предков

СНОБ
В Ростове, где встречают нас событья В Ростове, где встречают нас событья

Сериал «ЮЗЗЗ»: шекспировские страсти в Южном федеральном округе

Weekend
Ягода-клубника Ягода-клубника

Ягодные десерты менее калорийны, чем кремовые пирожные и торты

Здоровье
Жук-плавунец: универсальный хищник и сексуальный маньяк Жук-плавунец: универсальный хищник и сексуальный маньяк

Он умеет летать по воздуху и передвигаться по суше, но все же его стихия — вода

Вокруг света
Очень московское собрание: как коллекция братьев Морозовых долго возвращалась домой Очень московское собрание: как коллекция братьев Морозовых долго возвращалась домой

Многолетняя эпопея по объединению собрания братьев Морозовых

Forbes
Открыть в приложении