Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

До какого возраста мужчине нормально быть девственником До какого возраста мужчине нормально быть девственником

Отвечаем на вопрос, который мучает всех девственников

Maxim
Что ждет женщину в 50 лет: мудрые слова Шэрон Стоун о старении Что ждет женщину в 50 лет: мудрые слова Шэрон Стоун о старении

Шэрон Стоун стала примером для миллионов женщин

VOICE
И Аньес создала зеркало И Аньес создала зеркало

Зинаида Пронченко о Джейн Биркин в фильме Аньес Варда

Weekend
Специалисты Neovolt отвечают на вопросы читателей: все, что вы хотели знать про батареи Специалисты Neovolt отвечают на вопросы читателей: все, что вы хотели знать про батареи

Актуальные вопросы на тему покупки и эксплуатации аккумуляторов гаджетов

CHIP
В Италии легализована эвтаназия: что это значит? В Италии легализована эвтаназия: что это значит?

Допустима ли эвтаназия в мире, где человеческая жизнь является высшим благом?

Psychologies
Зачем компании выкупают человеческие лица для своих роботов Зачем компании выкупают человеческие лица для своих роботов

Зачем и за какие деньги компании по производству роботов покупают права на лица?

TechInsider
Эмоционально живые люди: кто они и как стать таким же? Эмоционально живые люди: кто они и как стать таким же?

Психолог Лиля Град — о тех мышцах, которые действительно стоит прокачивать

Psychologies
Антимиры Антимиры

Теоретически могут существовать целые антигалактики, заполненные антизвездами

TechInsider
Когда наши поезда поедут еще быстрее Когда наши поезда поедут еще быстрее

Как обеспечить еще более высокую скорость российских поездов?

Эксперт
Как изменится мир, которым будут управлять разумные машины? Как изменится мир, которым будут управлять разумные машины?

Каким будет новое человеческое будущее?

Вокруг света
Как Леброн Джеймс стал самым успешным и богатым баскетболистом в XXI веке Как Леброн Джеймс стал самым успешным и богатым баскетболистом в XXI веке

Леброн Джеймс стал единственным из игроков НБА, кому удалось заработать $1 млрд

Forbes
«Дорого заплатила за опыт»: как Василиса Волкова ушла из банка и стала ресторатором «Дорого заплатила за опыт»: как Василиса Волкова ушла из банка и стала ресторатором

Основательница S.I.D.R Group о том, как меняется гастрономический маркетинг

Forbes
Как стать сотрудником, которого не уволят даже в кризис Как стать сотрудником, которого не уволят даже в кризис

В меняющемся мире очень важно уметь быстро адаптироваться под новые реалии

Лиза
Женщина на грани политической катастрофы: Джулия Робертс в сериале про «Уотергейт» Женщина на грани политической катастрофы: Джулия Робертс в сериале про «Уотергейт»

«Газлит» — политический триллер о Уотергейтском скандале

Forbes
Крепостное право в России: когда крестьянин мог надеяться на вольную жизнь и мог ли вообще Крепостное право в России: когда крестьянин мог надеяться на вольную жизнь и мог ли вообще

Не надо путать крепостного с рабом. Раб себя выкупить не мог

TechInsider
Из Зорро - в пенсионера: новые фото Антонио Бандераса разбили сердце поклонницам по всему миру. Узнаёшь красавца? Из Зорро - в пенсионера: новые фото Антонио Бандераса разбили сердце поклонницам по всему миру. Узнаёшь красавца?

Невозможно смотреть свежие фото Антонио Бандераса!

VOICE
Когнитивный диссонанс: как Филлис Шлэфли строила карьеру, отрицая идеи феминизма Когнитивный диссонанс: как Филлис Шлэфли строила карьеру, отрицая идеи феминизма

Американка Филлис Шлэфли была одной из самых успешных противниц феминизма

Forbes
Дети научат искусственный интеллект учиться Дети научат искусственный интеллект учиться

Дети часто обучаются на единственном примере. ИИ пока такое обучение недоступно

TechInsider
«Менять надо не людей, а систему»: почему кризис может привести к росту бездомности «Менять надо не людей, а систему»: почему кризис может привести к росту бездомности

О помощи беженцам и безработным, об уходе крупных доноров с российского рынка

Forbes
Дети остаются без поддержки взрослых: «Гарри Поттер» глазами семейного терапевта Дети остаются без поддержки взрослых: «Гарри Поттер» глазами семейного терапевта

Системный семейный терапевт оценивает их взаимоотношения персонажей «Поттерианы»

Psychologies
Железные аргументы: как цифры становятся языком феминизма Железные аргументы: как цифры становятся языком феминизма

В разговорах о равенстве доводы гуманизма работают не всегда

Forbes
Ритуальный каннибализм, лекарство от чумы и вечеринки со вскрытиями: что люди делали с мумиями на протяжении истории Ритуальный каннибализм, лекарство от чумы и вечеринки со вскрытиями: что люди делали с мумиями на протяжении истории

Почему люди считали каннибализм полезным для здоровья?

TechInsider
На границе Европы и Азии На границе Европы и Азии

Обзор АПК Республики Башкортостан

Агроинвестор
Втулки стабилизатора: для чего нужны, когда и как менять Втулки стабилизатора: для чего нужны, когда и как менять

Что укажет на износ втулок стабилизатора, легко ли их поменять своими силами?

РБК
Для чего древние цивилизации использовали календари? 5 невероятных фактов о времени Для чего древние цивилизации использовали календари? 5 невероятных фактов о времени

Факты, связанные со временем, которые вы точно не знали

TechInsider
Путин и золото: как британский миллионер судился из-за «русского следа» в Brexit Путин и золото: как британский миллионер судился из-за «русского следа» в Brexit

Как Аррон Бэнкс сколотил состояние, увлекся политикой и потратился на Brexit

Forbes
Дело Бейлиса и миф об иудейском заговоре в России начала XX века. Отрывок из книги Дело Бейлиса и миф об иудейском заговоре в России начала XX века. Отрывок из книги

Отрывок из истории, которая стала символом пугающей силы лжи

СНОБ
20 лет в больнице: почему миллионерша Югетта Кларк осталась в палате после успешной операции 20 лет в больнице: почему миллионерша Югетта Кларк осталась в палате после успешной операции

Почему одна из самых богатых женщин Америки предпочла стать затворницей?

VOICE
«Дом — это не только деревяшки, но еще и память». Как житель Петербурга восстанавливает деревню и пытается спасти древний народ от вымирания «Дом — это не только деревяшки, но еще и память». Как житель Петербурга восстанавливает деревню и пытается спасти древний народ от вымирания

Как путешественники спасают древний народ от вымирания

СНОБ
«Мама была ко мне равнодушна, и я говорю ей за это спасибо» «Мама была ко мне равнодушна, и я говорю ей за это спасибо»

Наша героиня благодарна тому, что ее мама занималась своей жизнью

Psychologies
Открыть в приложении