Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему самые лучшие идеи рождаются во время душа Почему самые лучшие идеи рождаются во время душа

Почему в душе ускоряется креативное мышление?

ТехИнсайдер
Красноту северного полюса Харона объяснили радиолизом фотолизированного метанового инея Красноту северного полюса Харона объяснили радиолизом фотолизированного метанового инея

Ученые описали механизм окраски шапки спутника Плутона Харона в красный цвет

N+1
Как обустроить сад в средиземноморском стиле: 4 идеи от ландшафтного дизайнера Как обустроить сад в средиземноморском стиле: 4 идеи от ландшафтного дизайнера

Как создать на своем участке сад, который будет напоминать о пейзажах Ниццы?

Вокруг света
Последний умер в зоопарке в 1936-м: в Австралии готовятся «воскресить» сумчатого волка Последний умер в зоопарке в 1936-м: в Австралии готовятся «воскресить» сумчатого волка

Истребленный вид может снова населить Зеленый континент

Вокруг света
6 6

Никто из нас не ест арбузные косточки или "хвостики" клубники

ТехИнсайдер
10 знаменитых локаций, где испытывали атомное оружие 10 знаменитых локаций, где испытывали атомное оружие

Места, где атомные бомбы взрывали особенно активно

ТехИнсайдер
Кто и как делает русскую часовую механику Кто и как делает русскую часовую механику

Могут ли российские механические часы считаться престижными аксессуарами?

РБК
5 твоих поступков, которые делают твою собаку несчастной 5 твоих поступков, которые делают твою собаку несчастной

Собачья радость — это не только колбаса, но и отношения с хозяином

Maxim
Утро — доброе: 11 правил для хорошего начала дня Утро — доброе: 11 правил для хорошего начала дня

Лишь немногие способны спокойно собраться с утра и при этом все успеть

Psychologies
На заре жизни: метеорит Шассиньи перевернул представление о планетах Солнечной системы На заре жизни: метеорит Шассиньи перевернул представление о планетах Солнечной системы

«Юные годы» Марса были вовсе не такими, как принято считать в науке о космосе

Вокруг света
Настоящая ответственность бывает только личной Настоящая ответственность бывает только личной

Как любой может изменить мир

СНОБ
8 причин, почему мужчинам тяжело живется 8 причин, почему мужчинам тяжело живется

Мужская доля порой бывает совершенно невыносимой

Maxim
«Трусливый страх перед приговорами Европы» «Трусливый страх перед приговорами Европы»

Как Петр I, подняв Россию на дыбы, поставил ее на колени

Weekend
Тонкости альпинизма: как подготовиться к восхождению на Эльбрус Тонкости альпинизма: как подготовиться к восхождению на Эльбрус

Как покорить Эльбрус?

ТехИнсайдер
Ученые: люди на Марсе будут строить дома с помощью мочевины и пить комбучу Ученые: люди на Марсе будут строить дома с помощью мочевины и пить комбучу

Стали известны подробности жизни на Красной планете

Вокруг света
Живущие в неволе черепахи отказались стареть Живущие в неволе черепахи отказались стареть

Скорость старения многих видов черепах при содержании в неволе равна нулю

N+1
Бродячих кошек уличили в охоте на вымирающих сумчатых мышей с острова Кенгуру Бродячих кошек уличили в охоте на вымирающих сумчатых мышей с острова Кенгуру

Сумчатые мыши Айткена рискуют вымереть из-за бродячих кошек

N+1
10AGE 10AGE

Рэпер 10AGE взрывает чарты каждым новым треком и сам режиссирует свои клипы

Собака.ru
Как 16-летняя москвичка построила бизнес на тренде из TikTok Как 16-летняя москвичка построила бизнес на тренде из TikTok

Как девятиклассница запустила собственный бренду крашений из полимерной глины

Forbes
Еще 6 бередящих душу фотографий за несколько минут до смерти Еще 6 бередящих душу фотографий за несколько минут до смерти

Подборка фотографий с удивительными и жуткими историями

Maxim
Как сделать яркий макияж: тренды, идеи и советы эксперта Как сделать яркий макияж: тренды, идеи и советы эксперта

Яркий макияж популярен, но важно уметь расставлять акценты

РБК
10 невероятных самодельных электробайков: инженерное чудо 10 невероятных самодельных электробайков: инженерное чудо

Серийные модели байков, которые превратили в очаровательные кастомы

ТехИнсайдер
8 вещей, о которых вы пожалеете после 30 лет 8 вещей, о которых вы пожалеете после 30 лет

Как не потратить свою жизнь на сожаления

Psychologies
4 способа мужских манипуляций глазами женщин и экспертов 4 способа мужских манипуляций глазами женщин и экспертов

Почему нами манипулируют и мы с легкостью закрываем на это глаза?

Psychologies
Тайное значение твоего имени: как его узнать и как оно влияет на судьбу Тайное значение твоего имени: как его узнать и как оно влияет на судьбу

Как узнать тайное значение твоего имени и что делать с этой информацией

VOICE
Обезболить нельзя терпеть Обезболить нельзя терпеть

Всегда ли, стремясь поскорее заглушить боль, мы помним о безопасности?

Здоровье
Альберт Суфияров Альберт Суфияров

Президент «Нева Милк» — об импортозамещении и отечественных сырах

Собака.ru
Топ‑10 худших нарядов вечера Топ‑10 худших нарядов вечера

Темой нынешнего бала института костюма Met Gala стал «Позолоченный гламур»

ЖАРА Magazine
Пиво, сало и еще 6 продуктов, которые на самом деле полезны для сердца Пиво, сало и еще 6 продуктов, которые на самом деле полезны для сердца

Какие продукты полезны для здоровья сердца и сосудов?

ТехИнсайдер
«Люди и учреждения Петровской эпохи». Какими были законы, институции и люди в начале XVIII века «Люди и учреждения Петровской эпохи». Какими были законы, институции и люди в начале XVIII века

Отрывок из книги «Люди и учреждения Петровской эпохи» о России XVIII—XX вв

N+1
Открыть в приложении