Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как привести дела в порядок Как привести дела в порядок

Искусство продуктивности без стресса

kiozk originals
Новые кошачьи породы, которые вот-вот станут самыми модными Новые кошачьи породы, которые вот-вот станут самыми модными

Коты и кошки не стоят на месте. Уверяем, что таких диковинных ты еще не видел!

Maxim
Мифы о пиве, в которые все верят Мифы о пиве, в которые все верят

Заблуждения о пиве — это скверно, но не опасно

Maxim
Страшная сила: в погоне за стройностью анорексики теряют часть мозга Страшная сила: в погоне за стройностью анорексики теряют часть мозга

Изменения мозга при РПП даже серьезнее, чем при депрессии и ОКР

Вокруг света
Больше чем учитель: кто такой ментор и зачем он нужен ребенку Больше чем учитель: кто такой ментор и зачем он нужен ребенку

Зачем нужен менторинг нашим детям?

Psychologies
Не думайте об оценках: как помочь ребенку освоиться в школе за границей Не думайте об оценках: как помочь ребенку освоиться в школе за границей

Как облегчить ребенку переход в зарубежное учебное заведение и к чему готовиться

Forbes
Как сделать бомбочку для ванны своими руками: пошаговая инструкция Как сделать бомбочку для ванны своими руками: пошаговая инструкция

Почему бы не попробовать сделать бомбочку для ванны в домашних условиях?

VOICE
Алина Загитова собралась в политику: смотрим, кто (и с какими результатами) ее там ждет Алина Загитова собралась в политику: смотрим, кто (и с какими результатами) ее там ждет

Что успели натворить шесть известных спортсменов, ставших депутатами

Maxim
Горцы — и как с ними быть в новой реальности Горцы — и как с ними быть в новой реальности

Горцы — не только люди, живущие в горах, но и название большого числа растений

Наука
Су-25: чем прославился легендарный советский штурмовик Су-25: чем прославился легендарный советский штурмовик

Советский штурмовик Су-25: легенда в небесах

ТехИнсайдер
Накопители HDD и SSD: в чем разница? Накопители HDD и SSD: в чем разница?

Что лучше купить - жесткий диск или твердотельный накопитель?

CHIP
12 лучших идей белковых завтраков для похудения: вкусно и сытно 12 лучших идей белковых завтраков для похудения: вкусно и сытно

Идеи завтраков с высоким содержанием белка

VOICE
Как использовать Telegram на компьютере: через браузер или отдельное приложение Как использовать Telegram на компьютере: через браузер или отдельное приложение

Какую версию Telegram выбрать для компьютера: браузерную или отдельный клиент?

CHIP
10 российских марок с интересной историей, дизайном и бизнес-подходом 10 российских марок с интересной историей, дизайном и бизнес-подходом

«Сноб» составил краткий путеводитель по интересным российским брендам

СНОБ
Особо опасны: 13 культовых фильмов о маньяках и серийных убийцах, которые стоит посмотреть всем любителям пощекотать нервы Особо опасны: 13 культовых фильмов о маньяках и серийных убийцах, которые стоит посмотреть всем любителям пощекотать нервы

Фильмы о серийных убийцах, от которых станет не по себе

Правила жизни
Кто придумал заправлять одеяло под матрас и главное зачем? Ответ вас удивит Кто придумал заправлять одеяло под матрас и главное зачем? Ответ вас удивит

Заправлять одеяло под матрас — это традиция, пришедшая из Франции и Англии

ТехИнсайдер
Как выбрать внешний аккумулятор для смартфона: шпаргалка от CHIP Как выбрать внешний аккумулятор для смартфона: шпаргалка от CHIP

Как выбрать пауэрбанк, чтобы его хватало всем вашим устройствам?

CHIP
О чем поется в 10 самых популярных иностранных песнях О чем поется в 10 самых популярных иностранных песнях

Раскрываем суть шлягеров Queen, Depeche Mode, Rammstein и т.д

Maxim
Лиза Янковская — о главной роли в фильме «Ника» Лиза Янковская — о главной роли в фильме «Ника»

Разговор c Лизой Янковской, которая сыграла вундеркинда-поэтессу Нику Турбину

СНОБ
И посмотреть, и почитать: 7 удачных экранизаций книг — сериалы, которые вам стоит увидеть И посмотреть, и почитать: 7 удачных экранизаций книг — сериалы, которые вам стоит увидеть

В руках талантливого режиссера некоторые книжные сюжеты получают новое прочтение

Правила жизни
Что нам стоит дом построить Что нам стоит дом построить

Как правильно потратить материнский капитал на жилье

Лиза
Технологический стартап из будущего Технологический стартап из будущего

Как в Москве делают «всепогодные» солнечные батареи

СНОБ
Другая история. Зачем экономист из Орска переехал в старинный Плес Другая история. Зачем экономист из Орска переехал в старинный Плес

В чем ценность естественного облика малых городов

СНОБ
Захватывающая история изобретения и эволюции женских стрингов (с картинками) Захватывающая история изобретения и эволюции женских стрингов (с картинками)

Этот предмет женского гардероба вызывал столько мужских эмоций!

Maxim
Огуречное лето Огуречное лето

Что нужно учесть, чтобы собирать огурцы всё лето, а не два месяца?

Наука и жизнь
Яйцо, черепашка и мальчик: о чем рассказывают смерти в помпейских банях Яйцо, черепашка и мальчик: о чем рассказывают смерти в помпейских банях

В Археологическом парке Помпей новая замечательная находка

N+1
Не спешите выбрасывать гаджет: созданный по ошибке пигмент извлекает золото из старых смартфонов Не спешите выбрасывать гаджет: созданный по ошибке пигмент извлекает золото из старых смартфонов

В Японии нашли бесценные свойства у старинной краски

Вокруг света
Свободное падение Свободное падение

Как купающиеся марсельские докеры вдохновили на революционные изменения

Вокруг света
Найден способ заставить комаров не взрослеть. Зачем это нужно ученым? Найден способ заставить комаров не взрослеть. Зачем это нужно ученым?

Ученые научились оставлять комаров «вечными детьми»

Вокруг света
«Хочешь без презерватива?»: Ирина Шихман рассказала о «бурной сексуальной жизни» «Хочешь без презерватива?»: Ирина Шихман рассказала о «бурной сексуальной жизни»

Ирина Шихман ответила на курьезный вопрос Софьи Шац

VOICE
Открыть в приложении