Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
IKEA вернется уже на совершенно иной рынок IKEA вернется уже на совершенно иной рынок

Преимущество у мебельных компаний, которые смогут перестроиться под новые реалии

Эксперт
Повышенная чувствительность зубов Повышенная чувствительность зубов

Гиперестезия – повышенная чувствительность зубов. С ней можно бороться

Здоровье
Виктор Забуга Виктор Забуга

Художник Виктор Забуга — адепт примитивизма и наивного искусства

Собака.ru
Как ведьмы стали женщинами Как ведьмы стали женщинами

Как в ведьмах видели угрозу государству, церкви и капитализму

Weekend
«Она является формой сопротивления катастрофам»: что происходит с модой в кризисах «Она является формой сопротивления катастрофам»: что происходит с модой в кризисах

Чем мода отвечает на тренды и как помогает сопротивляться катастрофам?

Forbes
Александр Ким: «Турбулентность создает новые нейронные связи» Александр Ким: «Турбулентность создает новые нейронные связи»

Почему предпринимателям нужно ориентироваться на героя фильма «Марсианин»?

РБК
20 имен для мальчиков и девочек, которые напомнят вам о лете 20 имен для мальчиков и девочек, которые напомнят вам о лете

Некоторые имена имеют самое прямое отношение к лету

Вокруг света
Взгляд изнутри Взгляд изнутри

Эндоскопические исследования стали золотым стандартом в диагностике заболеваний

Здоровье
Тахограф: что это, как пользоваться, какие штрафы Тахограф: что это, как пользоваться, какие штрафы

Строгий надсмотрщик или помощник водителя? Мнения о тахографе полярны

РБК
Химики получили топологически хиральный молекулярный узел с 14 перекрестьями Химики получили топологически хиральный молекулярный узел с 14 перекрестьями

Химики из Китая синтезировали два топологически хиральных молекулярных узла

N+1
Беглянка с мольбертом: Элизабет Виже-Лебрен, любимая художница европейских аристократов Беглянка с мольбертом: Элизабет Виже-Лебрен, любимая художница европейских аристократов

Элизабет Виже-Лебрен писала парадные портреты европейских монарших особ

Вокруг света
Какие элитные дома Москвы построены на месте кладбищ? Какие элитные дома Москвы построены на месте кладбищ?

Премиум-апартаменты на костях

Вокруг света
Никаких заторов Никаких заторов

7 продуктов, снижающих риск образования тромбов

Лиза
«Живите как горностай»: совет, проверенный временем «Живите как горностай»: совет, проверенный временем

Хватайтесь зубами за свое предназначение и не отпускайте его

Psychologies
Правила жизни Льва Гумилева Правила жизни Льва Гумилева

Советский ученый, историк, писатель, создатель пассионарной теории этногенеза

Правила жизни
7 необычных локаций Санкт-Петербурга для тех, кто хорошо знает город на Неве 7 необычных локаций Санкт-Петербурга для тех, кто хорошо знает город на Неве

В Петербурге столько достопримечательностей, что можно ходить по нему бесконечно

Вокруг света
Обезболить нельзя терпеть Обезболить нельзя терпеть

Всегда ли, стремясь поскорее заглушить боль, мы помним о безопасности?

Здоровье
Физики уточнили изотопический сдвиг g-фактора водородоподобного неона Физики уточнили изотопический сдвиг g-фактора водородоподобного неона

Сверхточное измерение изотопического сдвига g-фактора водородоподобного неона

N+1
Hydra Hydra

Основательницы проекта Hydra — как доходчиво говорить об экологии

Собака.ru
Казахстан проголосовал за мягкую либерализацию Казахстан проголосовал за мягкую либерализацию

Конституция Казахстана будет меняться уже в шестой раз

Эксперт
«Женихи хотела»: почему советские девушки заводили романы с военнопленными «Женихи хотела»: почему советские девушки заводили романы с военнопленными

Женщины времен войны обращали внимание на иностранцев, попавших в лагеря

VOICE
Счастливые молодожены: опубликованы первые свадебные фото Бритни Спирс и Сэма Асгари Счастливые молодожены: опубликованы первые свадебные фото Бритни Спирс и Сэма Асгари

Сэм Асгари и Бритни Спирс стали мужем и женой

VOICE
Хрупкий балтийский берег Хрупкий балтийский берег

Как жители Балтики отвоевывают у моря родные берега

Вокруг света
Как побороть сильную тягу к сладкому? Как побороть сильную тягу к сладкому?

Мы знаем, как вреден сахар, но справиться с собой не получается

Psychologies
Орхан Памук в пяти с половиной книгах Орхан Памук в пяти с половиной книгах

Шесть показательных произведений Орхана Памука

Правила жизни
О чем не сняли кино: настоящие приключения графа Калиостро в России О чем не сняли кино: настоящие приключения графа Калиостро в России

Дорог в жизни Алессандро Калиостро было великое множество

Вокруг света
Комбинация астрофизических и лабораторных данных уточнила параметры нейтронных звезд Комбинация астрофизических и лабораторных данных уточнила параметры нейтронных звезд

Уточнены ограничения на уравнение состояния нейтронной материи

N+1
Энтомологи усомнились в скором вымирании монархов Энтомологи усомнились в скором вымирании монархов

Вопреки популярному мнению, бабочки монархи не находятся на грани вымирания

N+1
Почему одни люди склонны слышать Почему одни люди склонны слышать

Что делает людей предрасположенными к "паранормальному" опыту слуховых явлений

ТехИнсайдер
Открыть в приложении