Исследователи обнаружили у нейросети DALL-E 2 необычные особенности

N+1Hi-Tech

Исследователи заподозрили существование собственного словаря у нейросети DALL-E 2

Григорий Копиев

Giannis Daras, Alexandros G. Dimakis

Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.

DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Порноместь: что делать, если вас шантажируют публикацией интимных фотографий Порноместь: что делать, если вас шантажируют публикацией интимных фотографий

«Слив» интимных материалов — не та проблема, от которой можно легко отмахнуться

Psychologies
Новые виды паразитов вызвали вспышку кожного заболевания у антарктических рыб Новые виды паразитов вызвали вспышку кожного заболевания у антарктических рыб

Биологи обнаружили у антарктических рыб неизвестное кожное заболевание

N+1
В древнеегипетском Гелиополе раскопали гранитные блоки времен фараона Хуфу В древнеегипетском Гелиополе раскопали гранитные блоки времен фараона Хуфу

Результаты раскопок в Каире на территории древнего города Гелиополя

N+1
Хетти Грин. Ведьма с Уолл-Стрит Хетти Грин. Ведьма с Уолл-Стрит

В городе ее знала каждая собака, а солидные бизнесмены кланялись ей за милю

Караван историй
API, консолидация и билеты на блокчейне: как устроен российский рынок билетных платформ API, консолидация и билеты на блокчейне: как устроен российский рынок билетных платформ

С момента появления первых бумажных билетов индустрия сильно изменилась

ТехИнсайдер
Синдром беспокойных ног: что делать, если все время хочется двигать ногами Синдром беспокойных ног: что делать, если все время хочется двигать ногами

Что такое синдром беспокойных ног и почему ярче всего он проявляется вечером

ТехИнсайдер
Как нелепо сложилась судьба красавчика-фермера из культового клипа Aerosmith - такого никто не ожидал! Как нелепо сложилась судьба красавчика-фермера из культового клипа Aerosmith - такого никто не ожидал!

Дин Келли легкомысленно распорядился свалившейся на него быстрой известностью...

VOICE
«Поделилась своими страхами»: Меган Маркл ошеломила девочек в Нидерландах «Поделилась своими страхами»: Меган Маркл ошеломила девочек в Нидерландах

Герцогиня Сассекская совершила тайный визит в подростковый центр

VOICE
Шутки Кубрика и исповедь рэп-легенды: 5 самых интересных фильмов Beat Film Festival Шутки Кубрика и исповедь рэп-легенды: 5 самых интересных фильмов Beat Film Festival

Интервью Джейн Биркин, гонки на лодках Венеции и звезды подростковой драмы 90-х

Forbes
У клещей, живущих на лице человека, обнаружили анусы — и это далеко не все поразительные открытия У клещей, живущих на лице человека, обнаружили анусы — и это далеко не все поразительные открытия

Ученые разгадали генетические секреты самых тесных соседей человечества

ТехИнсайдер
Нам живыми быть не идет. О российском фильме «Межсезонье» Нам живыми быть не идет. О российском фильме «Межсезонье»

Новый фильм Александра Ханта «Межсезонье» — почему его стоит смотреть

СНОБ
Когда сила воли не работает: как менять себя и жизнь с помощью терапии субличностей Когда сила воли не работает: как менять себя и жизнь с помощью терапии субличностей

Как навести порядок в отношениях с самим собой?

Psychologies
5 городов, которые на самом деле сводят с ума: все об опасных для психики «синдромах путешественника» 5 городов, которые на самом деле сводят с ума: все об опасных для психики «синдромах путешественника»

Какие опасности поджидают туристов в Иерусалиме, Париже и Венеции?

Вокруг света
5 садовых лайфхаков, которые облегчат вашу жизнь 5 садовых лайфхаков, которые облегчат вашу жизнь

Садоводство — это целое искусство

ТехИнсайдер
Игорь Горьков Игорь Горьков

Генеральный директор Nexign Игорь Горьков — можно ли предсказать будущее?

Собака.ru
Собеседование в Долину: как россиянки строят карьеры в международных IT-компаниях Собеседование в Долину: как россиянки строят карьеры в международных IT-компаниях

Forbes Woman поговорил с женщинами, работающими в IT-компаниях за рубежом

Forbes
Место для всех Место для всех

Как в «Севкабеле» появился уникальный социальный проект

СНОБ
Как стать сотрудником, которого не уволят даже в кризис Как стать сотрудником, которого не уволят даже в кризис

В меняющемся мире очень важно уметь быстро адаптироваться под новые реалии

Лиза
Экспериментатор, мелодист и романтик. Полу Маккартни — 80 Экспериментатор, мелодист и романтик. Полу Маккартни — 80

Разбираемся в музыкальной биографии Пола Маккартни

Правила жизни
Оригинальная история. В поисках утраченной семьи и гармонии в отношениях Оригинальная история. В поисках утраченной семьи и гармонии в отношениях

Насколько отношения с семьей формируют взрослого человека?

СНОБ
«Меня избивали руками и ногами»: Решетова заявила о насилии после «ужасного видео со свадьбы» «Меня избивали руками и ногами»: Решетова заявила о насилии после «ужасного видео со свадьбы»

Бывшая возлюбленная рэпера Тимати назвала себя жертвой бытового насилия

VOICE
От Моники Геллер до Блэр Уолдорф: культовые кинообразы, которые повлияли на моду От Моники Геллер до Блэр Уолдорф: культовые кинообразы, которые повлияли на моду

Лучшие фэшн-хаки культовых и стильных персонажей

VOICE
Звезды волнуются раз. Что такое астросейсмология и зачем она нужна Звезды волнуются раз. Что такое астросейсмология и зачем она нужна

Что такое астросейсмология и зачем она нужна

N+1
Это все неправда! 5 главных стереотипов о женщинах, не имеющих отношения к реальности (ну, почти) Это все неправда! 5 главных стереотипов о женщинах, не имеющих отношения к реальности (ну, почти)

Пришло время развенчать главные стереотипы о женщинах

VOICE
Обратная эволюция: почему некоторые животные уходят с суши обратно в океан Обратная эволюция: почему некоторые животные уходят с суши обратно в океан

Как выглядели сухопутные предки китов и тюленей? Зачем они вернулись в воду?

ТехИнсайдер
Астрономы увидели начало гибели периодической околосолнечной кометы в деталях Астрономы увидели начало гибели периодической околосолнечной кометы в деталях

323P/SOHO потеряла до 10 процентов своей массы после сближения с Солнцем

N+1
Уголовная ревизия: почему пора изменить отношение власти к бизнесу Уголовная ревизия: почему пора изменить отношение власти к бизнесу

Нельзя заниматься импортозамещением, когда предпринимательство затухает

Forbes
Одна из худших машин в мире: история автомобиля Yugo Одна из худших машин в мире: история автомобиля Yugo

«Юго — это ненадолго» — шутят белградские автомобилисты

Вокруг света
Куда нас приведут нейросети? Куда нас приведут нейросети?

Куда нас приведут игры с искусственным интеллектом

СНОБ
5 фантастических книжных новинок, которые стоит прочесть этим летом 5 фантастических книжных новинок, которые стоит прочесть этим летом

Миры, созданные писателями, рано или поздно становятся реальностью

ТехИнсайдер
Открыть в приложении