Ученые создали инструмент для редактирования объектов на изображении

N+1Hi-Tech

Нейросеть получила удобный интерфейс редактирования изображений

Он напоминает редактор внешности в видеоиграх

Виктория Земляк

40c394a560f62d417ec8c9208cc0404f.gif
Пример работы DragGAN. Theobalt et al. / arXiv, 2023

Ученые из США и Германии создали инструмент для редактирования объектов на изображении DragGAN. Он основан на нейросети, которая на лету генерирует новые изображения. Пользователь может отмечать мышкой разные элементы на фотографии, и они реалистично перемещаются, поворачиваются, растягиваются и уменьшаются — похожий подход нередко используют в видеоиграх для редактирования внешности персонажа. Препринт доступен на arXiv.org.

В последние пару лет случился бум диффузионных нейросетей для генерации изображений по текстовым запросам — например, Stable Diffusion, DALL-E и Midjourney. Диффузионная модель умеет генерировать реалистичные изображения из случайного шума, а текстовое описание подсказывает модели, что именно должно быть на изображении. Но есть проблема: диффузионные нейросети недостаточно точны и не подходят, если нужно выполнить очень конкретную задачу при редактировании: сдвинуть объект на несколько пикселей в определенную сторону или повернуть его на определенное количество градусов.

Задачу точного редактирования изображений можно решить с помощью других нейросетевых архитектур. Например, до появления диффузионных нейросетей часто использовали GAN — генеративно-состязательные сети. Такая модель состоит из двух нейросетей: генеративной и состязательной. По сути две нейросети соревнуются друг с другом: состязательная сеть учится отличать реальные изображения от сгенерированных, а генеративная, в свою очередь, пытается сгенерировать максимально реалистичные изображения из случайного шума (на этой идее основаны и диффузионные модели). Состязательная сеть посылает сигнал генеративной модели — сообщает ей, насколько реалистичное получилось изображение. И так до тех пор, пока генеративная сеть не научится обманывать состязательную.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

В средневековом европейском борделе похоронили трехмесячного мальчика В средневековом европейском борделе похоронили трехмесячного мальчика

Ученые описали захоронение младенца в средневековом борделе Бельгии

N+1
Ленивцы против супербактерий: как тихони из тропических лесов помогут победить болезни человека? Ленивцы против супербактерий: как тихони из тропических лесов помогут победить болезни человека?

Как ленивцы могут помочь победить супербактерий?

Вокруг света
3D-печать домов, роботы-диагносты, космические двигатели и сверхпрочные ткани: как российские стартапы создают будущее 3D-печать домов, роботы-диагносты, космические двигатели и сверхпрочные ткани: как российские стартапы создают будущее

Подборка историй людей, которые двигают прогресс

ТехИнсайдер
Фотограф Playboy рассказал, как делал откровенные снимки Памелы Андерсон, Деми Мур, Шэрон Стоун и других знаменитостей Фотограф Playboy рассказал, как делал откровенные снимки Памелы Андерсон, Деми Мур, Шэрон Стоун и других знаменитостей

Фотограф Стивен Вайда рассказал интимные подробности горячих съемок

Maxim
Изогнутый экран смартфона — это удобно? Изогнутый экран смартфона — это удобно?

Стоит ли покупать смартфоны с изогнутыми экранами?

CHIP
Пять болевых точек российских финансов: что тревожит ЦБ и аналитиков Пять болевых точек российских финансов: что тревожит ЦБ и аналитиков

Банк России назвал пять главных уязвимостей финансового сектора России

Forbes
Красивые, но малоизвестные внучки советских кинозвезд: как живут и чем занимаются Красивые, но малоизвестные внучки советских кинозвезд: как живут и чем занимаются

Их бабушки и дедушки были кумирами не одного поколения

VOICE
Пока смерть не разлучит: сказочная история любви Дианы Гурцкая и Петра Кучеренко Пока смерть не разлучит: сказочная история любви Дианы Гурцкая и Петра Кучеренко

Вспоминаем, какой была история любви Дианы Гурцкой и Петра Кучеренко

VOICE
Что обозначает категория М в правах и как ее получить. Инструкция Что обозначает категория М в правах и как ее получить. Инструкция

Что означает категория прав М и как ее получить

РБК
Деменция на подходе: как распознать болезнь — 8 признаков Деменция на подходе: как распознать болезнь — 8 признаков

Как не пропустить деменцию?

Psychologies
Жизнь сов: почему мы любим ночь Жизнь сов: почему мы любим ночь

Чем привлекает нас романтика темного времени суток?

Psychologies
Кто был прототипом маньяка из «Техасской резни бензопилой»: история Эда Гейна Кто был прототипом маньяка из «Техасской резни бензопилой»: история Эда Гейна

«Этот парень слегка странный», — так говорили про Эдварда Гейна в городе.

VOICE
Судьба «Почтальона» Судьба «Почтальона»

Как роман времен Великой депрессии вдохновил Альбера Камю и покорил Тома Вулфа

Weekend
Как была устроена армия Древнего Рима: сплошной стройбат и дедовщина Как была устроена армия Древнего Рима: сплошной стройбат и дедовщина

Как был устроен римский легион?

Maxim
«Русское дворянство времен Александра I» «Русское дворянство времен Александра I»

Какими были отношения царя и правящего класса империи

N+1
«Я была малолеткой, никто не желал мне помогать»: почему женщины идут в проституцию «Я была малолеткой, никто не желал мне помогать»: почему женщины идут в проституцию

Отрывок из книги Роберта Колкера «Исчезнувшие девушки»

Forbes
Правда о переломившемся времени Правда о переломившемся времени

«Смерть Вазир-Мухтара»: Александр Грибоедов как архетип несбывшегося человека

Weekend
Больцман на танцполе Больцман на танцполе

Исследовали ли физики мош? Я вышел в интернет с таким вопросом

N+1
Роман Мурадов Роман Мурадов

Роман Мурадов сочетает оригинальную рисовку с литературностью

Правила жизни
И твоя мама тоже: «Все страхи Бо» с Хоакином Фениксом — странный и жуткий фильм Ари Астера о том, как родители губят детей И твоя мама тоже: «Все страхи Бо» с Хоакином Фениксом — странный и жуткий фильм Ари Астера о том, как родители губят детей

Фильм «Все страхи Бо» мучительно интересно смотреть — и разбирать

Правила жизни
Петен, Пол Пот и король Сианук Петен, Пол Пот и король Сианук

Сложное царствование короля Камбоджи Сианука

Дилетант
Комнатную сверхпроводимость при умеренном давлении воспроизвести не удалось Комнатную сверхпроводимость при умеренном давлении воспроизвести не удалось

Эксперименты с проверкой комнатной сверхпроводимости прошли рецензирование

N+1
Пугающие, но притягательные: 10 самых атмосферных заброшенных объектов России Пугающие, но притягательные: 10 самых атмосферных заброшенных объектов России

Подборка атмосферных заброшенных объектов по всей России

Вокруг света
Уйти нельзя остаться: где поставить запятую, если мы только начали терапию Уйти нельзя остаться: где поставить запятую, если мы только начали терапию

Как понять, сколько сессий у психолога достаточно пройти?

Psychologies
Выходные в другом городе: что посмотреть в Туле и ее окрестностях за два дня Выходные в другом городе: что посмотреть в Туле и ее окрестностях за два дня

Думаете, Тула — это самовары, пряники и атмосфера сонного уездного городка?

Правила жизни
Одна вокруг света: сибирское лето в Южной Америке и пляж морских львов Одна вокруг света: сибирское лето в Южной Америке и пляж морских львов

217-я серия о кругосветном путешествии москвички Ирины Сидоренко: Буэнос-Айрес

Forbes
Арахисовый пластырь вылечил детей от аллергии Арахисовый пластырь вылечил детей от аллергии

Пластырь с арахисовым антигеном снижает чувствительность к арахису у детей

N+1
79-летний Роберт Де Ниро стал отцом: как это скажется на ребенке — ответ психолога 79-летний Роберт Де Ниро стал отцом: как это скажется на ребенке — ответ психолога

Рассуждаем о плюсах и минусах позднего родительства

Psychologies
«Наш дом не здесь»: как сейчас меняется жизнь россиян в Грузии «Наш дом не здесь»: как сейчас меняется жизнь россиян в Грузии

Что думают переехавшие в Грузию россияне, изменились ли их настроения

Forbes
Фавориты и фаворитки Фавориты и фаворитки

Самые знаменитые фавориты и фаворитки

Дилетант
Открыть в приложении