Ученые создали инструмент для редактирования объектов на изображении

N+1Hi-Tech

Нейросеть получила удобный интерфейс редактирования изображений

Он напоминает редактор внешности в видеоиграх

Виктория Земляк

40c394a560f62d417ec8c9208cc0404f.gif
Пример работы DragGAN. Theobalt et al. / arXiv, 2023

Ученые из США и Германии создали инструмент для редактирования объектов на изображении DragGAN. Он основан на нейросети, которая на лету генерирует новые изображения. Пользователь может отмечать мышкой разные элементы на фотографии, и они реалистично перемещаются, поворачиваются, растягиваются и уменьшаются — похожий подход нередко используют в видеоиграх для редактирования внешности персонажа. Препринт доступен на arXiv.org.

В последние пару лет случился бум диффузионных нейросетей для генерации изображений по текстовым запросам — например, Stable Diffusion, DALL-E и Midjourney. Диффузионная модель умеет генерировать реалистичные изображения из случайного шума, а текстовое описание подсказывает модели, что именно должно быть на изображении. Но есть проблема: диффузионные нейросети недостаточно точны и не подходят, если нужно выполнить очень конкретную задачу при редактировании: сдвинуть объект на несколько пикселей в определенную сторону или повернуть его на определенное количество градусов.

Задачу точного редактирования изображений можно решить с помощью других нейросетевых архитектур. Например, до появления диффузионных нейросетей часто использовали GAN — генеративно-состязательные сети. Такая модель состоит из двух нейросетей: генеративной и состязательной. По сути две нейросети соревнуются друг с другом: состязательная сеть учится отличать реальные изображения от сгенерированных, а генеративная, в свою очередь, пытается сгенерировать максимально реалистичные изображения из случайного шума (на этой идее основаны и диффузионные модели). Состязательная сеть посылает сигнал генеративной модели — сообщает ей, насколько реалистичное получилось изображение. И так до тех пор, пока генеративная сеть не научится обманывать состязательную.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Археологи изготовили каменные топоры и порубили ими деревья Археологи изготовили каменные топоры и порубили ими деревья

Эксперименты помогут разобраться с функциями древних артефактов

N+1
Кто сделал первый в мире автомобиль с аэродинамическим кузовом? Кто сделал первый в мире автомобиль с аэродинамическим кузовом?

В 1923-м, появились первые в мире автомобили, созданные с учетом аэродинамики

Maxim
ИИ против эксклюзива: как нейросети отбирают самое главное у порноактеров ИИ против эксклюзива: как нейросети отбирают самое главное у порноактеров

Как искусственный интеллект может навредить людям в интимной сфере

Forbes
Кому подойдет диалектическая поведенческая терапия (ДПТ) Кому подойдет диалектическая поведенческая терапия (ДПТ)

ДПТ была разработана в конце 1980-х годов американским психологом Маршей Линехан

Psychologies
7 самых запоминающихся дизельных внедорожников в истории 7 самых запоминающихся дизельных внедорожников в истории

Дизельные автомобили вышли из моды, но о них остались хорошие воспоминания

4x4 Club
«Страшная Барби» оказалась разрывом гигантского молекулярного облака сверхмассивной черной дырой «Страшная Барби» оказалась разрывом гигантского молекулярного облака сверхмассивной черной дырой

Оптический транзиент AT2021lwx — самое яркое событие приливного разрушения

N+1
Топ-5 классических фильмов с эротическими сценами Топ-5 классических фильмов с эротическими сценами

Эротические этюды всегда привлекали режиссеров и продюсеров

Maxim
Марафон несчастий: что делать блогерам, к которым еще не пришли из ФНС Марафон несчастий: что делать блогерам, к которым еще не пришли из ФНС

В ФНС уже создан специальный отдел по проверке российских блогеров

Forbes
Приложение усилий: что происходит на рынке мобильной разработки в России Приложение усилий: что происходит на рынке мобильной разработки в России

Тренды на рынке мобильной разработки: на что нужно обратить внимание заказчикам

Forbes
Станкостроению нужен план Станкостроению нужен план

Станкостроение может выпускать станки, в том числе самые сложные и высокоточные

Эксперт
Что такое углеводное окно и сахарное похмелье: важные вопросы о спорте и питании Что такое углеводное окно и сахарное похмелье: важные вопросы о спорте и питании

Какие продукты ускорят восстановление и почему не нужно демонизировать углеводы

Правила жизни
Полезная растяжка. 6 упражнений для эффективной тренировки и советы эксперта Полезная растяжка. 6 упражнений для эффективной тренировки и советы эксперта

Хочешь обрести красивые формы и поддерживать здоровье, прилагая минимум усилий?

Лиза
Рынку ГКО — 30 лет Рынку ГКО — 30 лет

Как внутренний долг менял российскую финансовую систему

Деньги
Как распознать манипуляции со стороны партнера и остановить их Как распознать манипуляции со стороны партнера и остановить их

Что делать, если вы столкнулись с манипуляцией со стороны партнера?

Psychologies
Отмыть термос внутри — легко! Невероятно простой способ избавиться от чайного налета Отмыть термос внутри — легко! Невероятно простой способ избавиться от чайного налета

Убираем запах и налет из термоса

ТехИнсайдер
Ромул и Рем: чей Рим? Ромул и Рем: чей Рим?

Как на самом деле был основан Рим?

Дилетант
Есть ли дружба после 30? Россияне поделились, где ищут друзей в зрелом возрасте Есть ли дружба после 30? Россияне поделились, где ищут друзей в зрелом возрасте

Как искать новых друзей, когда тебе 30+ и большая часть твоих уехали из РФ?

Psychologies
О чем думали люди в послевоенном 1947 году О чем думали люди в послевоенном 1947 году

Отрывок из книги Элисабет Осбринк «1947»

СНОБ
Отступление авангарда Отступление авангарда

Как Николай Суетин и Илья Чашник оказались молодыми художниками не вовремя

Weekend
Аварийный вираж на восток Аварийный вираж на восток

После многолетнего спада в России наблюдается всплеск аварийности на дорогах

Эксперт
Высокие цели Высокие цели

13 громких автомобильных покушений XX века

Автопилот
В глубине Тихого океана нашли 4600 неизвестных видов животных. Поразительно! В глубине Тихого океана нашли 4600 неизвестных видов животных. Поразительно!

В зоне Кларион Клиппертон в Тихом океане обнаружено несколько странных существ

ТехИнсайдер
Джеррикэн Джеррикэн

Как «джеррикэн» произвела настоящую техническую революцию

Автопилот
«Отсутствие диалога между поколениями в прямом смысле слова убивает» «Отсутствие диалога между поколениями в прямом смысле слова убивает»

Алиса Хазанова о своем фильме «Белый список»

Weekend
Как согреть российскую промышленность Как согреть российскую промышленность

Научные разработки быстро превратили «ССТ Инвест» в одного из мировых лидеров

Эксперт
Курорт по-осетински Курорт по-осетински

Удастся ли превратить Кавказ в новую туристическую мекку для россиян?

Эксперт
ЦБ назвал условия для ремонта б/у деталями по ОСАГО. Чем рискуют водители ЦБ назвал условия для ремонта б/у деталями по ОСАГО. Чем рискуют водители

Применение деталей от других машин при ремонте за счет страховки ОСАГО допустимо

РБК
Инженеры сделали полностью мягкий электродвигатель Инженеры сделали полностью мягкий электродвигатель

Этот электродвигатель можно сдавливать и растягивать во время работы

N+1
Как изменились цены на популярные автомобили в России. Список Как изменились цены на популярные автомобили в России. Список

Как изменились цены самых популярных автомобилей на российском рынке

РБК
«Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото «Мама пожертвовала собой и привезла меня в Америку»: Мила Йовович опубликовала редкие фото

Мила Йовович рассказала, на что решилась ее мать ради будущего дочери

VOICE
Открыть в приложении