Как сейчас выглядит нейрогенеративное искусство и что с ним будет дальше

N+1Hi-Tech

Совместный сновидческий процесс

Как сейчас выглядит нейрогенеративное искусство и что с ним будет дальше

Иван Шунин

Когда работаешь с новостями науки, иллюстрации — это сложно. Ладно еще, когда речь о каком-то наглядном поведенческом эксперименте. Но когда у тебя доказательство математической теоремы или демонстрация тонкого эффекта из области квантовой химии, где в качестве иллюстративного материала в лучшем случае графики — приходится думать. Думать долго и отчаянно. Так что когда разработчики нейросетей начали сначала делиться успехами своих детищ в живописи, а после запустили сервисы нейрогенерации изображений мы, конечно, очень обрадовались. Но простая генерация картинок в ответ на набор слов — это еще не очень интересно. Поэтому мы пошли к Илье Яцкевичу и Алексею Устьянцеву, которые занимаются нейрогенеративным искусством, чтобы они попробовали себя в роли иллюстраторов научных новостей — а потом поговорили с ними о том, как меняют их работу рисующие машины.

[N + 1]: Генерация изображений при помощи нейронки, это что? Уже отдельное художественное направление? Или все люди, которые занимаются изобразительным творчеством, просто сейчас осваивают новый инструмент?

[Илья]: Сейчас в твиттере и инстаграме (соцсеть признана в РФ экстремистской и запрещена) многие стонут: «о боже, нет, они заменяют художников!» [мы говорили с Ильей и Алексеем еще 24 августа — прим. N + 1]. Ну, так-то слава роботам, конечно. И определенные подвижки на рынке труда в связи с этим произойдут. Грубо говоря, если ты не можешь делать что-то подобное — это проблема. Но в любом случае человеческая роль во всем этом остается. Потому что человек делает это с пониманием идеи, контекста. Он корректирует промпты, настраивает их в соответствии со своей задумкой, со своим представлением о предмете — особенно когда мы говорим о весьма абстрактных научных образах. Да и, в конце концов, он потом ретуширует это и собирает вместе.

[N + 1]: А ты можешь всю цепочку описать? Не только применительно к нашей конкретной истории с заголовками, а вообще.

[Илья]: Я, например, работаю сейчас над клипом Дельфина и мы используем нейросетки для того, чтобы дать какие-то общие референсы, направление, настроение. То, ради чего я раньше ковырял бы пинтерест на протяжении многих часов. Сейчас на это уже не уходит так много времени. Получается где-то конкретнее, где-то интереснее.

[N + 1]: То есть ты начинаешь предпочитать такую технику всем остальным сценариям, она заменяет прошлые привычки?

[Илья]: Ну, я по-прежнему смотрю пинтерест, я по-прежнему люблю рисовать руками, но это все удачно дополняет мою практику.

[Алексей]: Давай я добавлю. Нейросетки очень полезны, в первую очередь, когда тебе нужно очень быстро получить очень большое количество материала. То есть у тебя появилась идея, ты забиваешь два предложения и получаешь кучу всего. За это время ты раньше успел бы только пинтерест открыть и первые две картинки полайкать. А когда тебе нужно что-то человеку показать и объяснить, это очень удобно.

[N + 1]: Ага, плюс это ровный результат — получаешь много и оно все какого-то одного качества.

[Алексей]: Ну, одного стиля... Насчет качества не уверен.

[Илья]: Во-первых — да, конечно, в среднем по больнице качество абсолютно ровное. Но помимо этого есть еще прекрасные случайности, которые происходят достаточно часто. Картинки, которые выбиваются из ряда себе подобных. Как правило, именно такие случайности я и предпочитаю использовать. То есть у тебя помимо массы качественного материала есть еще какие-то классные штуки, которые в процессе возникают.

Смотри, вот мы с Лешей придумали историю про планету после многих техногенных катастроф, где вдобавок ко всему появился какой-то загадочный красный туман, который придал людям необычные возможности — в общем, у нас есть сеттинг. В рамках этого сеттинга у нас появляются персонажи: они всплывают из вопросов о том, как выглядит это, как выглядит то. У меня есть представление о том, как это выглядит, какой-то [общий] силуэт:

Eli Jackiewicz

И я иду с ним в одну нейросетку, пробую его сгенерировать там, может быть рисую вручную:

Eli Jackiewicz

Потом иду в другую — и быстро генерирую большое количество деталей, которые позволяют мне описать форму этого силуэта максимально выразительно и насытить его деталями.

И вот на стыке такого человеческого и машинного творчества получаются прикольные вещи:

[N + 1]: Хорошо. Давай к следующему. Вот есть новый инструмент, плюс какие-то навыки, необходимые для того, чтобы им пользоваться. Есть ли уже какая-то базовая матчасть, которую нужно освоить, чтобы всерьез стать таким нейроартистом?

[Илья]: Когда это все начиналось, это было просто быстро развивающееся сообщество. Люди учились друг у друга, анализировали промпты друг друга и получали что-то новое. Сейчас уже есть коллосальное количество материалов, которые описывают эту всю промпт-инженерию как дисциплину своего рода. Есть синтаксис, есть ключи, которые позволяют влиять на стилистику изображения. И так далее. Более того, у меня в одной из коллаб запущена отдельная нейросетка, которая разбирает картинки на промпты.

[N + 1]: То есть ты кормишь ей картинку, а она тебе говорит, каким промптом ее можно получить?

[Илья]: Да. Реверс-инжиниринг уже есть. Словари промптов уже есть. Какие-то интерфейсы на эту тему, кроме текстовых, уже появляются. Все это развивается очень быстро.

[N + 1]: А ты в целом себе представляешь, что у нее под капотом там? Или ты просто как артист с этой штукой взаимодействуешь?

[Илья]: Нет, я с ней взаимодействую чисто как чувак, который кнопочки нажимает. У меня есть примерное представление о том, как это работает. Я понимаю, что в ней там два логических модуля, один занимается этим, второй тем. Я понимаю, как происходит диффузия, как картинка восстанавливается из шумов. Я могу запустить какой-нибудь код в какой-нибудь коллабе. Немножко его подправить — тоже могу. Хотя не очень люблю.

[N + 1]: И тебе это, в общем, не надо? То есть ты не оказываешься в ситуации, когда ты такой — блин, ну тут с кодом надо работать, я мимо? Просто вот работающий черный ящик и все хорошо, я умею с ним взаимодействовать на уровне промптов, я осваиваю и развиваю искусство взаимодействия с этими машинами.

[Илья]: В принципе, да. Но есть отдельные инструменты, которые все еще требуют работы с кодом. Сейчас я участвую в альфа-тестах еще одного такого сервиса. Они делают классное рабочее пространство с многоуровневой структурой. Ты перетаскиваешь в свое рабочее пространство разные нейросетки, подключаешь их друг к другу, как в DaVinci или Blender. И скармливаешь результат одной генерации в другую. Это дает кучу неожиданных и интересных результатов.

[N + 1]: А, они атакуют продукт друг друга?

[Илья]: Ну можно и так сказать. Я могу взять своего персонажа, при помощи одной нейросетки убрать у него фон, при помощи второй преобразовать его в 3D и потом при помощи третьей его как-то стилизовать.

[N + 1]: Окей. Давай теперь вдоль галереи с нашими заголовками пойдем. Что там происходило и как? Вот у тебя был список, что ты пошел с ним делать?

Мы отправили Илье с Алексеем список типичных новостей, с иллюстрацией к которым, на наш взгляд, человеку не так просто справиться:

  • Бозе-конденсат из атомов рубидия в оптическом резонаторе
  • Оптогенетический инструмент для управления экспрессией белков
  • Новый путь синтеза пребиотических кислот
  • Углеродный ремень закрутился в ленту Мебиуса
  • Веселящий газ позволил получать фенолы каталитически
  • Топологически хиральный молекулярный узел
  • Кластерные полиоксометаллаты собрались в двумерные пористые структуры
  • Астрономы отыскали первый затменный промежуточный поляр с потоковой подпиткой
  • Поражение миндалины не дало людям принести одного в жертву ради спасения многих
  • Спиннер превратили в экспресс-тест для диагностики инфекций мочевых путей
  • Обучение страхом вызвало у мышей пластичность в дендритах
  • Гаплонедостаточность уличили в развитии тяжелой формы стафилококковой инфекции
  • Контактные линзы доставили лекарство в переднюю камеру глаза с помощью ионофореза
  • Бегающие и кусающиеся собаки поддержали эпидемию бешенства в Танзании
  • Пересадка фекальной микробиоты снизила тягу к алкоголю
  • Дифференцировку моноцитов в толстой кишке у мышей связали с регуляторным фактором интерферона 5
  • Клоны флуоресцирующей макаки помогли оценить безопасность точечного редактирования генома
  • Вирусы заставили мышей привлечь комаров-переносчиков запахом черемухи

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Секс без обязательств: большой разбор с психологами — изучите все плюсы и минусы Секс без обязательств: большой разбор с психологами — изучите все плюсы и минусы

Мы говорим: «Это же просто секс, ничего серьезного», но так ли это?

Psychologies
«Замужем и счастлива — я одна такая?»: как построить и сохранить крепкие отношения «Замужем и счастлива — я одна такая?»: как построить и сохранить крепкие отношения

Почему женщины боятся вступать в брак?

Psychologies
Порка, связывание и фетиши: что я увидела на кинки-вечеринке Порка, связывание и фетиши: что я увидела на кинки-вечеринке

Зачем люди ходят на вечеринки чувственного опыта?

Psychologies
«Каждый несчастлив по-своему» «Каждый несчастлив по-своему»

Что говорят эксперты о неминуемости рецессии

РБК
Нормальные герои Нормальные герои

Картина «Строители Братска» Виктора Попкова

Вокруг света
Что мешает вам обрести спокойствие? Что мешает вам обрести спокойствие?

Определите ваши навязчивые установки и найдите способ избавиться от них

Psychologies
Исторические огрехи: 14 деталей картины «Князь Михаил Всеволодович перед ставкой Батыя» Исторические огрехи: 14 деталей картины «Князь Михаил Всеволодович перед ставкой Батыя»

В истории гибели князя Михаила Черниговского много загадочного

Вокруг света
Датчик распредвала — что делает и как понять, что он неисправен Датчик распредвала — что делает и как понять, что он неисправен

Датчик положения распредвала — одна из деталей, о которых не задумываются

РБК
Основатель MDK Роберто Панчвидзе о работе с блогерами, алгоритмах социальных сетей и востребованном контенте Основатель MDK Роберто Панчвидзе о работе с блогерами, алгоритмах социальных сетей и востребованном контенте

Роберто Панчвидзе о том, как блокировки интернет-площадок сказались на блогинге

СНОБ
Уже пора. Почему готовить фигуру к лету нужно с осени Уже пора. Почему готовить фигуру к лету нужно с осени

Мы часто откладываем приведение в порядок тела «к пляжу» до последнего момента

Лиза
Алена Яковлева: Алена Яковлева:

Алена Яковлева уже более тридцати пяти лет служит в Театре сатиры

Караван историй
Как ученые открыли в космосе силу, объясняющую аномалии Вселенной Как ученые открыли в космосе силу, объясняющую аномалии Вселенной

Загадка темной материи и темной энергии будет раскрыта

ТехИнсайдер
«ЭкоНива» достроит сырный завод «ЭкоНива» достроит сырный завод

Компания «ЭкоНива» построит сырный завод в Новосибирской области

Агроинвестор
Шить, чтобы жить Шить, чтобы жить

История 84-летней вышивальщицы с деменцией Юлии Алёшичевой

Новый очаг
Доставка искусства Доставка искусства

Основательницы beauty-пространства Wig Dealers Саша Винер и Катя Архипова

OK!
Новая страсть миллиардеров: что такое эффективный альтруизм Новая страсть миллиардеров: что такое эффективный альтруизм

Эффективный альтруизм: истоки этого движения, его критика и причины популярности

Forbes
Города будущего и банки еды Города будущего и банки еды

Какие экологические проекты реализуют регионы и бизнес

РБК
Витамины, которые стоит принимать при менопаузе Витамины, которые стоит принимать при менопаузе

Как подготовиться к менопаузе?

Лиза
Как перестать мучиться вопросом «Что скажут люди?»: 9 шагов Как перестать мучиться вопросом «Что скажут люди?»: 9 шагов

Как изменить отношение к чужому мнению?

Psychologies
Критическое мышление и принцип согласия: как секс-образование делает мир безопаснее Критическое мышление и принцип согласия: как секс-образование делает мир безопаснее

Саша Казанцева — почему о сексе мало исследований и почему насилие на замечают

Forbes
Что такое «голливудская волна» и как сделать такую укладку Что такое «голливудская волна» и как сделать такую укладку

Прическа «голливудская волна» популярна уже не первое десятилетие

РБК
Жестокий роман: как алгоритмы соцсетей пропускают неприемлемый контент Жестокий роман: как алгоритмы соцсетей пропускают неприемлемый контент

Как рекламные объявления нарушают политику соцсетей

Forbes
Продукты, которые увеличат продолжительность жизни Продукты, которые увеличат продолжительность жизни

Нут, рыба, зелень и другие продукты, которые продлят вашу жизнь

ТехИнсайдер
«Мой дом — моя крепость»: 4 совета архитектора для уютного пространства «Мой дом — моя крепость»: 4 совета архитектора для уютного пространства

Как обустроить ваше личное комфортное «гнездо»

Psychologies
«Любой переезд — разрыв идентичности»: как помочь ребенку адаптироваться в эмиграции «Любой переезд — разрыв идентичности»: как помочь ребенку адаптироваться в эмиграции

Как помочь ребенку при внезапных и глобальных переменах

Forbes
Вопреки насмешкам: как Вера Менчик стала первой чемпионкой мира по шахматам Вопреки насмешкам: как Вера Менчик стала первой чемпионкой мира по шахматам

Вера Менчик — великая шахматистка, регулярно игравшая против мужчин на турнирах

Forbes

Как появились выражение "сморозил глупость" и слово "ерунда"?

ТехИнсайдер
Принять, нельзя исправить Принять, нельзя исправить

Что такое состояние эмоционального бессилия?

Новый очаг
Клик — и готово. За что дали Нобелевскую премию по химии в 2022 году Клик — и готово. За что дали Нобелевскую премию по химии в 2022 году

Зачем сегодня химики «кликают», и что для этого нужно?

N+1
«Дьявол заставил меня это сделать»: история об одержимости демоном, которая попала в суд «Дьявол заставил меня это сделать»: история об одержимости демоном, которая попала в суд

Процесс над Арне Шайенном Джонсоном — один из самых необычных в XX веке

VOICE
Открыть в приложении