Нейросеть GauGAN2: обзор нейросети, рисующей по словам и картинкам

Нейросеть GauGAN2 Фото

Что такое GauGAN2

Nvidia представила обновлённую нейросеть GauGAN2, которая создаёт реалистичные и футуристические пейзажи и рисунки на основе набросков и текстовых описаний.

Как пользоваться

Здесь не требуется авторизация, просто нужно перейти на http://gaugan.org/gaugan2/.

Скажем честно, интерфейс нас напугал, но немного поработав с сервисом – мы привыкли и разбирались что за чем следует.

Расскажем об основных элементах интерфейса.

Первым делом, прокручиваем колёсико мыши, переходим в конец сайта и ставим галочку, давая согласие о правилах предоставления услуг.

согласие о правилах предоставления услуг

Область слева – рабочая зона, где мы будем творить: либо рисовать, либо загрузим шаблон и будем дорабатывать. Она по умолчанию уже закрашена. Этот цвет используется, если нужно нарисовать небо (sky), то есть уже можно сгенерировать изображение и результатом будет небо. Область справа – здесь будет изображение, сгенерированное AI.

рабочее окно GauGAN2

Выбираем тип данных запроса, с которым AI будет работать. Можно выбрать комбинацию, например: набросок + текст.

выбор тип данных в GauGAN2
  • segmentation – сегментация;
  • sketch – набросок, эскиз, который вы сами нарисуете, аналогично, если бы рисовали в Paint;
  • image – генерация картинки на основе изображения;
  • text – генерация картинки на основе текстового запроса;
  • Input text – поле для ввода текстового запроса.

Очень важно проверять где проставлены галочки в этой строке. Например, если Вы хотите сгенерировать изображение только по текстовому запросу, игнорируя, загруженную картинку-референс, обязательно галочка должна стоять рядом с «text» и отсутствовать у «image». Иначе AI будет работать с тем, что задано.

Мы снимем галочку напротив «segmentation» и выберем «text». Вводим запрос: «mountains next to a lake». Для генерации изображения нажимаем на правую стрелочку.

навигация в GauGAN2

Вот что получилось:

результат генерации изображения в GauGAN2

Чтобы сгенерировать изображение снова по этому же запросу нажимаем на иконку «игральные кости».

Можно изменить цветовую схему, выбрав на панели справа один из предложенных фильтров:

выбор цветовой схемы в GauGAN2

Мы не стали применять дополнительно фильтры, данный результат нас устраивает и продолжаем с ним работать дальше.

Нажимаем на иконку «левая стрелочка» и сгенерированное изображение скопируется на левую половину – рабочую область. Автоматом проставилась галочка напротив «image». Мы начинаем работать с изображением, которое служит шаблоном.

результат генерации изображения 2 в GauGAN2

Хотим убрать облака и что-нибудь добавить в наш пейзаж. Воспользуемся ластиком, чтобы убрать лишние.

функция ластика в GauGAN2

Если выбрать инструмент – «Волшебная палочка», который на рисунке выше справа, то он будет автоматом закрашивать схожие области, что может быть не совсем корректно. Поэтому мы выбрали обычный ластик и закрасили левую часть изображения:

пример использования ластика в GauGAN2

Затем нажимаем:

Немного ждём и видим, что AI разбила наше изображение на сегменты

разбивка изображения на сегменты в GauGAN2

Как оказалось, так легче и нагляднее работать. Мы выше убрали часть неба, теперь добавим облака. Выбираем слева Landscape, затем Clouds. И кистью, на месте, где мы убрали небо, рисуем облака.

инструмент Clouds в GauGAN2

Ставим галочку напротив «segmentation», так как дополнительно к запросу, мы добавили сегменты, и генерируем изображение нажав на стрелочку.

функция segmentation в GauGAN2

Дополнительно удаляем озеро, что справа. Те же действия: выбрали ластик, замазали озеро, снова поделили изображение на сегменты, выбрали Hill (холм) в Landscape и с помощью кисти нарисовали холм.

функция Hill в GauGAN2

Не забываем что можно применить фильтр или сгенерировать снова изображение, нажав на иконку «игральные кости».

Нажав на

AI сгенерирует «набросок», который мы можем доработать, т.е. это ещё один формат представления запроса.

набросок в GauGAN2

С помощью инструментов «карандаш» и «ластик», который для эскизов, мы дорисовали, добавив гору, и дополнительно выбрали Mountain (гора) в Landscape и кистью закрасили, надеясь что GauGAN2 нас лучше поймёт.

Обязательно напротив «sketch» проставили галочку, тем самым, указывая, что в нашем запросе есть и эскиз, который нужно учесть при генерации, иначе AI просто проигнорирует его.

функция sketch в GauGAN2

Довольно неплохо получилось для первого раза.

И исходное изображение и сгенерированное изображение можно сохранить, нажав на иконку дискеты под изображениями. Исходное изображение GauGAN2 сохраняет в zip-архив, который содержит отдельные png-файлы: картинка-шаблон, сегментированная карта и эскиз. В дальнейшем эти файлы можно загрузить для последующей работы.

сохранение изображения в GauGAN2

Вот пример ещё одного сгенерированного изображения. На входе мы выбрали только сегментацию (segmentation) и кистью нарисовали объекты.

рисование кистью в GauGAN2

Особенности

  • Бесплатный сервис.
  • Высокое качество изображения.
  • Возможность комбинации несколько режимов запросов для последующей генерации изображения.
  • Возможность загружать свои собственные фильтры для наложения на изображение.

Аналоги этой нейросети

Artbreeder – это нейросеть, позволяющая генерировать изображения, пейзажи, портреты, включая «оживление» персонажей, по текстовым запросам, фото, собственным схематичным изображениям.

Scribble Diffusion – нейросеть, генерирующая рисунки по вашим наброскам. Всё что нужно – это сделать эскиз будущей картинки, задать дополнительные настройки и отправить на дорисовку нейросети.

Оцените статью
Neuroseti.ru