Концепция
Проект посвящён исследованию того, как генеративная нейросеть может перенести визуальные характеристики личного домашнего пространства в образ городской среды Сочи
Проект исследует возможности генеративной модели Stable Diffusion в переносе текстур, материалов и визуальных особенностей домашнего пространства в городской ландшафтВ качестве обучающего материала используется датасет фотографий текстур моего дома: поверхностей, тканей, предметов интерьера и других деталей, которые формируют привычную для меня визуальную средуПосле обучения модель применяется для генерации изображений Сочи — города, в котором я живуДомашние текстуры при этом выступают не как отдельный декоративный элемент, а становятся основой визуального языка города, изменяя архитектуру, поверхности и общее восприятие пространства
Сочи выбран не случайно, так как это город моего повседневного опыта. В проекте соединяются два пространства — личное пространство дома и внешнее пространство городаТаким образом, создавая его субъективную, визуально переосмысленную версию
Процесс обучения
Все фотографии сделаны в моём доме. При подборе фотографий я старалась сохранить разнообразие материалов, цветов, фактур и повторяющихся визуальных элементов пространстваВ итоге для обучения нейросети получился датасет из 25 фотографий размером 1080×1080 pxВсего обучение у нейросети заняло около 3 часов
В процессе генерации серьёзных сложностей не возникло. Для получения изображений использовались короткие и простые промпты с указанием конкретной сцены или объекта в Сочи и обученного стиляНапример«prompt = „photo collage in HOME style, park in the city of Adler“ # @paramimage = pipe (prompt=prompt, num_inference_steps=25).images[0]
image»Модель достаточно стабильно переносила особенности исходного датасета на городскую среду, поэтому не требовалось сильно усложнять запросы или использовать дополнительные методы коррекции. Основная работа заключалась в подборе наиболее удачных генераций и сравнении того, как по-разному обученный стиль проявляется в разных городских сценах
Итоговые изображения
Итоговая серия представляет альтернативный образ Сочи, сформированный на основе визуальных характеристик моего домашнего пространстваПри генерации я намеренно меняла тип городских сцен: от общих видов города до отдельных архитектурных объектов и деталей среды. Это позволило проверить, насколько последовательно обученная нейросеть переносит особенности датасета на разные сюжетыВ изображениях сохранились характерные признаки Сочи — южная растительность, городская архитектура, улицы, море и ощущение курортного города. При этом поверхности и отдельные элементы приобрели черты текстур, присутствовавших в обучающей выборке
Нейросеть не переносит исходные фотографии буквально. Она интерпретирует повторяющиеся признаки датасета (цветовые сочетания, характер поверхностей, фактуру материалов, формы и визуальный ритм)Поэтому в некоторых генерациях влияние исходных изображений проявляется явно, а в других становится менее буквальным и ощущается прежде всего в общей стилистике изображения.
Вывод
Итоговая серия показывает Сочи как субъективный образ города, сформированный через визуальный язык моего дома
В результате проекта удалось показать, что визуальные характеристики личного пространства могут быть перенесены на совершенно другой тип среды — городской ландшафт. Обученная нейросеть не копирует исходные текстуры буквально, а переосмысляет их, включая в архитектуру, поверхности и общее настроение изображенийТаким образом, проект стал исследованием того, как генеративная модель может соединять личное и внешнее пространство и создавать на их основе новую визуальную среду
Генеративные нейросети
Ссылка на кодStable Diffusion XL — генерация изображений и обучение генеративной моделиChatGPT (OpenAI) — помощь в написании более качественного промта и устранении ошибок в коде
