Вступление
Архитектура сопровождает людей на протяжении многих лет и имеет богатую и долгую историю.
Но что если кто-то возьмет сознание человека в нестабильном состоянии (во сне) и соединит его с образом зданий?
Будут ли эти здания отдаленно напоминать то, что мы уже знаем или будут отличаться на столько, что мы никогда не поймем, что это за здание?
В рамках проекта я решила объединить психоделику сна и архитектуру, чтобы проверить свои теории.
Причинами такого решения стали:
- Интерес к тому как человеческое воображение и генерация воспринимают похожие образы и представления.
- Генерация архитектуры довольно простой и быстрый способ обработки информации и всегда интересно какой результат получиться.
- Мы постоянно наблюдаем архитектуру вокруг нас — это неотъемлемая часть нашего общества, как и процесс сна или сновидений, от чего объединении данных форм кажется наиболее интересным экспериментом.
Датасет
сгенерировано с помощью chat GPT
Для обучения модели был собран датасет, состоящий из 68 изображений созданных с помощью искусственного интеллекта в виде зданий переведенных в психоделический облик.
Все изображения были приведены к единому формату: -конвертированы в PNG; -масштабированы до разрешения 512×512; -приведены к квадратному соотношению сторон (1:1);
Это позволило создать удобный и пригодный для обучения набор данных.
Процесс обучения модели
Для обучения использовалась архитектура Stable Diffusion XL с дообучением через метод DreamBooth LoRA, позволяющий адаптировать модель под специфический визуальный стиль.
Проект был направлен на генерацию изображений архитектуры с постепенным переходом от реалистичного вида к психоделическому акварельному искажению.
Процесс включал несколько этапов:
Подготовка данных
С помощью Python-скрипта: — изображения загружались в среду Google Colab — датасет формировался вручную, с отбором изображений зданий и архитектурных форм — файлы приводились к единому формату (PNG/JPEG) — изображения нормализовались по размеру
Особое внимание уделялось визуальной целостности: в датасет включались как реалистичные изображения построек, так и более стилизованные или уже частично искажённые формы.
Обучение
Модель обучалась с использованием текстового промпта: psychedelic building
Это позволило закрепить за LoRA характерный визуальный стиль — деформированную архитектуру с текучими формами, насыщенными цветами и акварельной текстурой.
Было проведено несколько этапов обучения:
100 шагов (тестовый этап)
На этом этапе модель начала воспроизводить базовую форму зданий: — огромные замки — общие силуэты крыш и стен — максимальные искажения формы
500 шагов (добираю базу изображений, чтоб было больше основы)
На данном этапе начали проявляться характерные особенности для зданий: — понятная форма — узнаваемость силуэта
Модель начала экспериментировать с архитектурой, преобразуя привычные формы в более органичные и стабильные структуры.
Интересным эффектом стало то, что при генерации серии изображений можно наблюдать постепенный переход: от нереалистичных и смазанных пятен к узнаваемо-искаженному образу.
Этот переход стал ключевой идеей проекта — визуализация трансформации привычной архитектуры в художественную интерпретацию через призму нейросети.
Генерация
Для стабильности работы кода было принято решение использовать HuggingFace для более стабильной работы. Так генерации стали более яркими, а чем подробнее промт, тем лучше стало создаваться изображение.
Promt: draw a psychedelic museum: a round building with a moon above it, like a smiling cat, round glass panels, the drawing should resemble a dream, the building should look like a futuristic building or a lotus temple in Delhi, India, bright colors, watercolor style
Генерация происходит довольно просто:
- выбор тематики изображения
- выбор соответствующих визуальных признаков
- сборка итогового промпта
- генерация изображения с заданными параметрами.
Дом доброй и злой ведьмы
Итоговая серия
В проекте предоставлено множество примеров того, что может созданная генеративная модель.
В этом разделе будет три блока с несколькими изображениями, которые созданы благодаря одному и тому же промту.
Draw a psychedelic fairy house in fly agaric on a tree, watercolor style, bright colors
Draw a psychedelic glass museum in the form of a flying saucer on the moon, watercolor style, bright colors
draw a psychedelic glass museum in the form of a lotus flower in a swamp with various creatures crawling nearby and lots of eyes, watercolor style, bright colors
Для редактирования кода и проверки написания использовались Gemini.ai (внутри самого Googl Collab) и ChatGPT.
Данные нейросети использовались как редакторы кода, а так же выступили помощниками в генерации изображений для обучения в коде.
