Идея проекта
Клод Моне — один из ключевых художников-импрессионистов, который часто создавал уникальные пейзажи, отличающиеся особой лёгкостью, воздушностью и игрой света. Так как меня очаровывают подобные картины, способные передавать изменчивое состояние природы через мягкие мазки, вибрирующий цвет и размытые контуры, я решила создать модель на основе Stable Diffusion, которая могла бы создавать картины пейзажей в стиле художника, сохраняя его характерный стиль — его композиционные приёмы, цветовую палитру и манеру письма — применяя их к новым пейзажным сюжетам,
Материалы
Для формирования исходного датасета я отобрала фотографии разнообразных пейзажей, передающих характерную для Моне манеру письма. Их объединяет общая атмосфера расслабленности, яркая цветовая гамма и глубина дальнего плана, создающая ощущение созерцательности.
(Все изображения взяты с Wikimedia и не подлежат авторскому праву.)
Использованные инструменты:
- Stable Diffusion XL (SDXL). Базовая модель для генерации изображений (https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0)
- BLIP. Автоматическая аннотация для изображений при обучении (https://huggingface.co/Salesforce/blip-image-captioning-base)
- DreamBooth + LoRA. Метод дообучения, позволяющий закрепить новый стиль с минимальными затратами ресурсов
Процесс обучения
Перед началом обучения я настроила среду в Google Colab: установила все необходимые библиотеки для работы с диффузионными моделями, подключила Google Drive, откуда автоматически скопировала все подготовленные изображения в локальную папку
Далее для обучения модели в формате DreamBooth каждому изображению нужно было создать текстовое описание. Я использовала модель BLIP — она автоматически анализирует содержимое фотографий и генерирует подписи на английском языке. Затем к каждому описанию я добавила префикс «Monet style», чтобы модель понимала, что все эти изображения объединены общим художественным стилем. В результате получился файл metadata.json, где для каждой фотографии указано её имя и соответствующий промпт
Последний этап — это запуск обучения и генерация изображений дообученной моделью. Для обучения я брала батч из 2-х изображений с шагом 500. Далее загружала базовую модель для генерации изображений, LoRA-веса и свои промпты, описывающие пейзажи, близкие по стилю к творчеству Клода Моне
Я сделала несколько итераций генераций, меняя коэффициент влияния LoRA-весов, чтобы найти оптимальные настройки. Я пробовала тестировать на промптах коэффициентом 0.7, 0.8 и 0.9
Monet style, a misty morning in a forest with rays of sunlight filtering through the trees, 0.7/ 0.8/ 0.9
Monet style, a field of sunflowers under a bright summer sky with fluffy clouds, 0.7/ 0.8/ 0.9
Monet style, a high steep cliff on the seashore, with a group of three people walking along it at dawn, 0.7/ 0.8/ 0.9
Monet style, a coastal path with wildflowers and cliffs overlooking the turquoise sea, 0.7/ 0.8/ 0.9
Можно сделать вывод, что при коэффициенте 0.9 создаются изображения с чересчур грубыми мазками и неестественно яркими цветами, а при коэффициенте 0.7 формы на картинах получается слишком размытыми и недостаточно контрастными, если сравнить с исходными файлами. Поэтому я остановилась на генерация с коэффициентом 0.8. Именно тогда модель дала самый сбалансированный из всех итераций результат. В таких условиях создается довольно воздушное пространство с высокой контрастностью объектов внутри и характерными размашистыми мазками художника
Итоговые работы
Monet style, a field of blooming irises in the forest on a sunny summer day/ Monet style, a high steep cliff on the seashore, with a group of three people walking along it at dawn/
Monet style, a brick house among cypresses and blooming lilac bushes on a spring evening/ Monet style, a white yacht in a stormy sea at night under moonlight
Monet style, a mysterious night landscape, a silhouette of a girl in a white nightgown holding a white umbrella, standing far away with her back to the viewer, faintly lit by moonlight among tall tree
Monet style, a calm river with weeping willows and reflections in the water at dusk/ Monet style, a field of sunflowers under a bright summer sky with fluffy clouds
Monet style, a coastal path with wildflowers and cliffs overlooking the turquoise sea/ Monet style, a village street lined with old stone houses and blooming chestnut trees in spring
Monet style, a misty morning in a forest with rays of sunlight filtering through the trees
