Обучение нейросети Stable Diffusion по стилю Винсент ван Гога

Мне захотелось обучить генеративную нейросеть Stable Diffusion на работах Винсента Ван Гога, потому что мне очень нравится его живопись — её энергия, выразительные мазки, яркие цвета и особое эмоциональное напряжение. Мне было интересно посмотреть, насколько нейросеть сможет уловить этот художественный язык и создавать новые изображения, которые будут ассоциироваться со стилем Ван Гога.

Список использованных в проекте инструментов:

— Stable Diffusion XL + DreamBooth LoRA — обучение генеративной нейросети под выбранный художественный стиль — Google Colab — выполнение кода, обучение модели и генерация изображений — Hugging Face — загрузка базовой модели и использование инфраструктуры для работы с нейросетями

Для начала нужно проверить, подключён ли GPU, чтобы обучение и генерация шли быстрее. Устанавливаем все нужные библиотеки для работы со Stable Diffusion, LoRA и DreamBooth. Загружаем обучающий скрипт, который потом используется для запуска обучения модели.

Задаём основные параметры проекта: папку с изображениями, папку для сохранения модели, специальный токен стиля и текстовое описание того, чему должна обучиться нейросеть. Загружаем изображения в Google Colab и помещает их в нужную папку, чтобы потом использовать как датасет для обучения.

Загружаем базовую модель Stable Diffusion XL и подключает к ней обученные LoRA-веса. После этого создаётся pipeline, который уже может генерировать новые изображения в изученном стиле.

Идея проекта заключалась в том, чтобы посмотреть, как нейросеть сможет передать стиль Ван Гога через тему времён года. Мне было интересно не просто обучить модель на его живописи, а попробовать использовать один общий художественный язык для разных природных состояний — весны, лета, осени и зимы. Так можно было увидеть, насколько хорошо нейросеть сохраняет узнаваемый стиль художника и при этом меняет настроение, цветовую гамму и детали в зависимости от сезона.

Весна: — «vangoghseason post-impressionist painting of early spring meadow, blooming flowers, fresh green grass, bright sky, expressive brushstrokes, vivid colors» — «vangoghseason post-impressionist painting of spring garden after rain, shining leaves, soft sunlight, vivid green tones, painterly texture»

Лето: — «vangoghseason post-impressionist painting of summer countryside, sunflower field, warm golden light, deep blue sky, textured paint, swirling brushwork»

Осень: — «vangoghseason post-impressionist painting of autumn forest path, yellow and orange leaves, soft evening light, rich colors, dynamic brushstrokes» — «vangoghseason post-impressionist painting of late autumn field, dark earth, bare trees, dramatic sky, thick expressive strokes, warm brown tones»

Зима: — «vangoghseason post-impressionist painting of snowy winter landscape, small village, cold air, pale blue sky, textured paint, emotional atmosphere»