ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ В СТИЛЕ УКИЁ-Э С ПОМОЩЬЮ DREAMBOOTH + LORA

Концепция проекта

Проект посвящен созданию нейросетевой модели, способной генерировать изображения в стиле Укиё-э (японская гравюра на дереве) с использованием технологий DreamBooth и LoRA для тонкой настройки Stable Diffusion XL (SDXL).

Исходные изображения: 46 изображений в формате JPG Разрешение: 1024×1024, 1:1

Сгенерированная серия (12+ изображений) Серия включает следующие темы:

1 Гора Фудзи и волны ukiyoe style, Mount Fuji with cherry blossoms and waves, Hokusai inspired 2 Гейша в саду ukiyoe style, geisha in colorful kimono walking in garden with umbrella 3 Самурай на закате ukiyoe style, samurai warrior at sunset with mountains and clouds 4 Японский дракон ukiyoe style, Japanese dragon flying over ocean waves, dramatic sky 5 Храм с сакурой ukiyoe style, traditional Japanese temple with pagoda and cherry blossoms 6 Карпы кои ukiyoe style, koi fish swimming in pond with water lilies 7 Осенний пейзаж ukiyoe style, autumn landscape with red maple leaves and bridge 8 Зимняя гора ukiyoe style, snow-covered mountain with pine trees 9 Бамбуковый лес ukiyoe style, bamboo forest with sunlight filtering through 10 Актер кабуки ukiyoe style, kabuki actor in elaborate costume 11 Лис-кицунэ ukiyoe style, fox spirit kitsune in magical forest 12 Журавли ukiyoe style, crane birds flying over mountains

Разнообразие композиций: Изображения 1, 2, 3: крупный план (фигуры, волны) Изображения 4, 5: средний план (храмы, драконы) Изображения 6, 7, 8: дальний план (пейзажи)

Цветовые вариации: Весенние тона: розовый, салатовый (изобр. 1, 5) Осенние тона: красный, оранжевый (изобр. 7) Зимние тона: белый, синий (изобр. 8)

Динамика: Статичные сцены: храмы, пейзажи Динамичные сцены: дракон, волны, летящие журавли

Архитектура проекта Проект структурирован в 18 основных этапов:

1. Установка библиотек
2. Проверка GPU
3. Создание папки для датасета
4. Загрузка изображений
5. Предпросмотр изображений
6. Загрузка BLIP для подписей
7. Создание промптов в стиле Укиё-э
8. Генерация подписей через BLIP
9. Создание JSONL файла
10. Загрузка JSONL на GitHub
11. Очистка памяти
12. Загрузка скрипта обучения
13. Параметры обучения
14. Запуск обучения (500 шагов, ~50 минут)
15. Сохранение модели на Google Drive
16. Сохранение информации о модели
17. Генерация 12+ изображений
18. Отображение результатов

Этапы обучения Этап 1: Подготовка данных Загружено 46 изображений BLIP сгенерировал подписи Добавлен префикс «ukiyoe style, traditional Japanese woodblock print, " Создан JSONL файл metadata.jsonl

Этап 2: Загрузка модели SDXL base model (6.94 GB) VAE для экономии памяти LoRA адаптер

Этап 3: Обучение bash accelerate launch train_dreambooth_lora_sdxl.py
--pretrained_model_name_or_path="stabilityai/stable-diffusion-xl-base-1.0»
--dataset_name="ukiyoe_style»
--output_dir="ukiyoe_style_lora»
--resolution=1024
--train_batch_size=1
--gradient_accumulation_steps=4
--max_train_steps=500
--use_8bit_adam
--mixed_precision="fp16»

Результаты обучения: Шаг 250: loss = 0.231 Шаг 500: loss = 0.193 Время: ~50 минут на T4 GPU

Роль GenAI в проекте: BLIP — создал 46 текстовых описаний, которые использовались для обучения модели SDXL + LoRA — основная генеративная модель, обученная на датасете ChatGPT — помог структурировать документацию и описать результаты GitHub Copilot — ускорил написание кода, предложил оптимизации

Достигнутые результаты

Результат Количество обученных изображений 46 Количество сгенерированных изображений 12 Время обучения ~50 минут Размер LoRA модели ~50 MB Качество генерации 1024×1024

Что получилось Модель научилась генерировать узнаваемый стиль Укиё-э Сохранены характерные элементы: волны, контуры, цветовая гамма Разнообразные темы: природа, портреты, мифология Высокое качество детализации