Концепция
Цель проекта — проверить, можно ли научить Stable Diffusion воспроизводить собственный стиль. Для этого была обучена LoRA-модель на наборе моих картин, после чего с её помощью была создана серия новых изображений.
База данных для ИИ
Было отобрано 12 изображений из собственного архива для анализа и обучения ИИ.
Процесс обучения ИИ
Сначала изображения были загружены в рабочую среду Google Colab, где формировался датасет для последующего обучения.
На следующем этапе для каждого изображения автоматически генерировались текстовые описания с использованием модели BLIP, что позволило связать визуальные данные с семантическими характеристиками.
Далее был запущен процесс обучения. В качестве базовой архитектуры использовалась Stable Diffusion XL, а адаптация под конкретный стиль выполнялась с помощью методов DreamBooth и LoRA. Обучение происходило через специализированный скрипт.
Гиперпараметры подбирались с учётом ограничений вычислительных ресурсов Google Colab, чтобы сохранить баланс между качеством обучения и стабильностью процесса.
После завершения обучения полученные веса интегрировались обратно в базовую модель через библиотеку Diffusers. Это обеспечило возможность использовать обученный стиль при генерации новых изображений.
Результаты проекта показали, что даже при небольшом объёме исходных данных возможно эффективно обучить модель воспроизводить авторский визуальный стиль. Комбинирование нескольких подходов позволило добиться управляемой генерации изображений с заданными характеристиками и подтвердило потенциал генеративных моделей как инструмента в авторской практике.
Итоговые изображения
«human art in SIRIUS style, group of three friends hanging out, casual chaotic energy, one drinking from a bright colored bottle, another leaning on shoulder, relaxed poses, expressive faces with simplified anatomy, bold black outlines, flat colors with selective highlights, contrasting accent colors (neon pink, warm orange), clean but imperfect linework, subtle noise texture, white or empty background, character-focused composition»
«human art in SIRIUS style, person sitting in a bathroom filled with yellow tiles, cigarette in mouth, relaxed but detached expression, cinematic perspective from below, strong geometric background, warm monochrome palette (mustard yellow, brown shadows), sharp cel shading, minimal gradients, thick and thin line variation, indie comic vibe, slightly dirty texture overlay, quiet melancholic mood»
«human art in SIRIUS style, stylized portrait of a tired young person with messy short hair, half-lidded eyes and subtle dark circles, looking sideways, sharp angular face, sketchy confident lineart with uneven thickness, flat cel shading with slight gradients, muted limited palette (olive green, dirty yellow, desaturated red), soft grain texture, minimal background, moody lighting from one side, indie animation aesthetic, slightly rough brush edges»
«human art in SIRIUS style, character leaning forward with mischievous expression, messy hair, cigarette or gum, strong perspective distortion, hands closer to camera, exaggerated fingers, rough expressive linework, limited palette with one strong accent color (red or neon pink), flat shading with sharp shadows, minimal background, indie animation / webcomic aesthetic, slightly imperfect anatomy for style»
«human art in SIRIUS style, close-up portrait of a person with wet hair and tired eyes, looking directly at viewer, heavy eyelids, slightly asymmetrical face, sketchy expressive lineart, flat cel shading with subtle gradients, limited palette (cool gray, muted blue, pale skin tones), soft grain and noise texture, minimal background, intimate and melancholic mood»
Использование ИИ
1. YandexGPT — задействовался для генерации и расширения текстовых промптов, консультации по коду https://yandex.cloud/ru/services/yandexgpt
2. SDXL — использовалась как базовая генеративная модель для создания изображений https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
3. LoRA — применялась для дообучения модели и переноса авторского визуального стиля https://huggingface.co/docs/diffusers/training/lora
4. DreamBooth — использовался для тонкой настройки модели на собственном датасете изображений https://huggingface.co/docs/diffusers/training/dreambooth
