Идея проекта
Исходные изображения для обучения
Я решила обучить нейросеть на собственный художественный стиль, чтобы увидеть, какие черты окажутся наиболее выразительными и сохранятся в итоговых генерациях.
В датасет попало 17 рисунков, в основном портретов.
Исходные изображения для обучения
Результирующая серия изображений
a woman with long blonde hair and a sword/ anime drawing, a woman with long blonde hair and a sword
eichi_v style, one cute white rabbit, sitting on a crescent moon
Для начала я сгенерировала несколько изображений с LoRA на максимальной интенсивности. Хотя черты стиля были узнаваемы, на генерациях присутствовало много артефактов и непонятных деталей.
lora_scale=0.5/lora_scale=0.75. «eichi_v style, one cute white rabbit, sitting on a crescent moon»
изображение из исходного датасета/"eichi_v style, anime drawing, side profile of a man with flowing black hair, gold accents», lora_scale = 0.75
Чтобы добиться лучших результатов, я протестировала разные значения lora_scale и изменения в промптах, добавив «simple anime drawing», так как стандартный SDXL склоняется к фотореализму. Лучше всего показали себя дополненные промпты и lora_scale 0,85. В этих генерациях стиль узнается, при этом артефактов значительно меньше, а лица проработаны точнее.
«eichi_v style, anime drawing, side profile of a man with flowing black hair, gold accents», lora_scale = 0.85
«eichi_v style, simple anime drawing, a woman with long blonde hair and a sword», lora_scale = 0.85
Небольшие артефакты всё же остались, но, думаю, это можно было бы исправить более длительным обучением и дополнительным файнтюнингом под простые аниме-иллюстрации.
simple anime drawing, a gir with pink hair, wearing sunglasses and smoking a cigarette/simple anime drawing, a man with pink hair, wearing sunglasses and smoking a cigarette
Процесс обучения
Перед началом обучения я обрезала все изображения под формат 1024×1024 с помощью сайта birme.net.
Превью датасета
Генерация подписей
После загрузки датасета в Colab были сгенерированы подписи. Обучение на 500 эпох заняло 40 минут.
Обучение
Генерация изображения