Идея
Для обучения модели я выбрала свою серию открыток для цветочного магазина. При помощи модели открытки можно будет создавать быстрее, генерировать их к грядущим праздникам.
Исходные изображения
Результирующая серия изображений
С помощью обученной модели была сгенерирована серия из 12 изображений с различными сюжетами. Все промпты начинались с «flat vector illustration in TOK style», за которым следовало описание конкретного сюжета.
flat vector illustration in TOK style, a girl riding a red bicycle with flowers in the basket, lime green background, bold shapes
картинки объеденяет легкое насторение, они могут быть использованы на открытках магазина и быть приятным дополнением к подарку
модели частично удалось повторить плоский стиль иллюстраций без обводки, особенно хорошо это получилось на ките и велосипедистке
Так же модель хорошо справилась с цветами, но тоже не полностью воспроизвела стиль, уйдя в более свободный импрессионистический мазок
У модели есть проблемы в виде избыточной детализации и ухода в объем.
Описание процесса обучения модели: 13 изображений были загружены в папку. Каждое изображение автоматически описано моделью BLIP. К описаниям добавлено условие «flat vector illustration in TOK style». Подписи сохранены в metadata.jsonl. После этого модель обучалась
Далее были сделаны генерации: Обученные LoRA-веса загружены в pipeline SDXL. Для генерации использован checkpoint-250 с lora_scale=0.5. Сгенерировано 12 изображений с различными промптами. Количество inference steps варьировалось от 30 до 100
Вывод
Модель хорошо справляется с генерацией цветов, иногда получаются лаконичные объекты в похожем на оригинал стиле. При дальнейшей доработке модели необходимо сделать стиль более плоским, формы более четкими, добавить зернистость, получать более минималистичные изображения.
P. S. В проекте не был использован ГенИИ помимо обученной нейросети.
