Референс
Для обучения нейросети я решила использовать свой текстильный проект, который представляет собой серию квадратов с аппликациями мифологических животных или цветочных орнаментов. Мне захотелось расширить перечень тем, обучив нейросеть создавать изображения любых объектов в таком стиле.
Код и процесс обучения
Обучение проводилось в Google Colab. Сначала я подготовила фотографии, на которых будет обучаться модель. Я привела их к единому формату 512×512 для упрощения работы кода. Далее я перешла к обучению модели Stable Diffusion с использованием метода LoRA и DreamBooth. Я использовала предложенный в курсе код, внеся правки в соответствии с концепцией моего проекта.
Для того, чтобы скорректировать генерируемые изображения я прописала токен «textile applique», который указывает на то, что модель обучается на текстильных аппликациях.
Обучение модели. Я выставила максимальное число шагов обучения 500 и 100 шагов для чекпоинта.
Получившиеся изображения
a sunflower / colorful cat on striped background
colorful bear on a polka-dot background / a house with a chimney and 2 windows on a yellow background / an apple / a horse
a face of a woman
geometrical ornament / flower meadow with 3 flowers
a seagull / a striped tiger / a goat on a yellow background / an elephant on a red background
Комментарии к генерациям
В результате нейросеть создала мне множество квадратов с изображением разных животных и предметов. Теперь коллекция аппликаций пополнилась образами, не связанными с мифологическими сюжетами. Я старалась не прописывать очень подробный промпт, чтобы посмотреть, как нейросеть сама бы изобразила определенный объект в моем стиле.
В целом, нейросети удалось скопировать стиль моих текстильных аппликаций: она чередует стежки разных форм, сочетает ткани разных цветов и узоров, а также отлично передает такие особенности ткани как складки, ворсистый край и выбившиеся нитки. Она даже смогла повторить фоны, сшитые из двух кусков ткани.
Однако нейросеть не совсем точно передает силуэты животных, добавляя лишние детали. Те формы, которые в моей работе отвечали за конкретную часть тела, нейросеть считывает как случайные обрезки, помещая отдельно пришитые куски рядом с основной массой. Кроме того, нейросеть очень часто выдает полосатый фон, даже если в промпте есть четко прописанный цвет. Скорее всего, эту проблему можно исправить, увеличив количество фотографий, участвующих в обучении, и прописав более подробный промпт.
