Идея проекта
Цель проекта — прикладная. Моя тётя владеет небольшим магазином, и у нас появилась идея выпускать к её продукции простые авторские открытки с моим персонажем — девочкой Унной. Чтобы ускорить процесс рисования и иметь возможность быстро генерировать новые сюжеты в едином стиле, я решила обучить нейросеть Stable Diffusion на своих работах.
Основная задача: научить модель узнавать образ Унны, изображать её на картинках, а также копировать мой авторский приём — использование одного цвета разной прозрачности и размытия задних планов для создания глубины
Исходные изображения
В качестве исходных изображений я взяла свои картинки размером 3500×2480 и обрезала их до квадрата
Процесс обучения
Для проекта я использовала предоставленный в задании код и отредактировала его.
Первая попытка генерации оказалась неудачной. Сначала нейросеть вовсе не попадала в стиль изображения, затем стало понятно, что нормально сгенерировать Унну она тоже не способна: лицо «плывёт», появляются искажения и прочие ошибки
Промт: A girl is sitting on the grass among the butterflies
Причина скорее всего заключалась в том, что на картинках, на которых я обучала нейросеть, Унна в большинстве своем маленькая, и нейросеть просто не видит её детали. По этой причине я отдельно добавила картинки, где она изображена в полный рост или где видно её лицо
Следующие попытки оказались более удачными — по крайней мере, с той точки зрения, что нейросеть смогла уловить атмосферу и более точно подобрать цветовую гамму
промт1: A girl is sitting on the grass among the butterflies промт2: A girl sits on the edge of a lake and looks at the fish in the water
Результат
После множества попыток и экспериментов с разными промтами, негативными промтами и улучшением кода удалось добиться результата, отдалённо напоминающего мои исходные изображения. Однако в любом случае полученные генерации нельзя использовать без доработки — они требуют чистки и финальной ручной обработки
Промт: a girl walks through the forest image in yellow
Промт: A girl is sitting in the branches of a tree
Промт: A girl walks through the forest. the image is in blue color
Комментарий к результатам
В целом нейросеть освоила главное: единую цветовую палитру для каждой отдельной картинки (состоящую из одного цвета разной степени прозрачности), мелкие авторские детали — такие как узор на дереве или маленькие веточки, общую атмосферность и, что самое важное, центрального персонажа — Унну.
Главные недочёты — всё ещё высокая степень «замусоривания», которую мне не удалось устранить иначе как вручную, а также периодические искажения лица и тела Унны.
Тем не менее получившиеся генерации как минимум можно использовать как отправную точку для поиска новых идей и создания будущих работ
Другие ИИ используемые в проекте
Дополнительно используемые ГенИИ: 1.https://gemini.google.com/u/0/app/aefcf90aed088cb4 Gemini (дополнительно режим Canvas), для исправления ошибок в коде
