Идея проекта
Мне захотелось обучить генеративную нейросеть Stable Diffusion своему художественному стилю для генерации новых дизайнов персонажей с различными костюмами. Для этого я собрала датасет со своими редизайнами персонажей Monster High
Основная цель моего проекта — узнать, сможет ли нейросеть повторить мой стиль, а возможно и улучшить мои идеи
Monster High — Американская серия фешн-кукол созданная Гарретом Сэндером и проиллюстрированная Келли Райли. Официальный релиз состоялся в июле 2010 года. Также позже были выпущены видеоигра Monster High: Ghoul Spirit, мультсериал и серия фильмов
Исходные изображения персонажей
Примеры из библиотеки
Обучение
Мною был собран датасет из квадратных изображений, которые являются моими собственными артами редизайнами персонажей из вселенной Monster High. Все они выполнены в одном стиле. Цель проекта заключалась именно в том, чтобы нейросеть смогла попасть в мой стиль, соблюсти цветовую гамму и правильно изображала телосложение персонажей
Использованные в проекте программы:
Stable Diffusion — для обучения генеративной нейросети под свой стиль Google Colab — для выполнения кода и генераций Hugging Face — для получения токена для обучения нейросети и загрузки полученной модели на сайт Adobe Photoshop — для создания коллажей из готовых работ
Для начала нужно было загрузить все необходимые библиотеки, а потом загрузить изображения с компьютера в Google Colab, через специальную встроенную функцию в Google Colab
фрагменты кода
Далее был создан токен через Hugging Face, происходила настройка и вставка его в код
Приближаясь к тренировке я выбрала разрешение 512, выставила максимальный шаг тренинга на 800, а чекпоинт установила на 250, так тренировка нейросети заняла всего час
После сохранения модели на Hugging Face я приступила к генерации картинок
Первая генерация
Первая пробная генерация получилась неудачной, но все же прослеживаются схожие с оригиналом черты лица
1. In the style of VALTERMARG, portrait of a girl 2. In the style of VALTERMARG, a pale gothic girl 3. In the style of VALTERMARG, a stylized female character
Портреты получались заметно лучше, чем персонажи в полный рост
In the style of VALTERMARG, pale gothic girl, portrait, dark aesthetic, detailed face, fashion illustration, high quality
Однако нейросеть хорошо считала пропорции и нужные силуэты тел, а также разнообразные текстуры и формы костюмов
In the style of VALTERMARG, a fashion girl
In the style of VALTERMARG, dark fantasy werewolf girl, lilac hair, yellow eyes, fangs, punk fashion outfit, confident pose, fashion illustration, clean line art, high detai
Я также поэкспериментировала с промптами
Без упоминания в промпте моего стиля получался более хаотичный по настроению персонаж, после упоминания стиля картинка стала более стилизованой
1. без упоминания моего стиля 2. после упоминания стиля
Подробный промпт: In the style of VALTERMARG, 2d-style character illustration, dark fantasy aesthetic. A skinny werewolf girl with gray skin, sharp gray cat ears pierced with silver rings, and long wavy lilac-purple hair matching her eyebrows and lashes. Her eyes are striking yellow with yellow sclera; she has lilac lips with prominent white fangs. Outfit: olive green fur jacket over a black ripped tank top, dark green mini skirt with belt straps, and chunky platform boots adorned with multiple buckles and straps. Dynamic pose, standing confidently with a slight smirk. Lighting: dramatic low-angle rim light, moody atmosphere. Background: striped light gray with subtle gradient, creating a punk-fashion editorial vibe. Clean line art, vibrant pastel accents, high detail, character sheet style
Итоговые генерации
Так как в начале получались непонятные и скорее абстрактные изображения, была выставлена команда, чтобы стиль влиял на 85%. Благодаря этому получилось добиться более четких деталей в прорисовке, но, несмотря на это, стиль все еще оставался читаемым
Также в негативных промптах были прописаны блюр, искажения, кривые линии, неправильная анатомия, дублируемые персонажи. Это помогло значительно улучшить результаты генераций
1. In the style of VALTERMARG, cyberpunk girl 2. In the style of VALTERMARG, cyberpunk girl
In the style of VALTERMARG, fantasy warrior
In the style of VALTERMARG futuristic fashion model
1. In the style of VALTERMARG, witch with familiar 2. In the style of VALTERMARG, fairy with butterfly wings
Заметно, что нейросеть выучила, что нужно рисовать персонажам гипертрофированную худобу, характерный высокий рост, небрежность стиля, также удалось добиться достаточно четкой обводки
При сравнении цветовой палитры с оригиналом видно, что нейросеть её учитывает и выдерживает генерируемые изображения в пастельных, пыльных тонах
Подводя итог хочется сказать, что искусственный интеллект не может заменить художника, но может быть хорошим инструментом в умелых руках и помогать ускорить и оптимизировать рабочий процесс для реализации творческих идей
