Мне захотелось обучить генеративную нейросеть Stable Diffusion на создание персонажей в стиле концепт-артов придуманной мною игры «Monastery of Steel». В мире игры люди-монахи, живущие в горах, сосуществуют вместе с андроидами.
Monastery of Steel
Цель этого проекта заключается в том, чтобы нейросеть сумела обучиться моему стилю, соблюсти цветовую гамму, а также сгенерировать персонажей, которые подойдут под сеттинг игры.
Исходные изображения
Я собрала папку из квадратных изображений 512×512, которые являются моими собственными артами. Для обучения я взяла не только концепт-арты персонажей с игры, но и отдельные арты, с персонажами схожей стилистики и культуры, чтобы разнообразить цвета и образы.
Исходные изображения
Процесс обучения модели
Для реализации проекта использовалась модель Stable Diffusion XL, дообученная с помощью метода LoRA и DreamBooth на датасете, состоящем из 11 изображений.
Исходные изображения
Обучение проходило в Google Colab. До начала обучения, были установлены необходимые для работы библиотеки и загружены скрипт для дообучения модели Stable Diffusion с использованием метода LoRA и DreamBooth, и сам датасет.
Тут загружаем фотографии в гугл-диск, где хранятся исходные материалы для обучения генеративной нейросети. Указываем вид файла, вытаскиваем файлы из папки в код.
Этот код использует библиотеку «Hugging Face» для создания описаний к изображениям с помощью модели BLIP.
Итоги
1. photo collage in CONCEPT ART style, a woman in a blue dress with a red cape 2. photo collage in CONCEPT ART style, a man with a knife by the fire
После обучения нейросети, я перешла к генерации. Для начала я решила начать с изображений людей, мужчины и женщины. Нейросеть по предложенному ей датасету артов сгенерировала персонажей, скопировав стиль одежды персонажей с датасета, где-то добавив новые детали. Эта генерация вышла кривой, однако в мой стиль она попала.
photo collage in CONCEPT ART style, a man runs away in different colors
Затем я решила попробовать сгенерировать персонажей в движении, и получились два бегущих монаха. Нейросеть правильно уловила костюм монаха в сеттинге игры из датасета, и эти персонажи вышли подходящими под сеттинг.
Для сеттинга также было важно создать персонажа-андроида. Нейросеть, повторяя и интегрируя необходимые для сеттинга детали, такие как узоры и провода, создала новый вариант робота.
photo collage in CONCEPT ART style, A large robot steps over cities
Как итог, нейросеть сумела обучиться предложенному стилю, соблюсти цветовую гамму, а также сгенерировать персонажей, которые визуально подойдут под сеттинг игры.
В процессе создания проекта использовались: модель Stable Diffusion XL с использованием метода DreamBooth и LoRA
