Бестиарий — это средневековый сборник описаний животных, в котором реальные и вымышленные существа (львы, единороги, драконы) изображаются и интерпретируются с символическим смыслом
референсы для обучения
Образы бестиариев характеризуются искаженной анатомией, декоративностью и условностью, что делает их примером донаучного взгляда на природу и фантазию.
В рамках проекта в качестве визуального языка я выбрала именно стиль бестиария. Его гибкость и вариативность позволяют исследовать, каким образом генеративная модель интерпретирует фантастические формы и переносит характерные черты, такие как плоскостная композиция, графичность и деформация, в новые изображения.
референсы для обучения
Для реализации проекта использовалась модель Stable Diffusion XL, дообученная с применением методов LoRA и DreamBooth. Обучение проводилось на датасете из 11 изображений, представляющих визуальные примеры бестиариев. Все изображения были взяты из источников с открытой лицензией Creative Commons.
референсы для обучения
Обучение модели
Обучение проводилось в Google Colab. На начальном этапе были установлены необходимые библиотеки и загружены скрипты для дообучения модели Stable Diffusion с использованием методов LoRA и DreamBooth.
Далее был подключен подготовленный датасет, включающий изображения.
На этапе подготовки к обучению был задан префикс с триггер-токеном (photo collage in bestiary style), который позволял связать визуальные особенности изображений с текстовыми запросами и обеспечивал корректное воспроизведение стиля при генерации.
Подготовленные изображения и текстовые описания были структурированы и сохранены в формате JSONL, который затем применялся в процессе обучения модели.
Результат
Модель достаточно тяжело воспроизводит животных и добавляет им лишние конечности. Но с учетом специфики бестиария, такой брак не кажется выбивающимся из стилистики. Цвета и визуальный стиль передаются хорошо.
photo collage in bestiary style, a phoenix with one head and wings burning fire
Далее я попробовала дать модели промт, который не содержит облик человека или животного. С природными заданиями она отлично справилась, сохранив визуальный стиль мазков, графики и цвета.
photo collage in bestiary style, rose bushes with butterflies // photo collage in bestiary style, daffodils only
photo collage in bestiary style, birches and the river only
И на удивление, с изображением портрета человека в профиль, модель справилась гораздо лучше, чем если бы человек был в полный рост.
photo collage in bestiary style, portrait of a woman in profile against a background of white roses
photo collage in bestiary style, portrait of a man in profile against a background of violets
photo collage in bestiary style, portrait of a child in profile against a background of daisies
