ИДЕЯ ПРОЕКТА
Проект направлен на обучение Stable Diffusion XL воспроизведению ботанического стиля французского иллюстратора Шарля Антуана Лемера. С использованием DreamBooth LoRA на малом датасете (10 изображений) создаётся модель, способная генерировать различные виды кактусов в винтажной эстетике старинных научных гравюр.
ИСХОДНЫЕ ИЗОБРАЖЕНИЯ
Для обучения я собрала датасет из 10 иллюстраций Шарля Антуана Лемера. Нашла я их на сайте rawpixel (https://www.rawpixel.com/art-studio?page=1&path=1525.sub_topic-5876&sort=curated).
Все картины обладают лицензией СС0.
Примеры из датасета
ОПИСАНИЕ ПРОЦЕССА ОБУЧЕНИЯ
Для обучения я использовала метод DreamBooth в сочетании с LoRA на базе модели Stable Diffusion XL. Этот подход позволил мне обучить большую модель всего на 10 изображениях, добавляя всего несколько мегабайт новых весов, это очень удобно, так как у меня не было мощного компьютера, и я работала в Google Colab с бесплатной видеокартой.
Я скачала 10 ботанических иллюстраций кактусов Шарля Антуана Лемера. Старалась выбрать разные виды кактусов, чтобы модель поняла разнообразие форм. Все картинки я обработала: привела их к квадратному размеру 768×768 пикселей, добавила белый фон и слегка повысила резкость, чтобы лучше выделить детали штриховки. После этого с помощью модели BLIP я автоматически сгенерировала текстовые описания к каждой картинке. К каждому описанию я добавила префикс: «botanical illustration in the style of Charles Antoine Lemaire, cactus, detailed scientific drawing». Этот префикс стал триггером, который помогал модели понимать, в каком стиле нужно рисовать.
Обучение заняло около 15-20 минут. Я настроила параметры так, чтобы всё поместилось в память видеокарты. Использовала небольшой размер батча (всего 1 картинка за раз, но с накоплением градиентов это давало эффект как от 4 картинок), скорость обучения поставила 0.0001 и включила 8-битный оптимизатор, чтобы сэкономить память.
На первых шагах модель пыталась понять общие черты стиля Лемера: как рисовать иголки, как делать штриховку, как создавать эффект старой бумаги. К 100-му шагу ошибки обучения снизились до 0.008 — это значит, что модель начала понимать, что от неё хотят. К 250-му шагу ошибки упали до 0.004 и дальше почти не менялись. Я остановила обучение на 500 шагах, потому что при таком маленьком датасете (всего 10 картинок) дальше тренировать было уже опасно, модель могла начать просто копировать мои изображения вместо того, чтобы учиться стилю.
Готовая модель сохранилась в папке lemaire_cactus_lora. Веса LoRA заняли всего около 5 мегабайт — это очень мало, их легко можно пересылать и загружать. Обученная нейросеть научилась рисовать кактусы в стиле Лемера: у неё получаются детализированные колючки, красивая штриховка, винтажный эффект старой бумаги. При этом модель может рисовать разные виды кактусов, даже те, которых не было в обучении, например, она отлично справилась с Saguaro и Ferocactus, хотя в моей подборке их не было. Итоговая серия из 6 картинок показала, что модель действительно усвоила стиль: все изображения выглядят как настоящие старинные ботанические иллюстрации, но при этом каждый кактус уникален.
РЕЗУЛЬТАТ
ИСПОЛЬЗОВАНИЕ ГЕНИИ В ПРОЕКТЕ
В проекте использовались следующие генеративные модели:
Stable Diffusion XL (SDXL) — базовая модель для генерации изображений. DreamBooth + LoRA — метод обучения. BLIP — автоматическая генерация текстовых подписей к иллюстрациям.
