КОНЦЕПЦИЯ
Цель проекта — проверить, можно ли обучить генеративную модель Stable Diffusion воспроизводить стиль художника Нико Пиросмани. Для этого была обучена LoRA-модель на наборе изображений его работ, после чего с её помощью была создана серия новых изображений.
БАЗА ДАННЫХ
Для обучения модели я выбрал 26 работ Нико Пиросмани с разными композициями и сюжетом, однако в сам датасет вошли не целые картинки, а их фрагменты, где главный персонаж центрирован. Благодаря этому модели было легче считать лица и формы персонажей, а также мазки кисти.
В итоге генерации получились достаточно похожими на стиль Нико Пиросмани, несмотря на то, что обучение проводилось с упрощенными параметрами — например, само обучение проходило всего в 200 шагов вместо предпочтительных 600.
Нико Пиросмани известен своим наивным стилем, простыми композициями и сюжетами из повседневной жизни. На его картинах часто изображены люди, животные или сцены с предметами на тёмном фоне. Эти особенности стали основой для генерации новых изображений.
ПРОЦЕСС ОБУЧЕНИЯ
Процесс обучения включал создание подробных промптов с помощью инструмента GigaChad.
Это позволило максимально точно передать запросы к нейросети и добиться наилучшего понимания ею стилистических особенностей Пиросмани.
Обучение модели было нацелено на то, чтобы она усвоила визуальные маркеры авторского стиля и могла применять их к новым сюжетам.
В работе применялись современные инструменты генерации изображений: Stable Diffusion XL (SDXL), DreamBooth и LoRA. Эти технологии позволили реализовать комплексную задачу по обучению и настройке модели для создания визуальных работ в заданном стиле.
На первом этапе была загружена база данных изображений, после чего с помощью модели BLIP автоматически сгенерированы промпты для каждого из них. Важная особенность сформированного набора промптов — унифицированная структура: каждый заканчивается одинаковой фразой «Niko Pirosmani». Это обеспечило единый формат входных данных и задало чёткое направление для последующей работы модели.
Далее был выполнен этап обучения модели. Процесс проходил с шагом 200 и занял недолгое время. За это время система проанализировала предоставленные данные, усвоила ключевые закономерности и особенности, заложенные в исходных изображениях и промптах, — что позволило ей в дальнейшем воспроизводить схожие визуальные решения при генерации новых работ.
В результате была подготовлена основа для генерации изображений по промптам.
На финальном этапе модель способна создавать новые визуальные работы, опираясь на изученные паттерны и заданный формат промптов.
ФИНАЛЬНЫЕ ИЗОБРАЖЕНИЯ
В сгенерированной серии используются простые бытовые сюжеты с персонажами и предметами. При этом модель сохраняет характерные черты стиля Пиросмани: упрощённые формы, фронтальные композиции и ограниченную цветовую палитру.
Серия показывает, что обученная модель может переносить стиль художника на новые сцены.
«Woman offering a plate of red apples while standing in a garden, Niko Pirosmani»
«Man sitting at a small table with bread, cheese and a bottle of wine, Niko Pirosmani»
«Girl holding a bright red balloon in a quiet countryside landscape, Niko Pirosmani»
«Young boy standing with a small white goat in a grassy field, Niko Pirosmani»
«Woman in a long dress carrying two water buckets on a wooden yoke, Niko Pirosmani»
«Man sitting at a small table with bread, cheese and a bottle of wine, Niko Pirosmani»
«Bearded man smoking a pipe with a small dog sitting beside him, Niko Pirosmani»
«Merchant standing beside a table full of fruit and wine bottles, Niko Pirosmani»
«Fisherman holding a large fish beside a river at dusk, Niko Pirosmani»
«Man playing an accordion while sitting on a wooden bench with a small white bird nearby, Niko Pirosmani»
Датасет состоял из портретов до пояса, а финальные генерации были преобразованы в иллюстрации разных форматов.
При этом стиль художника чётко сохранён: работы отдают дань оригиналам, но привносят что‑то новое в духе творца.
ИСПОЛЬЗОВАНИЕ ГЕНЕРАТИВНОЙ МОДЕЛИ
GigaChad — для помощи в решении проблем с кодом и написании промптов.
Google Sheets — для написания кода.
Figma — для оформления.
Stable Diffusion XL (SDXL), DreamBooth и LoRA — для генерации изображений в коде.
