Голландия.
Страна, которая известна своими обыденными сценами повседневной жизни: уютными интерьерами, суетливыми кухнями, шумными ярмарками и тихими улочками. А кто ещё может ассоциироваться с теплом, оживленностью и спокойствием? Верно — коты.
Именно поэтому было решено объединить стиль голландской живописи с визуализацией котов. Синергия гармонии и непосредственности.
Оригиналы: «Натюрморт с рыбой и кошкой» — Питер де Пюттер; «Двое детей с кошкой» — Юдит Лейстер
Фрагмент кода с промптом к изображению 1
Изображение 1
Фрагмент кода с промптом к изображению 2
Изображение 2
Фрагмент кода с промптом к изображению 3
Изображение 3
Фрагмент кода с промптом к изображению 4
Изображение 4
Фрагмент кода с промптом к изображению 5
Изображение 5
Фрагмент кода с промптом к изображению 6
Изображение 6
Фрагмент кода с промптом к изображению 7
Изображение 7
Фрагмент кода с промптом к изображению 8
Изображение 8
Фрагмент кода с промптом к изображению 9
Изображение 9
Фрагмент кода с промптом к изображению 10
Изображение 10
Таким образом, получились лаконичные и непринужденные итоговые изображения путем смешивания голландской живописи и образов котов.
Принцип работы кода
Для дообучения и генерации изображений использована нейросеть Stable Diffusion 1.5
Материал для обучения был взят из открытого доступа Амстердамского национального музея — Rijksmuseum.
Была собрана часть галереи художников Бенилюкса в размере 100 экземпляров в качестве датасета. (1:1 в разрешении 1024×1024)
Фрагмент кода
Перед началом обучения была проверена доступность GPU. Для работы использовался ускоритель T4. Затем установлены необходимые библиотеки, был подключен датасет. Для каждого изображения с помощью модели BLIP автоматически сгенерированы текстовые описания.
К каждому описанию добавлялся префикс «photo collage in BENELUX style» — так нейросеть запоминает стиль.
Фрагмент кода
Далее идет обучение модели методом LoRa.
Фрагмент кода
Далее модель загружается на сайт HuggingFaceHub.
Фрагмент кода
