Описание
В данном проекте передо мной была поставлена задача обучить нейросеть Stable Diffusion генерации изображений в определённой стилистике/определённого предмета на основе моего фотобанка.
В качестве материала для обучения я использовал несколько десятков собственных фотографий, посвящённых теме «золотого часа» — периода в сутках во время рассвета или заката, когда исходящие от солнца лучи под влиянием угла планеты и атмосферы меняют свой оттенок, становясь более красным и мягким.
Исходные изображения
Все фотографии сделаны на территории России, в урбанизированных или сельских локациях в разные сезоны, но приблизительно в один и тот же промежуток суток.
Результирующая серия изображений
На выходе получилась впечатляющая серия изображений, которая довольно точно передала атмосферу первоначально использованных фотографий.
В первую очередь, хотелось передать дух особенного московского или подмосковного золотого часа: нейросеть без уточнений рисовала панельные многоквартирные и частные дома, присущие данным регионам.
Самым точным, как по мне, вышел свет и его рассеивание. Небо и облака нейросеть генерирует вполне похожими на реальные. Изображениям удаётся верить, несмотря даже на разность сезонов и, например, мокрую брусчатку (10) или сверкающий снег (11), который блестит в солнечных лучах очень натурально.
16
Каждый день и даже каждый час не похожи друг на друга. В какие-то промежутки времени солнечные лучи могут быть жёстче или же наоборот, настолько мягкими, что цветовая гамма окружающей среды максимально сокращается.
Нейросеть показала, что она способна создавать как и откровенно пастельные композиции (7, 9, 12, 14), так и уходить в достаточно контрастную яркость (4, 10).
17
Мне особенно нравится, как нейросеть передаёт элементы окружения, присущие преимущественно странам Восточной Европы: пыльный асфальт, уродливые столбы с проводами, пышные, но зачастую голые или позолотевшие от осени деревья, которые в сочетании с панельной застройкой воссоздают неподдельное ощущение ностальгии.
Все изображения были созданы без дополнительных методов улучшения.
18
19
Несмотря на то, что подавляющее большинство изображений получились качественными и детализированными, нейросеть всё же выдала несколько картинок (18, 19) достаточно схематично, с экспрессией.
На них всё ещё передаётся схожая цветовая гамма, однако некоторые объекты не отличаются резкостью и точностью. Например, загруженных мною референсов, скорее всего, не хватило, чтобы нейросеть смогла качественно генерировать многоквартирные дома, при том, что деревья у неё наоборот получаются очень даже хорошо. Это всё хорошо видно на изображении 19.
Использование ИИ
Проект был создан с использованием генеративной модели Stable Diffusion XL с DreamBooth и LoRA, которую я дообучал на своем датасете с целью создать уникальную модель, генерирующую изображения в стиле russian golden hour или русского постпанка в образовательных целях.
Я не использовал ИИ в проекте помимо обученной нейросети. Я самостоятельно разработал концепцию, идею, составлял промпты, не использовал upscale-сети для повышения качества или детализации результирующих изображений.
