Идея проекта
В своем проекте я показываю, что память человека, не всегда бывает стабильна. Она способна постоянно меняться, что-то забывается, или заполняется новыми воспоминаниями. Эмоции так же влияют на нашу память, а детали размываются со временем.
Исходные картинки
Я решил показывать трансформацию памяти, через импрессионизм. Часто в импрессионизме делается акцент на нашей повседневности и эмоциях. Так что проживая день за днем, мы забываем насколько жизнь мимолетна. Память не может вместить каждый момент, и сохраняет в основном основные события.
Стиль импрессионизма, помогает через размытые формы показать нечеткие воспоминания. Через меняющиеся цвета, видно как эмоции искажают наше восприятие. Детали которые не так сильно видно, или исчезают, тревожат нас своим отсутствием, но мы не уверены действительно ли они существовали.
Итоговые изображения
«Impressionism painting, soft brush strokes, hazy childhood memory of playing in a sunlit field, warm light, blurred figures, dreamlike atmosphere»
«impressionism painting, dissolving childhood memory, figures melting into light, soft brush strokes, warm fading tones, almost unrecognizable forms»
«Impressionism painting, fading memory of a person standing at a train station, soft motion blur, melancholic mood, diffused light»
Модель хорошо передала ключевые элементы запроса. Импрессионистический стиль выражен через мягкие мазки, размытые контуры и рассеянный свет. Эффект «угасающего воспоминания» реализован за счёт размытия, приглушённой палитры и отсутствия чётких границ. Сцена с человеком на станции читается, Общее настроение потерянного воспоминания, передается и накладывается эффект меланхолии.
«impressionism painting, fragmented memory of a person, face partially erased, blending into background, emotional haze, loss of identity»
Модель не копирует композицию датасета, а извлекает именно визуальные характеристики: мазок, цвет, текстуру, и применяет их к новому изображению. В выходном изображении стиль узнаваем, но содержание полностью новое.
«impressionism painting, figure dissolving into surroundings, boundaries disappearing, soft gradients, loss of separation»
«Impressionism painting, distant memory of a family dinner, figures barely defined, warm tones, emotional atmosphere»
Данная серия является попыткой воспроизвести воспоминания от которых в памяти остаются лишь отголоски. Еле видимый силуэт женщины, которая всплывает в памяти у пожилого мужчины. Момент ожидания поезда на вокзале. Семейная посиделка когда-то в прошлом. Детство без забот.
Описание процесса обучения
Обучаем с помощью нейросети Stable Diffusion совместно с техникой LoRA. Устанавливаем необходимые библиотеки, после чего загружается готовый тренировочный скрипт. Исходные данные представляют собой небольшую библиотеку из картинок в стиле импрессионизма. С помощью BLIP генерируется текстовое описание к каждой модели. К этим описаниям дополнительно приписывается единый стилистический шаблон — «impressionist painting, soft brush strokes, light and color, atmospheric». Все полученные пары сохраняются в файл metadata.jsonl. Далее работает DreamBooth в сочетании с LoRA на основе SDXL. После завершения обучения модель используется для генерации новых изображений, по текстовым запросам.
Итоги
Воспоминания с каждым днем ускользают от нас все дальше, что-то мы помним лучше, а другое можем и вовсе не вспомнить. Импрессионизм помогает нам визуализировать утерянные воспоминания. Нейросеть в данном случае не просто имитирует художественный стиль, а становится инструментом интерпретации субъективного опыта, превращая воспоминания в визуальные образы.
Описание применения генеративной модели. С генерацией идеи помог ChatGPT. chatgpt.com
