Свое время: обучение нейросети моему пастельному стилю

Мой проект находится на пересечении художественной практики и технологий машинного обучения. В центре внимания серия пастельных работ под названием «Своё время», где я рассматриваю, как меняется ценность вещей: период их наивысшей популярности, последующее забытье и возможное возвращение. Например, игрушка, без которой в детстве не могли уснуть, теперь лежит на антресоли. Или любимая пластинка, которая казалась устаревшей, неожиданно снова становится модной.

Главная задача проекта не просто создавать изображения с помощью ИИ, а обучить генеративную нейросеть Stable Diffusion моему уникальному стилю. Цель: чтобы она научилась воспроизводить не только сюжеты, но и технику пастельной живописи, включая её особенную фактуру, манеру штриха и характерную цветовую палитру. Основной вопрос, который я ставила перед собой, сможет ли искусственный интеллект освоить и передать такой тактильный и индивидуальный язык, как пастель?

В основе обучения лежит серия из 12 пастельных работ, созданных в рамках арт-практики. Проект исследует время через предметы из повседневной жизни: вещи, которые раньше имели значение, но сейчас утратили актуальность, а возможно, снова станут востребованными в будущем. Каждая работа отражает момент между прошлым и будущим — состояние «сейчас», когда предмет находится вне своего пика значимости.

Обучение проводилось в среде Google Colab с поддержкой GPU T4. В качестве основной архитектуры выбрали Stable Diffusion  XL (SDXL), поскольку она подходит для работы с высокими разрешениями и сложными текстурами. Чтобы адаптировать модель к моему стилю, использовали метод Low-Rank Adaptation (LoRA), что помогло обучать модель эффективно даже с небольшим набором данных.

Процесс обучения включал несколько этапов: сначала были установлены необходимые библиотеки и загружены мои работы, подготовленные в нужном формате. Для каждого изображения были созданы текстовые описания, после чего сформирован файл metadata.jsonl для обучения. Далее была проведена очистка памяти и настройка библиотеки accelerate для работы с GPU. После регистрации в Hugging Face был запущен процесс обучения модели с использованием LoRA. В ходе работы проверялись промежуточные результаты, затем модель была протестирована, и на финальном этапе с её помощью была сгенерирована итоговая серия изображений.

С помощью обученной модели на основе текстовых описаний было создано десять изображений. Каждое из них посвящено отдельному предмету и рассказывает его историю: как он расположен во времени, какую связь имеет с прошлым или каким может стать в будущем. В центре внимания оказались обычные вещи, значение которых меняется или уже поменялось. Эта серия продолжает основную идею исходного проекта: через визуальные образы показывается, как предметы становятся менее актуальными, остаются в памяти или получают новое значение.

Серия изображений показывает, что модель достаточно хорошо уловила ключевые черты моего стиля. Особенно хорошо ей удалось передать текстуру пастели, плавные цветовые переходы и приглушённые оттенки. Во многих работах сохраняется общее ощущение лёгкости и простоты форм.

Однако точность передачи смысла и композиции меняется: в некоторых изображениях идея выражена вполне чётко, а в других — менее заметно.

Анализ изображений

История виниловой пластинки Цвета приятные, композиция продуманная, смысл ясен.

История ковра Сам предмет сложно рассмотреть, но цвета гармонируют между собой.

История игрушки Композиция интересная, цвета приглушённые, образ хорошо воспринимается.

История книги Удалось показать и образ, и идею.

История платья Фигуры и предмет узнаваемы и детально прорисованы.

История часов Образ понятен, но палитра не очень удачная, смысл передан не до конца.

История радио Один из лучших вариантов по исполнению и идее.

История камеры Композиция хорошая, цвета яркие и приятные.

История чашки Образ ясен, но композиция простая, смысл выражен слабо.

История велосипеда Форма и цвет переданы хорошо, но идея не сразу становится понятной.

Архитектура и параметры:

— Базовая модель: Stable Diffusion XL  1.0 — Метод адаптации: LoRA (Low-Rank Adaptation) — Размер датасета: 12  изображений — Количество шагов: 500

В проекте использовались следующие модели ИИ:

Stable Diffusion XL  1.0  — базовая модель для генерации изображений. Дообучена под мой стиль.

BLIP  — автоматически создавала текстовые описания для моих рисунков, чтобы использовать их при обучении.

DreamBooth + LoRA  — метод дообучения, который позволил адаптировать модель под мой стиль с минимальными затратами памяти.