Концепция
В этом проекте я хотела соединить ручную технику и нейросетевую генерацию в одной системе
Сначала были сделаланы 18 акварельных фонов в технике отмывки с использованием соли. За счёт соли появляются случайные текстуры и разводы, которые напоминают воду и создают ощущение «морской» среды. Эти фоны стали основой для всей серии.
После этого придуман главный персонаж — красная рыбка и отрисована в нужной стилистике. Дальше использована нейросеть, чтобы сгенерировать с рыбкой серию изображений.
Когда изображения были готовы и распечатаны, я вырезала и наклеила их на акварельные фоны. В итоге получилось 18 аппликаций, в которых соединяются ручная фактура и цифровая генерация.
Идея проекта заключается в том, чтобы сначала создать собственный визуальный стиль вручную — через аппликации и акварельные фоны, а затем проверить, сможет ли нейросеть воспроизвести этот стиль
Задача
Создать серию авторских аппликаций и на их основе обучить нейросеть так, чтобы она могла генерировать новые изображения в том же стиле, сохраняя форму персонажа, цвет и общий визуальный характер работ.
Использованные инструменты
[1] Stable Diffusion — для генерации изображений [2] ChatGPT 5.3 — для работы с промптами и их уточнения [3] Google Colab — для запуска кода и генерации [4] Adobe Photoshop — для оформления и сборки визуальных материалов
Процесс обучения
Установка библиотек
Сначала я устанавливаю все необходимые библиотеки для работы с генеративными моделями. Важно подключить инструменты для Stable Diffusion, LoRA и оптимизации памяти.
Загрузка датасета
Дальше создаю папку для датасета и загружаю туда изображения с рыбкой.
Проверка вычислительных ресурсов
Перед началом работы проверяю, доступна ли видеокарта
Это важно, потому что обучение и генерация изображений требуют GPU. Если видеокарта доступна, все дальнейшие процессы будут работать значительно быстрее.
Очистка лишних файлов
Обучение модели (LoRA)
Дальше начинается основной этап — обучение модели.
Подключение обученной модели
После обучения загружаю базовую модель Stable Diffusion и подключаю к ней полученные веса LoRA:
Работа с промптами и генерация серии
Промт иллюстрации — paper collage red fish in FISHSTYLE style, big fish close up, big shells, starfish
Промт иллюстрации справа — paper collage red fish in FISHSTYLE style, starfish, colorful starfishes, flat watercolour layout
Промт иллюстрации слева — paper collage red fish looking at camera, front view in FISHSTYLE style
Промт иллюстрации — paper collage multiple red fish in FISHSTYLE style, minimal background
Промт иллюстрации слева — paper collage red fish in FISHSTYLE style, coral reef, colorful corals
Промт иллюстрации справа — paper collage different fish, coral reef in FISHSTYLE style
Промт иллюстрации — paper collage red fish with bubbles, underwater, FISHSTYLE style
Промт иллюстрации слева — paper collage jellyfish and starfish, underwater in FISHSTYLE style
Промт иллюстрации справа — paper collage red fish in FISHSTYLE style, minimal background, centered
Промт иллюстрации — paper collage red fish in water swirl, circular composition, FISHSTYLE style
Анализ результатов
Модели удалось передать основные характеристики персонажа: яркий красный цвет, простую форму и эффект вырезанной аппликации с белым контуром. В большинстве изображений сохраняется узнаваемый силуэт рыбки и общий визуальный язык проекта.
При этом персонаж не всегда воспроизводится полностью идентично: меняются пропорции, детали или положение элементов. Однако, ключевые признаки остаются, поэтому образ не теряется и серия воспринимается цельно. Нейросеть также добавляет новые элементы — кораллы, морские формы, декоративные детали, тем самым расширяет исходную стилистику.
В целом цель проекта достигнута: нейросети удалось усвоить основные визуальные характеристики персонажа и научиться воспроизводить его в разных сценах, сохраняя узнаваемую форму и цвет. Несмотря на небольшие вариации в деталях, образ рыбки остаётся цельным и легко считывается.
В итоге обученная нейросеть генерирует вариативные изображения, которые хорошо передают стиль проекта и могут использоваться как основа для дальнейшей работы.