Концепция
Я обучала генеративную нейросеть Stable Diffusion создавать изображения под свой собственный стиль, который я использую в работе в онлайн-школе. Я создаю дизайны для онлайн-школы, поэтому часто работаю в коллажной технике с упором на учебную тематику. Один из курсов, которые есть в продаже: Экспресс-курс повторения перед экзаменом «Тирамису», поэтому в некоторых изображениях присутствует кофейная тематика.
Изображения для обучения
серия изображений для обучения
серия изображений для обучения
серия изображений для обучения
серия изображений для обучения
Итоговая серия изображений
генерация № 1
промпт:
«photo in Sonya_projectt style, A greeting card for high school students, featuring writing instruments, sheets of paper, or notebooks.»
соответствие ожидаемому результату:
обученная нейросеть смогла передать стилистику фона изображения, использовала текстуры и шум. также удачными являются крупные объекты на изображении, но в результате есть и непонятные объекты. удалось передать коллажность в генерации и текстуры объектов на фоне.
генерация № 2
промпт:
«photo in Sonya_projectt style, A postcard for a coffee shop, featuring a new product incorporating coffee-related elements (coffee beans, a cup, and a pastry).»
соответствие ожидаемому результату:
обученная нейросеть так же попала в заданную стилистику, передала объекты в одной проекции и добавила к ним нужную текстуру на основе моих дизайнов. не удалось четко передать формы объектов
генерация № 3
промпт:
«photo in Sonya_projectt style, An image featuring flowers for a spring event. Colors: pink, green.»
соответствие ожидаемому результату:
в данной генерации нейросеть не передала коллажную стилистику, сделала реалистичное изображение, которое при этом подходит под общую концепцию моих дизайнов.
генерация № 4
промпт:
«photo in Sonya_projectt style, An abstract image with flowing lines. Colors: blue and red.»
соответствие ожидаемому результату:
в данной генерации нейросеть использовала мой референс с абстрактными линиями, был выполнен запрос с незначительными изменениями формы линии.
генерация № 5
промпт:
«photo in Sonya_projectt style, An image with an educational theme, rendered in a collage style and featuring elements of an academic interior—specifically a blackboard, chalk, a desk, and notebook paper.»
соответствие ожидаемому результату:
данная генерация подходит под стилистику, предложенную для обучения, передает текстуры объектов, коллажность (за счет проекций), но при этом не справляется с четкими формами предметов.
Код и описание процесса обучения
В Stable Diffusion были загружены изображения для обучения, предварительно обработанные до стандартного вида с соотношением сторон 1:1 (квадрат 256 на 256 пикселей). Я подключила по API ключу модель для обучения ее своему стилю на собственных работах.
Был создан префикс Sonya_projectt style, чтобы модель понимала, что такое «мой стиль». Затем после обучения я попробовала использовать модель с генерацией на основе данных на 100% и на 60%. При работе на 60% изображения получались слишком реалистичными, что не подходило под стиль моего запроса, поэтому я решила генерировать изображения, используя 100% моего стиля.
Для работы использовалась модель Stable-Diffusion-xl-base-1.0 с параметром num_inference_state=25. Параметр отвечает за количество шума в изображении и нагрузку на систему при генерации изображения.
Нейросеть отразила заданный стиль с погрешностями в изображении реальных предметов, таких как блокнот, ручка, лист бумаги. В остальном удалось передать стилистику моих изображений.
Дополнительные нейросети для задач проекта не были использованы.
