«Ближе брата и сестры никого нет».
Обычно эта фраза встречается в смешных роликах, но если отстраниться и посмотреть серьезнее, то я нахожу в этой фразе глубокий смысл. Мы с сестрой много раз ссорились и мирились, переживали смешные и грустные моменты, менялись и взрослели.
И я понимаю, что для меня она — самый близкий человек, с которым мы идем всю жизнь бок о бок.
— Юль, а как ты думаешь, мы сестры в каждой вселенной? — Конечно!!
Спросив однажды об этом сестру, я потом часто вспоминала о нашем разговоре и периодически отправляла ей картинки с подписью «мы».
Именно поэтому я решила, что будет классно и мило сгенерировать изображения нас в разных реальностях.
Для проекта я отобрала 25 наших совместных фотографий и использовала их для обучения LoRA на основе Stable Diffusion.
Примеры фотографий из гугл диска
В каждой новой реальности может меняться одежда, обстановка вокруг и даже форма тела. Мне было интересно проверить, насколько узнаваемыми мы получимся после всех кодов и превращений.
Главное условие серии — мы всегда вдвоем.
Хочется сохранить наш вайб и вопрос «мы?».
Первая генерация показала, что генерация двух людей в кадре оказалась непростой задачей. В следующих генерациях модель миксовала нашу внешность. Я уточнила описание внешности и наше положение в кадре, после чего результат был ближе к исходнику. При этом точного сходства добиться не получилось, но я утвердила четвертый вариант промта
Результат генерации
В целом финальный результат меня устроил, поэтому я перешла на генерацию изображений в различных вселенных.
РусалкиПромт: «Mermaids»: ( «znvpair sisters as two young adult mermaids together, " «brunette on the left with green eyes and an emerald fish tail, " «blonde on the right with pale blue eyes and a pearl blue fish tail, " «wearing ornate seashell tops, sitting on a seaside rock, " «tails visible, luminous lagoon, soft sunset, cinematic fantasy» ),
АнимеПромт: «Anime»: ( «znvpair sisters as two young adult anime heroines, " «brunette on the left with green eyes and defined eyebrows, " «blonde on the right with pale blue eyes and light eyebrows, " «standing together on a neon city street, stylish jackets, " «expressive distinct faces, hand drawn animation, " «clean linework, cel shading, vibrant twilight» ),
Игра престоловПромт: «Game of Thrones»: ( «znvpair sisters, two young adult women in Game of Thrones, " «brunette companion on the left, green eyes, dark embroidered gown, " «blonde dragon queen on the right, pale blue eyes, braided hair, " «ivory royal gown, standing together on a Dragonstone terrace, " «small dragon perched behind them, cinematic fantasy, soft daylight» ),
ГномыПромт: «Gnomes»: ( «znvpair sisters as two young adult female garden gnomes, " «brunette on the left with green eyes, " «blonde on the right with pale blue eyes, " «short stature, pointed hats, embroidered tunics, leather boots, " «standing together beside a mushroom cottage, " «full body portrait, enchanted woodland, warm light, storybook illustration» ),
Гламурные рыбкиПромт: «Glamorous Fish»: ( «znvpair sisters as two glamorous anthropomorphic fish, " «left fish with a brown bob wearing a striped tracksuit, " «right fish with blonde hair wearing a luxurious burnt orange fur coat, " «both with exaggerated plump glossy lips, " «standing together underwater, expressive fish faces, fins, " «fashion editorial, playful surreal illustration» ),
ВедьмакПромт: «Witcher»: ( «znvpair sisters as two alluring adult vampire women, " «brunette on the left with green eyes, black velvet gown, " «blonde on the right with pale blue eyes, burgundy satin gown, " «standing close together, elegant fitted bodices, delicate fangs, " «confident expressions, gothic castle, soft candlelight, cinematic portrait» ),
Русская сказка«Fox and Wolf»: ( «znvpair sisters as two female animal characters, " «a russet fox on the left with green eyes and a brown forelock, " «a silver wolf on the right with pale blue eyes and a blonde forelock, " «sitting close together, fox smaller than wolf, " «expressive faces, enchanted forest, soft light, detailed storybook illustration» ),
При отборе изображений я обращала внимание на три вещи: присутствие обеих сестер, узнаваемые особенности внешности и соответствие вымышленному миру.
Эти условия не всегда выполнялись, поэтому генерировать изображения приходилось несколько раз. Иногда приходилось изменять промт, а в какой-то раз хватало заново запустить код.
Примеры «неудачных» генераций
Мой проект начался с вопроса «Мы сестры во всех вселенных?» и реальный ответ получить на него невозможно, но с помощью нейросети я смогла представить несколько таких миров.
Показав сгенерированные картинки своей сестре, она утвердительно ответила: «ну мы!!», так что я считаю, что справилась с поставленной задачей.
Инструменты:Stable Diffusion XL 1.0 — базовая модель для генерации изображений.DreamBooth и LoRA — методы персонализации модели на совместных фотографиях.Google Colab — среда для подготовки данных, обучения и генерации.Hugging Face — загрузка базовой модели и хранение обученной LoRA.Помимо обученной модели, в проекте использовалась BLIP для создания черновых подписей к фотографиям. Подписи были проверены и исправлены вручную.
