Идея
Официальный арт Genshin Impact
Тейват — мир популярной фэнтезийной игры Genshin Impact, известный своей необычной и разнообразной кухней. Еда не только очень аппетитно нарисована, но и продумана до мелочей. Так, например в двух разных регионах представлены абсолютно разные кухни, в одном схожая с европейской, а во втором с азиатской.
Скриншот из игры Genshin Impact / Официальный арт Genshin Impact
В игре уже существует еда, вдохновленная дизайнами персонажей, поэтому в рамках проекта было решено пофантазировать и обучить нейросеть создавать собственные варианты такой стилизованной еды.
Примечание:
Данный проект является учебным и выполнен в некоммерческих целях. Все персонажи, элементы вселенной и стилистика Genshin Impact принадлежат компании HoYoverse. Сгенерированные изображения используются исключительно в образовательных и исследовательских целях.
Датасет для обучения
Я собрала датасет из квадратных изображений с едой из игры, стараясь выбирать более разнообразные варианты блюд, для более точного обучения. Датасет составил около 30 изображений.
Датасет состоял из около 30 файлов изображений еды из игры Genshin Impact
Обучение
После сбора датасета были установлены необходимые библиотеки для работы со Stable Diffusion XL. Для генерации подписей к изображениям использовалась модель BLIP. Обучение проводилось с использованием технологии DreamBooth LoRA и специального токена для запоминания стиля.
Установка библиотек / Загрузка датасета
Начало обучения
«a delicious food from Genshin Impact, Mondstadt style steak, warm lighting, anime style, wooden table» / «a delicious food from Genshin Impact, magical dessert, anime style»
В результате обучения, при первой попытке генерации изображений с менее подробным промптом, получилась еда похожая на ту что из игры, но с лишними деталями и фоном.
«a delicious food from Genshin Impact, dish representing wind element, swirling shapes, light green glow, abstract food design anime style, simple background» / «a delicious food from Genshin Impact, broken dessert revealing glowing core inside, dramatic reveal, high contrast, anime style, simple background»
Понемногу я редактировала промпт, пробуя создавать более фэнтезийные и необычные дизайны, больше приблизить их к еде из игры.
«a delicious food from Genshin Impact, potion-like soup boiling in a glass bowl, magical symbols, anime style, glowing runes, simple background» / «a delicious food from Genshin Impact, panda-shaped rice ball, bamboo leaves decoration, adorable style, anime style, simple background»
В итоге мне удалось приблизиться к нужному мне результату, в меру детальному, с необычными дизайнами и простым фоном, так чтобы картинки максимально напоминали исходные изображения.
«a delicious food from Genshin Impact, drink inspired by Kokomi, clear liquid with bubbles and tiny fish inside, soft blue tones, magical ocean vibe, anime style, high detail, centered composition, simple background, solid color background» / «a delicious food from Genshin Impact, slime-shaped jelly dessert, translucent, colorful, glowing inside, anime style, simple background»
Итог
В промпты итоговой серии я, помимо визуального описания блюда добавляла подсказки ввиде имен персонажей, чьим дизайном должно быть вдохновлено блюдо. В итоге получилось довольно похоже, в обычной еде сохранялась палитра или небольшие элементы, напоминающие персонажей и позволяющие ассоциировать блюда с ними.
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious food from Genshin Impact, dish inspired by Raiden Shogun, purple lightning effects, elegant dish, anime style, simple background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious food from Genshin Impact, marshmallow ghost dessert inspired by Hu Tao, cute ghost shape, soft white texture, red flowers around, playful but slightly spooky, warm glow, anime style, high detail, centered composition, simple background, solid color background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious food from Genshin Impact, fresh salad inspired by Collei, decorated with purple flowers, cute arrangement, vibrant colors, anime style, high detail, centered composition, simple background, solid color background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious food from Genshin Impact, waffles inspired by Kaedehara Kazuha, drizzled with syrup, topped with a maple leaf, cozy and elegant, anime style, high detail, centered composition, simple background, solid color background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicate drink inspired by Kokomi from Genshin Impact, soft pink and light blue colors, clear liquid with tiny floating fish and bubbles, magical ocean vibe, pastel tones, anime style, high detail, centered composition, simple background, solid color background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious food from Genshin Impact, rice shaped like cute bunnies inspired by Yaoyao, decorated with banana slices and green herbs, adorable and playful, pastel colors, anime style, high detail, centered composition, simple background, solid color background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious bubble tea from Genshin Impact, inspired by Ayato, pastel blue drink with tapioca pearls, topped with a small chocolate piece, soft highlights, anime style, high detail, centered composition, simple background, solid color background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious food from Genshin Impact, chocolate cake inspired by Arlecchino, decorated with red crystal pieces and white sprinkles, elegant and playful design, anime style, high detail, centered composition, simple background, solid color background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious food from Genshin Impact, mochi inspired by Mizuki, pastel purple, pink and blue colors, decorated with sakura petals, topped with cream shaped like fluffy clouds, delicate and cute, anime style, high detail, centered composition, simple background, solid color background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious food from Genshin Impact, buns shaped like cat paws inspired by Kirara, decorated with chocolate and green herbs, cute and cozy, pastel colors, anime style, high detail, centered composition, simple background, solid color background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious food from Genshin Impact, sandwich shaped like a four-leaf flower, inspired by Albedo, golden geo energy, geometric petals, elegant design, wood plate, soft glow, side view, anime style, high detail, simple background, solid color background»
сгенерированное изображение / официальное изображение персонажа, которым вдохновлена еда
«a delicious bubble tea from Genshin Impact, banana and chocolate flavored drink inspired by Navia, topped with whipped cream, soft pastel yellow and brown tones, cute and cozy, anime style, high detail, centered composition, simple background, solid color background»
В итоге у меня получилась серия из 12 изображений еды с уникальным дизайном в стиле еды из игры Genshin Impact.
Итоговая серия из 12 сгенерированных картинок
Описание применения генеративной модели
Проект был выполнен с использованием генеративной модели Stable Diffusion XL, которая была дообучена методом LoRA на подготовленном датасете. Также применялась языковая модель ChatGPT для создания и уточнения текстовых промптов для генерации изображений.
