Концепция
Этот проект — исследование того, как современные нейросети понимают классическую игровую графику. Я решил создать инструмент, который генерирует чистый пиксель-арт, сохраняя дух старых консольных хитов вроде Super Mario, The Legend of Zelda, а также современных инди-игр вроде Hyper Light Drifter.
Скриншот из The Legend of Zelda / Скриншот из Super Mario Bros
Скриншот из Hyper Light Drifter
В качестве эксперимента я решил обучить одну нейросеть (Stable Diffusion XL) на работах других генеративных моделей. Датасет из 30 качественных изображений я подготовил самостоятельно, используя инструменты Nano Banana и Vizcom. Это позволило мне быстро собрать базу с нужной мне стилистикой и цветовой палитрой, которую затем я закрепил в финальной модели.
Исходных изображений было около 30, все они были сгенерированы мной с помощью Nano Banana и Vizcom
Для меня это стал эксперимент по «обучению нейросети на нейросети». Я сам нагенерил около 30 исходных картинок в Nano Banana и Vizcom, чтобы собрать базу в одном стиле и цвете. Это помогло мне создать свою собственную модель (LoRA). Теперь мне не нужно расписывать длинные промпты и технические настройки — нейронка сама понимает, что я хочу получить именно такой пиксель-арт.
Мои генерации
В основе стиля лежит четкая пиксельная сетка и ограниченная палитра, имитирующая графику 16-32 бит. Главная фишка токен PIXELART_STYLE. Все промты подписаны под изображениями.
Промт: профессиональный пиксель-арт в стиле PIXELART_STYLE, уютная лоу-фай комната с окном
Промт: пиксельный персонажи стоят в мистическом лесу, освещён фиолетовым светом, пиксель-арт, атмосферный фон / Промт: пиксельная пещера с сияющими кристаллами, магические отблески на стенах
Результаты превзошли ожидания, модель научилась имитировать даже сложные техники, такие как дизеринг (оптическое смешение цветов пикселями).
Промт: герой в стиле PIXEL ART_STYLE, держащий сияющий артефакт, окружённый растениями / Промт: фиолетовый пейзаж в стиле PIXEL ART_STYLE с высокими скалами
Промт: профессиональный пиксель-арт в стиле PIXELART_STYLE, футуристическая киберпанк улица, неоновые вывески на японском, дождевые лужи, стиль аркады 32-бит
Промт: группа пиксельных растений, детализированный фон / Промт: одинокое пиксельное дерево с яркой кроной и детализированным стволом
Промт: Храм в стиле ретро-пиксельной графики в густом лесу, солнечные лучи пробиваются сквозь деревья, волшебная атмосфера, деревенский стиль пик-арта, яркие и насыщенные цвета, детализированный фон
Лично мне больше всего нравится, как получаются пейзажи и локации. У нейросети хорошо вышло передать глубину и атмосферу, особенно в фиолетовых и неоновых тонах.
Промт: пиксель-арт в стиле PIXELART_STYLE, маленький робот-кот с светящимися глазами, простой фон / Промт: графика в стиле PIXELART_STYLE: одинокий рыцарь в серебряных доспехах
Промт: пиксель-арт в стиле PIXELART_STYLE, древний каменный меч, застрявший в замшелой скале / Промт: графика в стиле PIXELART_STYLE: бутылочка с волшебным зельем, 16-битная эстетика
Картинки вышли разнообразными по цвету. Хотя я не всегда детально прописывал окружение, модель сама «вытягивала» из датасета нужные градиенты. Да, иногда проскакивают странные артефакты, но для ретро-стиля это выглядит даже аутентично, как баги в старых играх.
Фрагменты кода
Описание применения генеративной модели
Проект реализован на базе SDXL с использованием метода DreamBooth LoRA. Выбор технологии обеспечил точную передачу эстетики «pixel relic artifact» без деградации базовой модели. Обучение в течение двух часов позволило глубоко проработать детали стиля, сохранив гибкость генерации.
Техническая часть опирается на библиотеку Diffusers с применением 8-bit Adam и градиентного чекпоинтинга для оптимизации VRAM. Датасет подготовлен в Nano Banana и Vizcom, прошел фильтрацию и тегирование моделью BLIP, а структура проекта сформирована в Gemini. Для сохранения первозданной четкости графики я отказался от апскейлеров. Модель выдает детализированный результат напрямую через триггер-фразу.
