Идея проекта
В начале XX века пользовались популярностью печатные сборники гимнастических упражнений для поддержания тонуса мышц. Идея учебника по физической культуре занимательна сама по себе, но историческая ценность подобных книг заключается не в тексте, а в иллюстрациях, его сопровождавших. Дело в том, что техника исполнения движений демонстрировалась на специальных фотографиях со множественной экспозицией и длинной выдержкой. И помимо функциональной значимости эти снимки привлекательны и с эстетической точки зрения. Размытость линий и полупрозрачные дублирующиеся конечности не только показывают движение, но и отражают его красоту.
Фрагмент иллюстрации из книги «Физические упражнения для деловых людей» Гарри Хэнкока
При дальнейшем рассмотрении подобных работ на ум приходит визуальная рифма: генеративные нейросети порой точно так же создают лишние части тела и смазанные движения. Только в этом случае изображение воспринимается как неудавшийся эксперимент.
Возможно ли найти общую точку между старыми фотографиями и новейшими технологиями и взглянуть на генерации под новым углом? В этом проекте — попытка выяснить.
Датасет
В качестве датасета было использовано 30 фотографий из книг «Шведская домашняя гимнастика по системе П. Х. Линга» и «Физические упражнения для деловых людей», взятые с сайта Public Domain Image Archive.
Размер изображений: 512×512
Фотографии из книги «Физические упражнения для деловых людей» Гарри Хэнкока, фотограф мистер Фелан (1917)
Фотографии из книги «Шведская домашняя гимнастика по системе П. Х. Линга», Теодор Бергквист (1913)
Процесс обучения
Обучение нейросети Stable Diffusion XL 1.0 происходило в Google Colab с помощью видеокарты NVIDIA Tesla T4. Адаптировала через DreamBooth с LoRA. Подготовительный этап включил в себя проверку GPU, установку библиотек, diffusers и DreamBooth. Файлы я экспортировала в Google Colab напрямую со своего компьютера, установив им новую директорию. Чтобы убедиться, что все загрузилось правильно, открыла файлы в режиме превью с помощью модуля glob. Использование BLIP помогло сгенерировать описания к картинкам для упрощения работы с ними в дальнейшем. Затем к каждой подписи был добавлен идентификатор концептуального токена. После всех процедур с описаниями я очистила память. Финальные штрихи перед обучением модели — инициализация accelerate, вставка токена с HuggingFace и установка настроек обучения. Ячейка с обучением выполнилась примерно за 40 минут. Затем я сохранила модель на HuggingFace и стала экспериментировать с промптами. Во всех промптах был использован префикс «vintage photo in MOVEMENT style».
Результирующая серия изображений
Нейросеть была обучена за 400 шагов с чекпоинтом 100, разрешение изображений 512×512 пикселей.
При изначальной генерации на чекпоинте 400 нейросеть выдавала чересчур четкие анатомически выверенные изображения, мне же хотелось чуть больше хаотичности и воздушности, поэтому я оставила для большинства генераций чекпоинт 200.
prompts: «man doing a backflip, long exposure effect», «a man plays with his cane, long exposure effect», «a woman in a white dress dancing»
Если на оригинальных изображениях были спортсмены, то на генерациях был сделан упор на художественность — я генерировала балерин, гимнасток, артистов.
Порадовало, что нейросеть уловила суть множественной экспозиции и длинной выдержки. Чтобы она точно ничего не упустила, я добавляла в промпты деталь «long exposure effect».
prompts: «woman waving her hands, long exposure effect», «contemporary dancer jumping, long exposure effect»
На генерациях части тела иногда словно перетекают друг в друга. Кажется, что это логичное продолжение фотографий XX века — движение настолько увлекает, что все сливается в единый вихрь.
prompts: «a man and a woman dancing, long exposure effect» // «a man and a woman dancing waltz, long exposure effect»
prompts: «a girl gymnast with a ball, long exposure effect» // «the ballerina stretches her leg up in motion»
Ради интереса я решила попробовать сгенерировать животных в движении и осталась приятно удивлена: несмотря на изменение объекта в кадре атмосфера и композиция остались прежними.
prompt: «a dove flying up, multiple transparent wings»
prompts: «white cat walking, long exposure effect» // «horse running, long exposure effect» // «a hare running, long exposure effect, multiple transparent legs»
Итоги
Эксперимент по интерпретации старых авангардных фотографий считаю успешным: мне кажется, генерации добавили движениям плавности — этого не всегда хватало на первоисточниках. Кроме того, дублирующиеся части тела выглядят не ошибкой, а постановочным стилистическим решением. Поэтому можно считать, что основная задача проекта выполнена и мостик между временами проложен.
