Исследователи из Тринити-колледжа Дублина и Университета Бата разработали модель, основанную на глубоких нейронных сетях, которая может помочь улучшить качество анимации, содержащей четвероногих животных, например собак. Созданная ими структура была представлена на конференции MIG (Motion, Interaction & Games) 2021, мероприятии, на котором исследователи представляют некоторые из новейших технологий для создания высококачественной анимации и видеоигр.
«Мы были заинтересованы в работе с данными, не относящимися к человеку», - сказал изданию TechXplore Донал Иган, один из исследователей, проводивших исследование. «Мы выбрали собак из соображений практичности, поскольку они, вероятно, являются самым простым животным для получения данных».
Создание качественной анимации собак и других четвероногих животных - непростая задача. Это происходит главным образом потому, что эти животные передвигаются сложным образом и имеют уникальную походку с особым характером шагов. Иган и его коллеги хотели создать структуру, которая могла бы упростить создание анимаций четвероногих животных, создавая более убедительный контент как для анимационных видеороликов, так и для видеоигр.
«Создание анимации, воспроизводящей движение четвероногих с использованием традиционных методов, таких как анимация по ключевым кадрам, довольно сложная задача», - сказал Иган. «Вот почему мы подумали, что было бы полезно разработать систему, которая могла бы автоматически улучшать начальную грубую анимацию, избавляя пользователя от необходимости вручную создавать очень реалистичную анимацию».
Недавнее исследование, проведенное Иганом и его коллегами, основано на предыдущих усилиях, направленных на использование глубокого обучения для генерации и прогнозирования движений человека. Чтобы добиться аналогичных результатов с движениями четвероногих, они использовали большой набор данных захвата движения, представляющих движения реальной собаки. Эти данные были использованы для создания нескольких высококачественных и реалистичных анимаций собак.
«Для каждой из этих анимаций мы смогли автоматически создать соответствующую «плохую» анимацию с тем же контекстом, но с пониженным качеством, то есть с ошибками и отсутствием многих тонких деталей истинного движения собаки», - объяснил Донал Иган. «Затем мы обучили нейронную сеть, чтобы узнать разницу между этой «плохой» анимацией и высококачественной анимацией».
После обучения на анимации хорошего и плохого качества, нейронная сеть исследователей научилась улучшать анимацию собак: улучшать их качество и делать более реалистичными. Идея команды заключалась в том, что во время выполнения работы, начальные анимации могли бы быть созданы с использованием различных методов, включая методы формирования ключевых кадров, которые могли быть не очень убедительными.
Синий: кадры из начальной анимации, лишенные тонкостей истинных движений собаки и содержащие небольшие ошибки. Зеленый: соответствующие кадры из набора данных захвата наземного собачьего движения. Красный: Результат после прохождения начальной (синей) анимации через нейронную сеть улучшения анимации четвероногих. Фото: DOI: 10.1145/3487983.3488293.
«Мы показали, что нейронная сеть может научиться добавлять тонкие детали, которые делают анимацию четвероногих более реалистичной», - сказал Иган. «Практические последствия нашей работы - это приложения, в которые ее можно было бы включить. Например, ее можно было бы использовать для ускорения конвейера анимации. Некоторые приложения создают анимацию с использованием таких методов, как традиционная инверсная кинематика, которая может создавать анимацию, не имеющую реализма; в таких ситуациях наша работа может быть включена в качестве этапа постобработки».
Исследователи оценили свой алгоритм глубокого обучения в серии тестов и обнаружили, что он может значительно улучшить качество существующих анимаций собак без изменения семантики или контекста анимации. В будущем их модель может быть использована для ускорения и облегчения создания анимации для использования в фильмах или видеоиграх. В своих следующих исследованиях Иган и его коллеги планируют продолжить изучение способов, с помощью которых движения собак могут быть воспроизведены в цифровом и графическом виде.
«Наша группа интересуется широким кругом тем, включая графику, анимацию, машинное обучение и воплощение аватара в виртуальной реальности», - говорит Иган. «Мы хотим объединить эти области, чтобы разработать систему для воплощения четвероногих в виртуальной реальности, позволяющую геймерам или актерам стать собаками в виртуальной реальности. Работа, обсуждаемая в этой статье, могла бы стать частью этой системы, помогая нам производить реалистичная анимация четвероногих в виртуальной реальности (VR)».
Статья об исследовании опубликована в материалах MIG'21, Motion, Interaction and Games.
Источник: Tech Xplore
