CC BY
77вопросу электромагнитной совместимости узлов САЭ. Промышленная энергетика. 2001. № 2. С.44-47.
7. Григораш О.В. Преобразователи электрической энергии на базе трансформаторов с вращающимся магнитным полем для систем автономного
электроснабжения. Промышленная энергетика. 1997. № 7. С.21-25.
8. Григораш О.В., Кабанков Ю.А. К вопросу применения трансформаторов с вращающимся магнитным полем в составе преобразователей электроэнергии. Электротехника. 2002. № 3. С.22-26.
УДК: 004.032.26
Беляева Марина Борисовна
кандидат физико-математических наук, доцент кафедры математического моделирования
Харисов Эмиль Ирекович
РФ, Стерлитамак, Стерлитамакский филиал Башкирского государственного университета
DOI: 10.24412/2520-2480-2020-3587-27-29 ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ В КОМПЬЮТЕРНОЙ АНИМАЦИИ
Belyaeva Marina Borisovna
Ph.D of Physical and Mathematical Sciences, Associate professor of department of mathematical modeling
Kharisov Emil Irekovich RF, Sterlitamak, Sterlitamak Branch of Bashkir State University
NEURAL NETWORK APPLICATION IN COMPUTER ANIMATION
Abstract.
Article analyzes perspectives of neural network usage for 3D animation production. Implementation in Python is presented in the Blender3D software using a webcam, the advantages and disadvantages of the method under consideration are identified, and an analysis of development prospects is carried out.
Аннотация.
В статье рассмотрены перспективы использования нейронных сетей для производства 3D анимаций. Представлена реализация в программном продукте Blender3D на языке программирования Python с использованием веб-камеры, определены преимущества и недостатки рассматриваемого метода, а также проведен анализ перспектив развития.
Keywords: programming, animation, neural network, Blender, computer technology, 3D, prepared dataset, markerless motion capture.
Ключевые слова: программирование, анимации, нейронные сети, Blender, компьютерные технологии, 3D, подготовленный набор данных, безмаркерный захват движений.
Современная компьютерная анимация требует больших временных и денежных затрат при классическом подходе. Такие технологии как ключевые формы (shape keys), захват движений (motion capture), а также использование машинного обучения для подстановки анимаций (motion matching) существенно снижают нагрузку на аниматора. Важно заметить, что технологии работы с записанными анимациями достаточно развиты, чтобы тру-дозатратная работа классического подхода максимально автоматизировалась в соответствующем ПО, например, Adobe Mixamo предоставляет доступ к мощному инструментарию работы с анимациями, полученными при помощи захвата движений. Имеет смысл также обратить внимание на процесс записи анимаций — он представляет из себя многочасовую и финансово затратную работу, привлекающую десятки людей для поддержки системы захвата в рабочем состоянии, и, непосредственно, записи.
Эффективно было бы использовать нейронные сети для захвата движений как способ удешевления
данного шага производства. В данной работе рассматривается один из вариантов реализации и применения нейронных сетей для безмаркерного захвата анимаций человеческого лица.
Первым этапом в достижении цели было обучение нейронной сети на заранее подготовленном наборе данных iBUG-300 [1, 2, 3]. Набор данных состоит из нескольких тысяч фотографий человеческих лиц в различных ситуациях, передающих многочисленные эмоции, а также специальной координатной сетки, указывающей на ключевые, по мнению авторов, точки лица. Всего таких точек предлагается 68, в полной мере передающих положение лица в пространстве с помощью плоской проекции. В данной работе рассматривается упрощенная модель, состоящая из 45 точек (рис. 1), нацеленная на работу в реальном времени, например, через веб-камеру, что в значительной мере снизило количество необходимых ресурсов и повысило оперативность получения промежуточного результата.
28
TECHNICAL SCIENCE / «Ш11ШетУМ~^©УГМа[1>>#3Ш,Ш©2©
Рис. 1. Упрощенная модель на основе iBUG-300.
В качестве ПО для обработки данных и получения результатов был выбран Blender3D, распространяемый под открытой лицензией GPLv3. В Blender3D имеются различные инструменты как для работы с 3D моделями, так и с анимациями. Распространенной практикой анимации человека считается анимация при помощи специального «скелета» (рис. 2). Он состоит из составных частей
— костей, которые воздействуют на определенную часть 3D модели в соответствии с установленными аниматором правилами. Кости 3D скелета и будут связующим звеном между 30 точками из предыдущего этапа и готовой анимацией, поскольку они будут строго привязаны, то есть соответствующие точки передают движение костям.
Рис. 1. Основа современной анимации человека - специальная конструкция, контролирующая движение модели, - скелет.
Blender3D обладает возможностью написания скриптов на языке Python, сильно расширяя доступный функционал. Библиотеки для взаимодействия с объектами Blender3D уже встроены во внутреннюю консоль, поэтому отпадает необходимость программировать свое решение, что упрощает написание скрипта. Написанный скрипт включает в себя следующий функционал: загружает нейросете-вую модель с предобученными весами, присваивает костям 3D скелета точки из модели, открывает
устройство видеозахвата, а также производит покадровые расчеты.
Тем самым, полученные данные, извлеченные из обученной нейросети, представляют собой покадровую проекцию на плоскость, которую представляется возможным преобразовать в пространственное движение соответствующих костей 3D скелета, применяя метод линейной интерполяции.
Среда для написания скриптов в Blender3D позволяет автоматизировать процесс запуска написанного кода путем преобразования Python скрипта
в модуль (add-on), что значительно упрощает взаимодействие с результатами, полученными на выше-
описанных шагах, есть возможность интерактивного присвоения костей, выбора устройства видеозахвата и предобученной модели, (рис. 3)
Рис. З.Результат работы нейросети (слева) и готовый результат, перенессенная на 3D модель анимация (справа)
Преимущества данного подхода:
• для работы такой модели можно ограничиться устройством видеозахвата и Blender3D;
• не требуется специального обучения для работы;
• не требуется дорогостоящее оборудование и помещение;
• не требуются маркеры, которые ограничивают движение актера;
• представляется возможность использовать заранее записанные видеоматериалы, не связанные непосредственно с захватом движений, к примеру, сцены из фильмов, уроки актерского мастерства, видео с экстремальными видами спорта и т. д.;
• сокращается время для создания прототипов анимаций, поскольку аниматор может сам записать анимацию с помощью веб-камеры вместо ручного труда;
• высокая скорость работы расширяет границы экспериментирования с уже готовыми анимациями.
Недостатки:
• необходимо отметить тот факт, что такой безмаркерный захват движений включает в себя шум, который будет разным на каждом новом кадре;
• шум будет накапливаться между кадрами, создавая «рваную» анимацию
• необходима не только покадровая интерполяция, но и методы сглаживания всей анимации в целом;
• необходимо множество экспериментов для подбора оптимальных параметров нейросети, при которых полученный шум будет минимальным, а полезная информация — максимальной.
Несмотря на имеющиеся недостатки данного метода, можно сделать вывод о том, что его можно
применять для производства визуальных эффектов для киноиндустрии, создании игр, анимационных фильмов, 3D аватаров, визуализаций и прочих смежных отраслей. В связи со сложившейся эпидемиологической ситуацией как в Российской Федерации, так и в мире, производство множества проектов было приостановлено, а также они испытывают творческий застой. В период пандемии идея удаленной работы приобрела стихийный характер, что стимулирует развитие технологий, описанных в данной работе. Данный проект содержит в себе инновационную составляющую и имеет множество перспектив, помимо лицевого захвата анимаций планируется полный безмаркерный захват человеческого тела, программирование модуля для ПО Blender3D, провести анализ перспектив внедрения в другие сферы, а также поделиться данным проектом с общественностью в рамках лицензии GPLv3.
Список использованной литературы
1. C. Sagonas, E. Antonakos, G, Tzimiropoulos, S. Zafeiriou, M. Pantic. 300 faces In-the-wild challenge: Database and results. Image and Vision Computing (IMAVIS), Special Issue on Facial Landmark Localisation "In-The-Wild". 2016
2. C. Sagonas, G. Tzimiropoulos, S. Zafeiriou, M. Pantic. 300 Faces in-the-Wild Challenge: The first facial landmark localization Challenge. Proceedings of IEEE Int'l Conf. on Computer Vision (ICCV-W), 300 Faces in-the-Wild Challenge (300-W). -Sydney, Australia, December 2013
3. C. Sagonas, G. Tzimiropoulos, S. Zafeiriou, M. Pantic. A semi-automatic methodology for facial landmark annotation. Proceedings of IEEE Int'l Conf. Computer Vision and Pattern Recognition (CVPR-W), 5th Workshop on Analysis and Modeling of Faces and Gestures (AMFG 2013). -Oregon, USA, June 2013
4. A. Rosebrock. Deep Learning for Computer Vision with Python. -USA, 2017
