СОВМЕСТНАЯ 3D РЕКОНСТРУКЦИЯ ЛИЦА И ПЛОТНОСТНОЕ ВЫРАВНИВАНИЕ С ПОМОЩЬЮ РЕГРЕССИОННОЙ СЕТИ КАРТЫ ПОЛОЖЕНИЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.93

СОВМЕСТНАЯ 3D РЕКОНСТРУКЦИЯ ЛИЦА И ИЛОТНОСТНОЕ ВЫРАВНИВАНИЕ С ПОМОЩЬЮ РЕГРЕССИОННОЙ СЕТИ КАРТЫ ПОЛОЖЕНИЙ

А. С. Киба

Научный руководитель - М. Н. Фаворская

Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газеты «Красноярский рабочий», 31

E-mail: kib4sik@yandex.ru

Рассмотрено создание 3D-Modenu человеческого лица на основе регрессионной сети карты положений.

Ключевые слова: слой, сверточная нейронная сеть, изображение, лицо, функция потери.

JOINT 3D FACE RECONSTRUCTION AND DENSE ALIGNMENT WITH POSITION MAP REGRESSION NETWORK

A. S. Kiba Supervisor - M. N. Favorskaya

Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation

E-mail: kib4sik@yandex.ru

This article describes 3D face reconstruction of a human face based on position map regression network.

Keywords: layer, convolutional neural network, image, face, loss function.

Оценка формы лица играет фундаментальную роль для передачи лица и лицевой анимации. Однако для точной 3В-реконструкции лица часто используются итеративные и затратные методы, не позволяющие производить вычисления в реальном времени [1].

Регрессионная сеть карты положений (PRN) - это новый подход к совместной регрессии плотностного выравнивания и 3В-реконструкции. Этот подход был предложен Яо Фэном. По его словам, методу требуется всего 9,8 мс для прохода одного изображения, так как данный метод основан на облегченной модели. Он превосходит все предыдущие методы как 3D выравнивания лица, так и 3D-peKOHCTpyK4HH лица [2].

Яо Фэн и др. предлагают использовать УФ-карту положений в качестве представления 3D-CTpyKTypbi лица. Эта УФ-карта представляет собой 2D-изoбpaжeниe, которое используется для хранения плотностного набора 3D-K00pflHHaT точек из 3D-мoдeли с ее семантическим значением. Затем простая кодирующе-декодирующая сеть обучается с использованием взвешенной потери, которая больше сфокусирована на дискриминативной области, чтобы произвести регрессию карты УФ-положений из одного 2D-изoбpaжeния лица [3]. На рис. 1 показана карта расположения УФ-излучения и извлеченные УФ-текстуры.

Поскольку карта положения хранит плотностный набор точек из 3D-мoдeли лица с ее семантическим значением, 3D-мoдeль лица и результат плотностного выравнивания могут быть получены одновременно с помощью СНС для регрессии карты положений непосредственно из 2D-изoбpaжeний.

Секция «Программные средства и информационные технологии»

После преобразования входного RGB изображения в изображение карты положений, используется структура «кодер-декодер» для изучения передаточной функции. Кодирующая часть сети имеет один сверточный слой и 10 остаточных слоев, которые уменьшают входное изображение размером 256x256x3 в 8x8x512 карт объектов. Часть декодера содержит 17 транспонированных слоев свертки для создания прогнозируемой карты положения размером 256x256x3. Все ядра имеют размерность 4 для всех слоев свертки и транспонированных слоев свертки. Для активации используется функция ReLU. На рис. 2 представлена архитектура сети.

Рис. 1. Иллюстрация УФ-карты положений

Рис. 2. Архитектура сети

Как показано на рис. 3, маска веса представляет собой серое изображение со значением веса каждой точки на карте положений. Точки разделены на четыре группы. Каждая группа имеет свои собственные веса для функции потерь. Положение 68 лицевых ключевых точек имеет наибольший вес, так что для обеспечения работы сети необходимо узнать их точное расположение.

\ YI L j

Рис. 3. Маска весов

Таким образом, прогнозируемая карта положения обозначается как P (x, y) для x, y, представляющих каждую координату пиксела. Учитывая основную истину карты истинного положений Р(х, у) и весовую маску W (х, у), функция потерь определяется как:

Loss = £II P(x,y) -P(x,y) || *W(x,y)

В таблице представлены результаты тестирования программы. Аппаратное обеспечение, используемое для оценки: графический процессор NVIDIA GeForce GTX 1080 и центральный процессор Intel(R) Xeon(R) CPU E5-2640 v4 @ 2.40 ГГц

Время обработки изображения, мс

3DDFA DeFA 3D-FAN 3DSTN VRN-Guided PRN

75,7 35,4 54,7 19,0 69,0 9,8

Как видно из результатов тестирования, данный подход обеспечивает достаточно высокую скорость обработки при небольшом размере модели.

Библиографические ссылки

1. DeepAI [Электронный ресурс]. URL: https://deepai.org/publication/mobileface-3d-face-reconstruction-with-efficient-cnn-regression (дата обращения 15.03.2020)

2. Medium. [Электронный ресурс]. URL: https://medium.com/@fabulousjeong/3d-face-reconstruction-make-a-realistic-avatar-from-a-photo-2ccfa07af2c6 (дата обращения 16.03.2020)

3. Arxiv-Vanity [Электронный ресурс]. URL: https: https://www.arav-vanity.com/papers/1803.07835/_(flaTa обращения 18.03.2020)

© Киба А. С., 2020