CC BY
14УДК 519.87
ИСПОЛЬЗОВАНИЕ МАТЕМАТИЧЕСКОЙ МОДЕЛИ ДЛЯ ТРЁХМЕРНОЙ РЕКОНСТРУКЦИИ ЛИЦА МЕТОДАМИ МАШИННОГО ОБУЧЕНИЯ
О.В. Охлупина, А.А. Прокопенко
ФГБОУ ВО «Брянский государственный инженерно-технологический университет»
Представлено математическое обоснование модели трёхмерной генерации лица.
Ключевые слова: машинное обучение, ЗБ-реконструкция, алгоритмизация, математическая модель.
Введение
Обработка цифровых изображений и построение трёхмерных моделей весьма актуальны в жизни современного общества. Моделирование органов в медицине, восстановление архитектурных объектов, создание макетов в промышленности, системы компьютерного зрения, компьютерные игры и киноиндустрия всё чаще обращаются к ЗБ-моделированию.
Системы безопасности, верификация пользователей и даже маркетинговые исследования основываются на применении ЗБ-геометрии лиц. Существующие системы 2Б-распознавания лиц чувствительны к освещённости объекта и изменению позы, что делает их менее эффективными по сравнению с ЗБ-системами.
Создание 3D-моделей лиц по плоскому изображению основано на получении трехмерной поверхности лица и определению его положения в пространстве.
Генерация лиц
Построение модели лица по фотографии основано на использовании следующих элементов. 1. Геометрия - набор связанных точек в ЗБ-структуре. 2. Текстура - набор пикселей, или же настоящий цвет кожи. 3. Карта нормалей и отражаемость - отражение пикселя, падающего на него света.
Для анимации полученной модели (работа со взглядом, выражением лица, мимикой) применяются деформируемые модели. Для этого используется некоторая усреднённая основа, которая впоследствии деформируется по заданным параметрам с изменением интенсивности, придавая лицу разные выражения.
Для генерации необходимо иметь несколько различных моделей лица, которые отличаются размером, формой, выражениями и эмоциями на них.
Математическая модель
Изначально мы представляем ЗБ-модель лица набором из п вершин. Иначе говоря, трёхмерная модель - вектор в трёхмерном пространстве, где каждой вершине модели соответствуют три координаты пространства. /х1
5 =
У1
! ё й3*" - вектор координат.
Набор сканов определяется формулой: ^ } ^ = 1. Построение новых лиц осуществляется с помощью линейной комбинации сканов:
$ = £¿=1 а1 •
Для избегания неправдоподобия лиц накладываются ограничения на коэффициенты [щ]М. = 1: 0 < ^ < 1.
Набору сканов, где каждый скан представлен вектором, соответствует набор из п таких векторов.
Новые 3D модели лиц можно создавать как линейные комбинации векторов из имеющейся базы.
Если придать коэффициентам [ai]^ = 1 вероятностный смысл, то искажением лиц
будут соответствовать низкие вероятности. Это позволит оценивать правдоподобность с помощью значений набора параметров.
Применим к множеству сканов {St} ^ = 1 метод главных компонент. Обозначим через S0 = St Е R3*n среднее лицо. Тогда VG R^nx(N-1) - матрица главных
ПП N 1
компонент, {of } . = 1 - вариации вдоль главных компонент.
Представим лица как некоторое усредненное лицо, прибавим матрицу главных компонент, которая умножается на вектор параметров.
S= S0 +V • а, a~N(0,diag( а-2, ...,о-2У).
Коэффициенты а соответствуют главным компонентам. Относительно вектора а делается предположение, что он имеет распределение Гаусса.
Значение же параметров определяют интенсивность изменений. Вектору параметров соответствует своё вероятностное значение. Определим его как гауссовский.
Параметры модели
Итак, генерация определяется параметрами. - изменяет форму, аехр - влияет на
выражение, эмоции. S = S0 +Vid • + Vexp • аехр.
Введём вектор, который отвечает за текстуру: Т= Т0 + Его размерность
совпадает с размерностью вектора формы. При этом, каждой вершине в этом векторе соответствует три RGB-значения. Вектор текстуры определяется вектором параметров р.
Помимо изложенных используются параметры, отвечающие за освещение и положение лица.
ЭБ-реконструкция (обратная задача)
Суть данного этапа - подбор параметров деформируемой модели таким образом, чтобы получившееся лицо максимально совпадало с оригиналом. Используется текстура деформируемой модели.
Сходство создаваемой модели с оригиналом будет достигаться использованием
, UM •(Ifarget-lrendered)U
функции энергии: btex = J-—-L, где M - матрица видимости.
Используется попиксельная разность изображений в пикселях, где видно лицо. При повороте лица возникают перекрытия, которые отображаются матрицей видимости М.
Задача сводится к минимизации Etex. Для этого нам требуется инициализация и регуляризация. Регуляризация требуется для того, чтобы избежать произвольности параметров и искажения лица. Инициализация позволяет исключить работу с локальными минимумами.
Ключевые точки
Для инициализации задействуются 68 ключевых точек лица (с 2013 года созданы достаточно точные алгоритмы для детекции этого количества точек).
Введём в функцию энергии дополнительное слагаемое (покоординатную разность двух векторов, определяющую ключевые точки лица и ключевые точки, спроецированные из модели). Это позволит проекции выбранных 68 точек модели совпасть с ключевыми точками оригинала. Фиксируем точки на модели, после чего деформируем модель, проецируем точки и следим за их совпадением.
Е,
lands
Ikmage- Lmodel) ^ где Limage - ключевые точки, детектированные на
изображении, Lmodei - ключевые точки, проецируемые из модели. Регуляризация
Рассмотрим данную задачу с точки зрения вывода Байеса: P(a \ I) ~ P(l \ а) • P(a) ^ max -ln P(l \ а) - P(a) ^ min
Второе слагаемое отвечает за регуляризацию, Etex = — ln Р(а).
С учетом предположения, что вектор a~N(0,diag( О-2, ...,crN2)) имеет распределение Гаусса, имеем: Ereg = Ylt ^
Таким образом, функция энергии включает три слагаемых, отвечающих за текстуру, разность пикселей, ключевые точки и регуляризацию:
E(aid,aexp, ß,P^ = ^tex + clands • Elands + creg ' Ereg ^ min, где Ciands, creg - фиксированы, подбираются эмпирически, p - параметры освещения и углов (не формализованы). Функция энергии представлена в виде функции всех параметров..
Анимация и оценка точности
Анимация при используемом алгоритме проста. Два вектора параметров, полученных при создании модели, отвечают за форму и выражение. Эти вектора для пользователя и аватара - свои. Нам нужно добиться их совпадения. Это осуществимо подстановкой параметров оригинала в модель аватара.
Минимизация функции энергии требует временных затрат. Она может длиться от 20 до 40 секунд. Можно использовать более быстрое построение трёхмерной модели по ключевым точкам, но с потерей качества. Проблему потери качества помогают решить методы машинного обучения. Суть лежит в использовании расширенной базы лиц, для каждого из которых строится трёхмерная модель, представимая как набор параметров. После чего производится обучение сети предсказывать эти параметры.
Так как точность при пренебрежении слагаемыми в функции энергии может уменьшаться, следует оценить получаемую погрешность. Для оценки точности реконструкции требуется база сканов ground truth, созданных с помощью специального оборудования, благодаря методам с заданными гарантиями точности. Рассчитывается среднее расстояние от вершин построенной модели до вершин ground truth и нормируется на размер скана.
Заключение
Приведено детальное описание построения 3D-модели лица с помощью метода машинного обучения на основании использования деформируемой модели. Математическая часть основана на представлении трёхмерной модели лица с использованием векторов пространства. Запрос на максимальную реалистичность трёхмерных моделей делает применение подобных методов в графике всё более актуальным.
Список литературы
1. Получение морфируемой 3D-модели лица на основе фотографии в произвольном ракурсе [Электронный ресурс]. Режим доступа: https://itnan.ru/post.php?c=1&p=423543 (дата обращения: 21.12.2021).
2. Метод реконструкции лица на основе 3D модели черепа [Электронный ресурс]. Режим доступа: https://neurohive.io/ru/papers/metod-rekonstrukcii-lica-na-osnove-3d-modeli-cherepa/ (дата обращения 21.12.2021).
3. Xiong X., Torre F. Supervised descent method and its applications to face alignment // Proceedings of the IEEE conference on computer vision and pattern recognition / IEEE. - 2013. -P. 532-539.
4. Huber P., et al. Fitting 3D Morphable Models using local features // arXiv preprint arXiv:1503.02330. - 2015.
Сведения об авторах
Охлупина Ольга Валентиновна - кандидат физико-математических наук, доцент кафедры математики, ФГБОУ ВО «Брянский государственный инженерно-технологический университет», e-mail: helga131081@yandex.ru.
Прокопенко Арина Александровна - студентка, группа ИСТ-201, Инженерно-экономический институт, ФГБОУ ВО «Брянский государственный инженерно-технологический университет», e-mail: kap.moral@mail.ru.
USING A MATHEMATICAL MODEL FOR THREE-DIMENSIONAL FACIAL RECONSTRUCTION BY MACHINE LEARNING METHODS
O.V. Okhlupina, A.A. Prokopenko
Bryansk State University of Engineering and Technology
A class of subharmonic functions with summable characteristic of Nevanlinna with weight is constructed on the plane. The representative measures of this class of functions are described. Keywords: machine learning, 3D reconstruction, algorithmization, mathematical model.
References
1. Poluchenie morfiruemoj 3D-modeli lica na osnove fotografii v proizvol'nom rakurse [Elektronnyj resurs]. Rezhim dostupa: https://itnan.ru/post.php?c=1&p=423543 (data obrashcheniya: 21.12.2021).
2. Metod rekonstrukcii lica na osnove 3D modeli cherepa [Elektronnyj resurs]. Rezhim dostupa: https://neurohive.io/ru/papers/metod-rekonstrukcii-lica-na-osnove-3d-modeli-cherepa/ (data obrashcheniya 21.12.2021).
3. Xiong X., Torre F. Supervised descent method and its applications to face alignment // Proceedings of the IEEE conference on computer vision and pattern recognition / IEEE. - 2013. -P. 532-539.
4. Huber P., et al. Fitting 3D Morphable Models using local features // arXiv preprint arXiv:1503.02330. - 2015.
About author
Okhlupina O.V. - PhD in Physical and Mathematical Sciences, Associate professor of Department of Mathematics, Bryansk State University of Engineering and Technology, e-mail: helga131081@yandex.ru.
Prokopenko A.A. - student, IST-201 group, Institute of Engineering and Economics, Bryansk State University of Engineering and Technology, e-mail: kap.moral@mail.ru.
