CC BY
18УДК 004.942 А. С. Миненко
Донецкий национальный технический университет, г. Донецк 283015, г. Донецк, ул. Артема, 131
МОДЕЛИРОВАНИЕ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ПРИ РАСПОЗНАНИИ ЛИЦА ЧЕЛОВЕКА ПО ЕГО МИМИЧЕСКИМ ИЗОБРАЖЕНИЯМ
A. S. Minenko
Donetsk National Technical University, Donetsk 283015, Donetsk, Artema st., 131
MODELING AND INFORMATION TECHNOLOGIES IN RECOGNITION OF HUMAN FACE BY FACIAL IMAGE
О. С. МЫенко
Донецький нацюнальний техшчний ушверситет, м. Донецьк 283015, м. Донецьк, вул. Артема, 131
МОДЕЛЮВАННЯ ТА 1НФОРМАЦ1ЙН1 ТЕХНОЛОГИ ПРИ РОЗП1ЗНАВАНН1 ОБЛИЧЧЯ ЛЮДИНИ ПО ЙОГО М1М1ЧНИМ ЗОБРАЖЕННЯМ
Работа посвящена разработке методов, моделей, алгоритмов и компьютерных средств для моделирования и распознавания эмоциональной составляющей на фотографических изображениях лица и трехмерных моделях головы человека.
Ключевые слова: аппроксимация, мимические проявления, эмоции, алгоритм, сплайн-аппроксимация.
The article is devoted to development of methods, models, algorithms and computer tools for modeling and recognition of emotional and articulation components of photographic facial images and three-dimensional models of human head.
Key words: approximation, mimic expression, emotions, algorithm, spline-approximation.
Робота посвячена розробц методiв, моделей, алгоритмiв i комп'ютерних засобiв для моделювання i розшзнавання емоцшноТ складовоТ на фотографiчних зображеннях обличчя i тривимiрних моделях голови людини.
Ключовi слова: апроксимац1я, м1м1чн1 прояви, емоцп, алгоритм, сплайн-апроксимац1я.
Введение
Математические методы и компьютерные технологии анализа и синтеза лица человека, проявленные эмоции на нем исследуются и разрабатываются в ведущих научных организациях мира, в частности, в Массачусетском технологическом институте, Оксфордском, Московском, Санкт-Петербургском университетах, Донецком национальном техническом университете, Государственном учреждении «Институт проблем искусственного интеллекта» и других учреждениях.
Приведем обзор теорий, которые объясняют механизмы возникновения и проявления эмоций [1-5].
Укажем, что основанием для проведения исследования является наличие фотографий в случае различных эмоциональных проявлений лица человека (горе, радость, страх, надежда, и т.д.).
Использование контурных моделей на базе сплайн кривых для анализа мимических проявлений эмоций
Для анализа мимических проявлений эмоций, имея в виду формальную модель эмоций состояния человека, предлагается оригинальная технология. Основная ее идея заключается в том, чтобы предложить алгоритм автоматического получения гибких шаблонов контуров бровей, глаз и рта. Для построения этих шаблонов нужно предложить:
- метод, который даёт возможность выделить наиболее важные части лица человека, а именно: нос, брови, глаза, губы и щеки.
- алгоритм получения точечных кривых, которые соответствуют контурам лица, которые будут анализироваться;
- алгоритм аппроксимации полученных точечных кривых с помощью сплайн кривых.
Определение опорных точек рта
Для воспроизведения изображения рта необходимо точно определить его положение. Крайние точки можно найти программными методами, но существуют модели голов, в которых распознать их с необходимой точностью достаточно сложно. Сделаем это вручную, что не потребует много времени, и не будет давать значительных погрешностей. Обозначим их соответственно ( хп, уп) - крайняя справа и ( хл, уя) - крайняя левая точки. С помощью этих двух точек будем определять все части лица.
Построение части профиля, которая проходит через нос
При построении профиля носа используем несколько особенностей, которые определяют его среди всех частей лица:
- со всех точек лица высшая точка по 2 находится на носу;
- при движении вдоль профиля ото рта до носа мы наталкиваемся на стремительный перепад высот, который определит начало профиля носа;
- нос переходит в лоб, причем, если отойти от профиля, уменьшая или увеличивая абсциссу х, то наблюдается уменьшение координаты 2, но когда мы доберемся лба, то координата 2 или не уменьшится, или это уменьшение будет незначительным.
Нахождение начальной точки. Сначала возьмем точку, которая находится
посередине рта ( х«+ хд У«+ У* ) Отметим, что эта точка находится на профиле головы.
2 ' 2
Нахождение начала профиля носа. Начнем движение от начальной точки по направлению увеличения ординаты у, проверяя при этом изменение координаты 2. Таким образом, дойдем до некоторой точки, в окрестности которой начнет резко увеличиваться координата 2 (то есть г > гу2] - некоторое пороговое значение, которое определяется на практике; в разработанном программном продукте используется значение 21 =2.5). Эта точка и определит начало профиля носа.
Нахождение верхушки носа. Верхушку определим, продолжая двигаться к направлению увеличения ординаты у, пока zv > 0, то есть пока увеличивается
координата г. Искомая точка находится по условиям -дх, у + Л)<0. г\.(х.у-Л) > 0.
Нахождение конца профиля носа
Далее воспользуемся свойством носа. Начнем исследовать склоны с профилем, который определяется значениями гх(х-8,у),гх(х + 8,у). Условия г'х(х-3,у) >гх11,
гх(х + 3,у)<гх11 (где гх11 - некоторое пороговое значение гх{х,у), которое определяет тангенс угла наклона; гх11 = 0.5 ) характеризуют наличие склонов.
Двигаясь в направлении увеличения ординаты у, доберемся до точки для которой 2х{х-д,у)> е, г\(х + 3,у)<е, гх (х - 8, у + Л) < е, г'х(х + 3,у + Л)>£. Точка (х,у)
есть искомой. Обозначим ее (хня, уня ).
Построение границы носа
На предыдущем шаге был определен профиль носа, используя склоны на абсциссе х. Теперь используя их, определим границу носа.
Начнем движение с точки (хш,Уня), которая представляет собой точку перехода
носа в лоб, вдоль профиля по направлению уменьшения ординаты у с шагом 8. Рассмотрим к-й шаг.
(хк, У к ) - точка профиля.
Зафиксируем ординату у и начнем с шагом 8 уменьшать абсциссу х, наблюдая за величиной гх(х,у). Движение будет продолжаться, пока ^(х,у) не станет меньше некоторого порогового значения гг12(гг12 = 0.6). Так найдем некоторую точку (х{к\у{к]), которая лежит на правой границе носа. Аналогично, увеличивая абсциссу х, получаем соответствующую точку (х(кл), у[л)) на левой границе носа. Совокупность точек (х("\у(и)), (х'кл\у(л)) будет составлять границу носа, а все точки, которые лежат в этой области, формируют сам нос.
Построение линии бровей
Линии бровей начинаются с переносицы. Эту точку было найдено при построении профиля носа и обозначено как точку перехода нос-лоб. Рассмотрим некоторые особенности бровей.
Пусть имеем точку (х,у) на бровях. Тогда при уменьшении ординаты у на Я произойдет резкое уменьшение ординаты г. Это условие запишем так:
г„(х,;0<г„22,(г„22 =1,5).
Начнем движение с точки (х,у) в направлении уменьшения абсциссы х по линии у = уп. Рассмотрим к-й шаг.
Имеем точку (хк ,ук): х, = х„л - кЗ, у, = упл. Рассмотрим линию х = хк .
Будем двигаться вдоль ее по точкам (хк,ук +1Х),1 = 1,2,..., пока не найдем такую точку (ХдИ), ук"), что будет выполняться неравенство г" (хк, ук + 1Л) < гу22.
Движение по направлению уменьшения абсциссы х останавливаем, когда выполняется условие
г1(хк>Ук)>гу2з(гу2з=~1-3\ т0 есть^ когда будет наблюдаться резкое уменьшение координаты 2.
Аналогично строится и левая бровь.
Построение контура глаз
Рассмотрим построение правого глаза.
Для распознавания глаза используем найденную ранее бровь.
Нахождение крайней правой точки глаза. Начнем движение от средней точки брови по направлению уменьшения абсциссы х с шагом 8.
Рассмотрим к-й шаг. Найдем (хк, ук) - точка брови.
Зафиксируем абсциссу х и начнем двигаться по направлению уменьшения ординаты у: х, = хпл - к5, ук] = ук - IX, I = 1,2,...
Точки контура глаза найдем из условий
^ЛХк>Укп) > ^у24 :>у(хк>Ут) > -:у24
где 24 - некоторое пороговое значение, которое определяется на практике. Эти условия определяют наличие вогнутости на краях глаза и выпуклости посередине. Если возникнет ситуация когда /3-д <2, то эта неравенство определит крайнюю правую точку глаза.
Обратное движение. Движение организуем аналогично первому этапу с отличием в том, что двигаться по брови будем справа налево, пока не найдем крайнюю левую точку глаза.
Аналогично будем находить контур левого глаза.
Построение контура губ
Построение линии, которая проходит между губами. Движение начнем с крайней правой точки губ (хи, уп) (напоминаем, что эта точка задается вручную) по направлению увеличения абсциссы х с шагом 5. (х л(с), ук (с)) - точка на искомой линии
Величину ук (с) определим так:
Ук(с)=Ук-кс)+1л- О)
Построение линии, которая ограничивает верхнюю губу. Движение начнем с крайней правой точки губ (хн, уп) по направлению увеличения абсциссы х с шагом 5.
(хк (в), ук (в)) - точка на искомой линии
Хк<е)=Х„+кЗ.
Величину уНв) определим следующим образом:
Ут=Ут+1Ъ (2)
Построение линии, которая ограничивает нижнюю губу. Эта линия строится аналогично предыдущей с отличием в обозначении l [6]:
I = arg max zjxk, yk(c) +IÄ). (3 )
Z<0
Замечания
Для вычисления z (xk, yk) используем приближенную формулу
zx{xk,yk)*^^,zy{xk,yk)* (4)
Xk+1 Xk-1 Ук+1 У к-1
Для вычисления z'' (x , y ) используем приближенную формулу
(6)
Л+1-Л-1
Использование методов сплайн-аппроксимации для моделирования биологических объектов
В статье предложено для выделения характерных признаков черт лица использовать модели, которые задаются с помощью неравномерных рациональных базисных сплайнов кривых.
Рассмотрим сплайн кривые. Допустим, что задано массив опорных точек p0,...,pm. Необходимо найти функцию р и =[х и ,у и ,z и ]т, обозначенную на интервале Mmn <и<мтах, такую, что она есть достаточно гладкой и проходит, в определенном смысле, около опорных точек.
Допустим, что есть последовательность узлов щ,щ,...,ип, такая, что:
О)
Величина l в формулах (1), (2) определяется следующим образом [6]: 7 = arg min z'yy (хк(с), yk_Uc) +1Я\ I = arg max z^(xk, yk(c) +1Я).
При использовании аппроксимации сплайнами функция p и имеет вид полинома степени d на интервале между соседними узлами:
d
р и щ <и<ик+1. (8)
3=о
Таким образом, чтобы найти сплайн степени d, необходимо будет найти п d +1 трёхмерный вектор-коэффициентов cjk. Необходимые для этого уравнения
можно получить, рассматривая разного рода ограничения, связанные с непрерывностью функции и критерием близости к опорным точкам. Такой подход к формированию сплайна есть глобальным - необходимо решить систему из п с1 +1 уравнение относительно п 1 неизвестных, а значит, каждый полученный коэффициент будет
зависеть от всех опорных точек. Хотя такая методика определения коэффициентов сплайна может обеспечить получение гладкой кривой, которая проходит через заданные опорные точки, но она не очень хорошо согласовывается с спецификой задач компьютерной графики.
Подход, выбранный для формирования В-сплайнов, состоит из того, чтоб обозначить сплайн в терминах базисных функций, каждая из которых отличная от нуля только на интервале в несколько узлов. Итак, можно записать функцию р и в виде:
т
р и и (9)
1=о
где каждая функция Вш и есть полином степени ё на интервале в несколько
узлов, и равняется нулю за границами этого интервала. Существует много способов обозначения базисных функций, но особенное место принадлежит одному из них -методу рекурсивных функций Кокса-де Бура [5]:
[1, если ик <и< ик+1 к'° |0 — в другом случае
Il—Il, и, , —и
Вм =-k-Bkid_¿u) + —**-
"h
Выводы
В работе разработан и реализован алгоритм, который позволяет решить задачу
моделирования и распознавания мимических проявлений эмоциональных состояний.
Анализ полученных результатов дает основание сделать такой вывод: создан алгоритм,
который реализует целостную информационную технологию для моделирования и
распознавания мимических проявлений эмоционального состояния на лице человека.
Список литературы
1. Ильин, Е. П. Эмоции и чувства [Текст] I Е. П. Ильин. - Спб ; Питер, 2001. - 752 с.
2. Dufour Ph I Essai sur l'etude le l'Homme considere sous le double point vue de la vie animale et de la vie intellectuelle. 2 vol I Dufour Ph [Электронный ресурс]. - Paris i Person, 1SS3. - Режим доступа i httpiIIwww.psychology-online.netIarticles
3. Джемс, У. Психология [Текст] I У. Джеме. - M. i Педагогика, 1991. - 368 с.
4. Ланге, Г. Душевные движения [Текст] I Г. Ланге. - СП
5. deBoor, C. A. Practical Guide to Splines [Text] I deBoor C. - New York i Springer-Verlag, 197S. - 392 p.
6. Кривонос, Ю. Г. Моделирование и анализ мимических проявлений эмоций [Текст] I Ю. Г. Кривонос, Ю. В. Крак, Г. М. Ефимов II Доповщ НАНУ. - 200S. - № 12. - С. 51-55.
7. Миненко, А. С. Аналитичность свободной границы в одной задаче осесимметричного течения I А. С. Миненко [Текст] II Укр. мат. журнал. - 199S. - № 12. - С. 1693-1700.
S. Миненко, А. С. Проблема минимума одного класса интегральных функционалов с неизвестной областью интегрирования [Текст] I А. С. Миненко II Мат. физика и нелинейная механика. -1993. - Вып. 16. - С. 48-52.
9. Миненко, А. С. Вариационные задачи со свободной границей I А. С. Миненко. - Киев : Наукова думка, 2005. - 354 с.
10. Миненко, А. С. Приближенный анализ многомерной конвективной задачи Стефана [Текст] I А. С. Миненко, А. И. Шевченко II Доповщ НАН Украни. - 2010. - № 4. - С. 30-34.
References
1. Ilin E.P. Emotsii i chuvstva [Emotions and Feelings]. St.Petersburg, Piter, 2001. 752 p.
2. Dufour Ph. Essai sur l'etude le l'Homme considere sous le double point vue de la vie animale et de la vie intellectuelle, vol. 2. Paris, Person, 1883. Available at: http://www.psychology-online.net/articles
3. James W. Psychology: Briefer Course. N.Y., H.Holt & Co, 1893. 379 p.
4. Lange C. G. The Emotions: A Psychophysiological Study. Russ. ed., St. Petersburg
5. deBoor C.A. Practical Guide to Splines. New York, Springer-Verlag, 1978. 392p.
6. Krivonos Y. G., Krak Y. V., Efimov G. M Modeling and Analysis of Emotional Mimic Expressions. Reports of NAS of Ukraine, 2008, no. 12, 51-55 pp.
7. Minenko A.S. Analyticity of Free Boundary in One Problem of Axially Symmetric Flow. Ukrainskiy matematicheskii zhurnal [Ukrainian Mathematical Journal], 1998, no. 12, 1693-1700 pp.
8. Minenko A.S. Problem of Minimum of One Class Integral Functionals With Unknown Integration Area Matematicheskaya fizika i nelinejnaya mekhanika [Mathematical Physics], 1993, Issue 16, 48-52 pp.
9. Minenko A.S. Variacionnye zadachi so svobodnoj granicej [Variational Problems with Free Boundaries]. Kiev, Naukova dumka, 2005. 354 p.
10. Minenko A. S., Shevchenko A.I. Approximate Analysis of Multi-Dimensional Convection of Stefan. Reports of NAS of Ukraine, 2010, no. 4, 30-34 pp.
RESUME
A. S. Minenko
Modeling and Information Technologies in Recognition of Human Face by Facial Image
Background: The article reviews theories explaining the mechanism of appearing and showing emotions essential for analysis and synthesis of human face through mathematical methods and computer technologies. The basic idea lies in development of an algorithm of automatic generation of flexible patterns of eyebrows, eyes and mouth contours.
Materials and methods: The article suggests an original technology of formal model of human emotional state by using: a method to outline the most important parts of human face, notably nose, eyebrows, eyes, lips and cheeks; an algorithm of generating dotted curves corresponding with the face contours under analysis; an approximation algorithm of the derived dotted curves by the spline curves. To find the extreme points manually is the most effective way, which takes a little time. They are defined as two points determining: rendering a profile part passing through the nose; finding initial point, origin of nose profile and tip of the nose; rendering the nose boundary (the previous step determines the nose profile by the slopes on the abscissa x, with the next one determining the nose boundary); rendering the eyebrow line (this point is found when rendering the nose profile and defined as the nose-forehead transition point); rendering the eye contour; backward motion (the motion is organized similar to the first stage but with eyebrow right-to-left direction, until the extreme left point of the eye is found. The left eye contour is determined by analogy).
Results: The facial characteristics are identified by the models set through the nonuniform rational B-spline curves. The author states that the method of Cox-de Boor recursive functions takes special place among many methods to define basis functions.
Conclusion: An algorithm of solving the problem of mimic emotional states modeling and recognition is provided and accomplished. On the basis of the analysis of findings there is a conclusion that the algorithm to realize an integer information technology of human mimic emotional states modeling and recognition is generated.
Статья поступила в редакцию 03.07.2016.
