ФАКТОРНАЯ МОДЕЛЬ ОБНАРУЖЕНИЯ И РАСПОЗНАВАНИЯ КОНТУРА И ОСНОВНЫХ ЭЛЕМЕНТОВ ЧЕЛОВЕЧЕСКОГО ЛИЦА Текст научной статьи по специальности «Компьютерные и информационные науки»

УНИВЕРСИТЕТ ИТМО

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2021 Том 21 № 4 http://ntv.ifmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS July-August 2021 Vol. 21 No 4 http://ntv.ifmo.ru/en/

ISSN 2226-1494 (print) ISSN 2500-0373 (online)

ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ

doi: 10.17586/2226-1494-2021-21-4-482-489 УДК 004.9342

Факторная модель обнаружения и распознавания контура и основных

элементов человеческого лица

Туан Ань Фам1И, Наталия Александровна Жукова2, Елена Людвиговна Евневич3

1 Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация

2>3 Санкт-Петербургский Федеральный исследовательский центр РАН, Санкт-Петербург, 199178, Российская Федерация

1 ptanh@cit.udn.vnH, https://orcid.org/0000-0002-5972-3954

2 nazhukova@mail.ru, https://orcid.org/ 0000-0001-5877-4461

3 eva@iias.spb.su, https://orcid.org/0000-0002-8203-0814

Аннотация

Предмет исследования. Рассмотрены вопросы распознавания и моделирования лица и объектов на лице человека по изображению. Разработаны модель, алгоритм и программа определения контуров и основных частей лица. Методы. Для предварительной обработки изображений использованы методы моделирования цвета и цветовых измерений. При распознавании и обработке изображений применены известные методы, включая скрытые марковские модели. Обучение разрабатываемой модели выполнено на основе нейросетевых методов машинного обучения по специально созданной выборке, а также с помощью методов цветовой сегментации. Основные результаты. Получена факторная модель лица человека, позволяющая эффективно и с высокой скоростью выделить и распознать на изображении лицо и его объекты с заданной точностью. Эксперименты показали, что после обучения точность правильного выделения границ составила 95-96 %. Практическая значимость. Разработанная модель может применяться в задачах обеспечения безопасности: для поиска и идентификации преступников в рамках укрепления правопорядка; при осуществлении контроля доступа на объекты критических инфраструктур и др. Ключевые слова

лицо человека, цвет кожи, выделение контура лица, распознавание объектов лица, факторная модель лица Благодарности

Исследование выполнено в рамках бюджетной темы № 0060-2019-0011.

Ссылка для цитирования: Фам Туан Ань, Жукова Н.А., Евневич Е.Л. Факторная модель обнаружения и распознавания контура и основных элементов человеческого лица // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21, № 4. С. 482-489. doi: 10.17586/2226-1494-2021-21-4-482-489

A factor model for detection and recognition of human face contours and elements

Tuan Anh Pham1^, Nataly A. Zhukova2, Elena L. Evnevich3

1 ITMO University, Saint Petersburg, 197101, Russian Federation

2>3 St. Petersburg Federal Research Center of the Russian Academy of Sciences, Saint Petersburg, 199178, Russian Federation

1 ptanh@cit.udn.vnH, https://orcid.org/0000-0002-5972-3954

2 nazhukova@mail.ru, https://orcid.org/ 0000-0001-5877-4461

3 eva@iias.spb.su, https://orcid.org/0000-0002-8203-0814

Abstract

The paper deals with the issues of detection and modeling of human faces and objects on a face taken from the images. The model, algorithm and program are developed for the detection of human facial contours and main elements. The preliminary image processing involves the methods of color modeling and color measurements. Well-known methods, including hidden Markov models, are used for image recognition and processing. The training of the developed model was carried out with neural network methods of machine learning based on a specially created sample, as well as using color segmentation methods. A factor model of a human face is created, which makes it possible to select and recognize efficiently a face and its objects in the image at high speed and with a given accuracy. The experiments have shown

© Фам Т.А., Жукова Н.А., Евневич Е.Л., 2021

that the accuracy of the correct selection of boundaries was about 95-96 % after training. The developed model can be used in security assurance tasks, namely to search and identify criminals, to strengthen law and order, to control access to critical infrastructure facilities, etc. Keywords

human face, skin color, facial contours detection, facial objects recognition, factor face model Acknowledgements

This work is supported by the state research project No. 0060-2019-0011.

For citation: Pham Tuan Anh, Zhukova N.A., Evnevich E.L. A factor model for detection and recognition of human face contours and elements. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2021, vol. 21, no. 4, pp. 482-489 (in Russian). doi: 10.17586/2226-1494-2021-21-4-482-489

Введение

Лицо человека, несмотря на возрастные изменения, остается главным основанием для распознавания и идентификации личности. Оно содержит основные элементы, отличающие людей друг от друга.

На основе анализа характеристик человеческого лица решаются многие задачи обеспечения безопасности, в том числе поиск подозреваемых в преступлении и проведение расследования преступления [1]. При распознавании характеристик лица рассматриваются глаза, брови, нос, рот, форма лица и т. д. Эти характерные признаки используются при описании подозреваемого в преступлении или для осуществления пропускного режима на контрольно-пропускных пунктах режимных объектов [2].

Описание характеристик лица — задача, выполняемая либо экспертами — людьми для наблюдения за подозреваемым, либо в автоматическом режиме для различных задач обеспечения безопасности. В данной работе будет представлена модель, способная описывать лицо человека с изображения, предназначенная для эффективного решения подобных задач. Особенности черт лица, таких как глаза, нос, рот, кожа и др., извлекаются с целью создания классификационной модели для различных типов, индивидуального наблюдения за человеком и др.

Цветовые модели HSI и RGB

Обнаружение и распознавание человеческого лица на изображениях может базироваться на моделировании цвета кожи [3-7]. Для этого нужно исследовать, проанализировать и сделать выбор из множества моделей цвета и методов цветовых измерений, таких как RGB, normalized RGB, HSI (L) (Hue, Saturation, Intensity (Lightness)), HSB (Hue, Saturation, Brightness), TSB (Tint, Saturation, Brightness) и YCBCR (Y — компонента яркости, CB и CR — синие и красные цвето-разностные компоненты). Среди моделей цвета HSI отличает элементы интенсивности (Intensity) от элементов цветности (Hue, Saturation), допускает простое получение своих составляющих из RGB, и поэтому широко используется при моделировании цветов, в том числе цвета кожи [8]. Также HSI часто применяется в связи с тем, что сам человек описывает свои цветовые ощущения с помощью таких характеристик как тон, насыщенность, интенсивность (светлота).

Существует множество алгоритмов обработки изображений для обнаружения на них человеческих лиц, среди которых лучшими считаются:

— признаки Хаара, предложенные Виолой и Джонсом и названные так из-за сходства с вейвлетами Хаара;

— AdaBoosting — процедура последовательного построения композиции алгоритмов машинного обучения, когда каждый следующий алгоритм стремится компенсировать недостатки композиции всех предыдущих алгоритмов;

— метод главных компонент — алгоритм PCA (Principal Component Analysis);

— гистограмма направленных градиентов (Histogram of Oriented Gradients, HOG) — метод обнаружения объектов, который можно использовать и для поиска лиц;

— скрытые марковские модели, вейвлеты Габора, линейный дискриминантный анализ, нейронные сети. Также авторами рассмотрены библиотеки OpenCV

(Haar, DNN), Face Recognition, MTCNN, R-FCNN и Dlib (HOG, CNN).

В настоящей работе моделирование цвета кожи будет проводиться на основе цветовой модели HSI.

H (Hue) описывает тон — сам цвет (чистый синий, чистый желтый, чистый зеленый, чистый красный и др.), S (Saturation) определяет насыщенность — степень серого в данном цвете, а I (Intensity) — интенсивность цвета. I — один из важнейших параметров описания цвета — основная характеристика монохромных изображений, которую можно легко измерить и интерпретировать. В модели HSI интенсивность I отделена от цветовых составляющих (H и S) [9], и как уже отмечалось, близка к человеческому восприятию цвета [10].

Модель RGB (Red, Green, Blue) больше подходит для создания цветных изображений и очень ограниченно применима для описания цвета. На основе модели RGB вычислим параметры модели HSI:

H =

a, ß < G 2п - a, B > G '

где

а = arccos

1-{{R-G) + {R-B))

S = 1 - -

\«R-G)i + (R-B)(G-B)YI 1

R + G + B

min(R, G, B);

I = —(R + G + B).

(1)

(2)

(3)

(4)

Алгоритм выделения контура и основных частей лица

Для простоты понимания можно допустить, что I фона меньше I лица человека на изображении, т. е. имеется контраст по отношению к лицу человека. Также допустим, что центр тяжести лица близок к центру тяжести изображения.

Тогда выделение контура и основных частей лица человека может выполняться с использованием алгоритма, представленного на рис. 1.

Нахождение контура базируется на основании значений интенсивности I пикселов цвета с использованием математического ожидания в качестве порогового значения. Сначала из I получаем

I' = {x'ijp'ij = Xj + max (хкп), xkn е /},

(5)

k=i-1,i+1 n=j-1j+1

где ij — координаты пикселов изображения; I — новое множество интенсивностей пикселов; x'y, xy — новые и исходные интенсивности пикселов; max — максимум интенсивности на заданном множестве — окрестности пиксела 3 х 3; k, n — координаты окрестности пиксела 3 х 3.

По формуле (5) при поиске контура лица получим только пикселы лица человека, так как интенсивность любого пиксела исходного изображения увеличивается на максимальное значение из окрестности 3 х 3. В результате увеличивается пороговое значение — математическое ожидание. Контур определяется равенством

нулю второй производной интенсивности по направлению п [3]:

д2

—I = 0, (6)

сгп

где I — интенсивность пиксела отфильтрованного изображения; п — вектор нормали к контуру. Направление п аппроксимируется направлением градиента V:

4(1)

(7)

где

т\

V=.А,—I

\дх ду

(8)

Контур лица состоит из тех точек, где I или совпадает с модулем градиента, или больше некоторого установленного порога. Методом Собеля [10] аппроксимируются все производные — свертки изображения с масками размера 3 х 3, представленными в табл. 1.

Для формирования и сглаживания контура применяется детектор границ Кэнни, который выделяет линейный контур. Далее контуры расширяются за счет применения бинарной морфологической операции расширения. Алгоритм также находит и удаляет линию шеи.

Данный алгоритм отличается простотой использования, легкостью и скоростью распознавания, а также отсутствием необходимости обучения.

Рис. 1. Алгоритм нахождения контура и основных частей лица человека

Fig. 1. An algorithm for finding the contour and the main parts of a human face

Фильтрация изображения и аппроксимация контуров

С помощью алгоритма поиска связных компонент на бинарном изображении определяются наборы пикселов: левого и правого глаза, носа, рта и помех (прядь волос на лбу, усы, борода, брови и др.

Согласно [10], при анализе лица 70 % ресурсов отводится для определения формы головы, 20 % — глаз и носа, для всех остальных элементов — 10 %. Также применяется морфологический анализ объектов, включающий определение удаленности от центра тяжести лица, размера относительно ближайших объектов, а также места на лице.

V V

r nw r ne

XI

V,

Рис. 2. Области лица Fig. 2. Areas of the face

Таблица 1. Вертикальная и горизонтальная маски для метода Собеля Table 1. Vertical and horizontal masks for the Sobel method

Вертикальная маска Частная производная Горизонтальная маска Частная производная

-l 0 1 e dx 1 -i -1 Ô dy

-i 0 i 0 0 0

-1 0 1 1 i 1

Пусть V — множество всех точек лица и содержит три области (рис. 2):

V = V + V + V

г г им ' пе ' ,

где Vnw — северо-западная — вертикальная верхняя левая половина лица, содержащая левый глаз; Vne — северо-восточная — вертикальная верхняя правая половина лица, содержащая правый глаз; V,, — южная - горизонтальная нижняя половина лица, содержащая рот.

Нос отдельно определяется как объект с максимальной площадью, наиболее близко расположенный к центру тяжести лица, точки которого входят в V (лицо) и не входят в точки левого глаза, правого глаза и рта.

Объекты лица можно описать математически: — левый глаз — ЬЕ:

LE = {vj g VnwVhj}

SLE = T^^Le) LEk = {vj G KW^hj},

(9)

где ЬЕк — объект в северо-западной области лица; $ьЕк — площадь объекта ЬЕк; Уу — пикселы изображения с лицом; /, у — координаты пиксела; — правый глаз — КЕ:

Ш = {Уу е Vn^г, у},

SRE = maxORA REk = {v// g VneVhj},

(10)

где ЯЕк — объект в северо-восточной области лица; $яЕк — площадь объекта ЯЕк;

— рот — М:

М = {уу е VsVi,у},

(11)

Бм = тах^м^ Мк = {Уу е у},

к

где Мк — объект в южной области лица; 8мк — площадь объекта Мк;

— нос — Ы:

N = {уу г М П Уу г КЕ П Уу г ЬЕ V/,у},

= тах(БЫк) л УоХ (xNk,0, Уык,о)] ^ тш.,

к

Ык = у г мп Уу г КЕ п Уу г ЬЕ Vг,у}, (12)

где

й^ Уо), (xNk,0, Уык,о)] = ^(хЫ,0 - хо)2 + (Уы,0 - Уо)2 (13)

расстояние от центра тяжести лица (хо, Уо) до центра тяжести к-го объекта (хЫк,0, УЫк,0), — лоб — ГИ:

ГИ = {Уу е Vnw и Vne V/,у}, (14)

где ГИ — пикселы северо-восточной или северо-западной области лица, для которых У-координата больше У-координаты любого пиксела левого или правого глаза.

Факторная модель лица человека

Все найденные объекты, за исключением носа, аппроксимируются эллипсами. Далее описан алгоритм аппроксимации.

У эллипса, расположенного на плоскости, имеется пять определяющих параметров: (х0, У0) — координаты центра; а — угол, задающий ориентацию; а, Ь — малая и большая полуоси. Если голова человека расположена вертикально, то а = 90°. Также приблизительно известны центры тяжести каждого из объектов.

Следовательно, осталось определить четыре параметра: а и Ь — малая и большая полуоси; йх и ф — смещения центра эллипса по осям х и У соответственно. Для определения этих параметров ставится и решается следующая задача оптимизации (максимизации):

Е = X д(У) ^ тах(БЕ), (15)

yеV

где E — эллипс; SE — площадь эллипса, а g(v) имеет вид

Í1, v б E

g(v) = ' „ . (16)

10, v е E

Искомые параметры целочисленные, поэтому задачу максимизации можно достаточно эффективно решать методом перебора [8, 10].

Область, описывающая нос человека, остается без изменений, т. е. не аппроксимируется.

Применив формулу (15) к формулам (9)—(11) и к множеству V всего лица, получаем четыре эллипса: ELe — левого глаза, Ere — правого глаза, EFH — лба, Ec — контура лица; N — многоугольник, представляющий нос, получен из формулы (12).

Расстояние D(P,Q) между двумя точками Дх^) и Q(x2,y2) определяется как эвклидово расстояние:

D(P,Q) = V(x2 - Х1)2 + (y2 - Л)2. (17)

Предлагаемая факторная модель лица имеет вид:

f1 Í2

M(fi)

f3

fn—l fn

где n = li - характеристики отношений высот, ширины и расстояний:

1) fl = ■

ПЕС

wEc ширине wEc;

отношение высоты hEc эллипса Ec к его

2) /2

перн

■ отношение высоты hEFH эллипса EFh к

wefh его ширине wEfh;

here

3) /3 =-— отношение высоты hERE эллипса Ere к

его ширине wEre;

4) /4

пеш

■ отношение высоты hELE эллипса ELe к

w4E

его ширине wele; hEc

5) /5 =-— отношение высота Не„ эллипса Ec к

™Ерн

высоте hefh эллипса efh; Wec

6) / =-— отношение ширины wec эллипса Ее к

wEfh

ширине Wefh эллипса Efh'; Р(ОешОЕрн)

7) /7 =-— отношение расстояния между

центрами эллипсов Ele и Efh к расстоянию между центрами эллипсови Ele и Еде, где D здесь и далее определяется по формуле (17), OelE, OerE, Oefh — центры эллипсов Ele, Ere, Efh соответственно; оч , d(°£m> °efh)

8) / =-— отношение расстояния между

D(°ELE> 0Ещ) центрами эллипсов Ere и Efh к расстоянию между центрами эллипсов Ele и Ere, OelE, OerE, Oefh — центры эллипсов Ele, Ere, Efh соответственно;

, d(onp, oefh)

9) /9 =-— отношение расстояния между

D(0ELE, OESE) центрами многоугольника Np и эллипса Efh к расстоянию между центрами эллипсов Ele и Ere, Oele, OerE, Oefh, Onp — центры эллипсов Ele, Ere, Efh и многоугольника Np соответственно; D(.0ELE,Qec)

10) /10 =-— отношение расстояния меж-

D(0Ele, OEre)

ду центрами эллипсов Ее и Ele к расстоянию между центрами эллипсов Ele и Ere, OelE, OerE, Oec — центры эллипсов Ele; Ere, Ec соответственно; D(Oere, Oec)

11) /i, =-- отношение расстояния между

11 D(0EU¡,0ERE)

центрами эллипсов Ее и Ere к расстоянию между центрами эллипсов Ele и Ere, OelE, OerE, Oec — центры эллипсов Ele и Ere, Ec соответственно;

P(0Np, oEc)

12) /12 =-— отношение расстояния между

D(0Np, 0Еш)

центрами многоугольника Np и эллипса Ec к расстоянию между центрами многоугольника Np и эллипса Efh, Oec, Oefh, 0Np — центры эллипсов Ec, Efh и многоугольника Np соответственно.

Анализ метода обработки изображений на основе факторной модели

Выполнен эксперимент оценки эффективности метода и его применимости к другим цветовым моделям, например RGB.

По формулам (1)—(17) реализован алгоритм и написана программа, результат работы которых показан на рис. 3-5.

На рис. 4 приведены изображения, полученные после обработки входного изображения с использованием формулы (15) (рис. 4, а), полутоновое изображение интенсивности с использованием: медианного фильтра (рис. 4, b), бинаризации методом Оцу [8] с применением формулы (12) (рис. 4, с) и наложения маски 8-связ-ности (рис. 4, d):

1 1 1 1 -8 1 1 1 1

позволяющей выделить лишь контур изображения.

Однако, как видно на рис. 3 и 4, для выделения мелких частей лица (глаз, рта, носа) значения интенсивности подходят значительно меньше, чем значения насыщенности (рис. 5, а). Потому для обработки захваченной области с помощью детектора краев Кэнни [8], полученный контур накладывается как фильтр на значение насыщенности. Таким образом, получается «чистое» изображение лица (рис. 5, b).

Для оценки разработанного метода выполнен ряд испытаний на 1000 различных фотографиях человеческих лиц, переведенных в модель HSI, из них на 95 % снимков контур лица был выделен «чисто», на

Рис. 3. Пример представления входного изображения в HSI-системе: входное изображение (а); ^-компонента (b);

^-компонента (с); /-компонента (d) Fig. 3. An example of the representation of the input image in the HSI system

Рис. 4. Изображение после обработки по формуле (15) и фильтрации

Fig. 4. Image after processing according to the formula (15) and filtering

остальных 5 % были некоторые неточности. В частности, были захвачены лишние участки фона, не относящиеся к человеческому лицу, так как снимки были более низкого качества. В табл. 2 приведены примеры изображений и результаты их обработки.

В табл. 3 приведены зависимости погрешности выделения контура от качества снимка. Все снимки имеют размер 300 х 300 пикселов и сохранены в формате JPEG.

Из табл. 3 видно, что наибольшая погрешность наблюдается на снимках худшего качества.

Окончательный результат применения разработанного метода к фотографии с человеческим лицом, представленной в цветовой модели HSI, приведен на рис. 6, a.

Рис. 5. Изображение после наложения контура лица на компоненту насыщенности (а) и с помощью применения оператора Кэнни (b)

Fig 5. Image after face contour overlay on the saturation component (a) and after Canny operator application (b)

Рис. 6. Окончательный результат применения разработанного метода для моделей: HSI (а) и RGB (b) Fig. 6. The final result of applying the developed method to the models: HSI (a) and RGB (b)

Таблица 2. Примеры изображений и результаты их обработки

Table 2. Examples of images and the results of their processing

Исходное изображение

Окончательный результат алгоритма

v

Таблица 3. Зависимость погрешности выделения контура от качества снимка Table 3. Dependence of the contour selection error on the image quality

Размер файла, КБ Качество Площадь лица, рассчитанная после выделения контура, пикселы Погрешность, %

вручную программой

43 Максимальное 12 575 12 642 0,5328

42 Максимальное 11 758 11 725 0,2806

42 Максимальное 10 568 10 569 0,0094

39 Высокое 10 035 10 156 1,2057

38 Высокое 11 245 11 645 3,5571

40 Высокое 10 689 10 978 2,7037

32 Среднее 11 244 11 901 5,84311

33 Среднее 11 023 12 098 6,9037

32 Среднее 12 047 11 159 4,8310

20 Низкое 11 156 12 896 15,5969

21 Низкое 11 867 13 125 10,6008

19 Низкое 10 992 9689 11,8541

Выполнение эксперимента с входной фотографией в модели RGB, не преобразованной в модель HSI, дает абсолютно иной результат. Окончательный результат приведен на рис. 6, b.

На основании проведенных экспериментов (рис. 6, b) можно говорить о нецелесообразности применения описанного метода для изображений в модели RGB, так как необходимые для последующей идентификации человека объекты (глаза, нос, рот, лоб) выделить не удается.

Обучение факторной модели

Выполнен эксперимент для определения целесообразности обучения модели и эффективности ее обучения.

Программа без обучения позволяет с достаточно высокой точностью выделять как четкие, так и размытые контуры на высоко- и низкоконтрастных изображениях. Результаты апробации системы уверенно показали 90-92 % правильного выделения границ.

Выделение контура с использованием предложенного метода можно существенно улучшить, в первую очередь, за счет добавления процедуры обучения на основе OpenCV — цветовой сегментации. Простота использования, легкость и скорость распознавания (фотография 300 х 300 обрабатывается за доли секунды на IntelCore 2 CPU6300@1.86GHz) — привлекательные черты данного метода.

В результате сравнительного анализа методов цветовой сегментации кожи был выбран метод моделирования распределения с помощью байесовской карты вероятностей.

Вероятность того, что цвет «с» принадлежит коже «skin», определяется по формуле:

P{skin)P(c\skin)

P(skin\c) =--- _-(18)

P(sMn)P(c\skin)+ P(skin)P(c\skin)

Согласно формуле (18), Р(фкт), Р(фкт) определяются исходя из изображений для обучения, с областями кожи, сегментированными вручную (отношение числа пикселов цвета соответственно кожи и не-кожи на обучающих изображениях к общему числу пикселов). Априорные вероятности Р^кт), Р^кт) также определяются из обучающего набора. Вероятность Р^кт) — отношение числа данных пикселов из всей выборки к общему числу пикселов, попавших в нее.

Выполним анализ соседних пикселов, используя свойство пространственной когерентности. Пиксел с цветом «с» считается пикселом кожи, если хотя бы три его соседних пиксела также принадлежат «коже». Таким образом, устраняются случайные шумовые всплески, близкие к «коже» по цвету, а также устанавливаются различия цвета кожи и волос.

Для оценки распределения с помощью байесовской карты вероятностей была подготовлена некоторая обучающая выборка, включающая 300 изображений человеческих лиц, состоящих только из пикселов цвета кожи и содержащая 385 лиц.

При тестировании разработанный метод показал незначительное число ложных обнаружений по сравнению с числом необнаруженных объектов. Потому было принято решение: сначала проводить цветовую сегментацию, а затем применить разработанный алгоритм.

Тестовые изображения содержали изображения людей в очках, с бородой, с приоткрытым ртом, с закрытыми глазами, с лицом анфас и в профиль, с лицом, повернутым на 30° и 40°. Эти особенности никак не влияли на результат обнаружения. Корректно обнаруживалось даже большинство размытых лиц.

Предварительным применением алгоритма цветовой сегментации удалось улучшить результат обнаружения лиц. После обучения результаты апробации системы уверенно показали 95-96 % правильного выделения границ.

Заключение

Представлены и проанализированы метод и модель определения контура и объектов лица человека на цветных изображениях различного качества и размера. Разработана математическая - факторная - модель лица

человека. На основе результатов экспериментального исследования определена эффективность предложенных алгоритма и программы выделения контура и основных объектов лица человека.

Литература

1. Chuk T., Crookes K., Hayward W.G., Chan A.B., Hsiao J.H. Hidden Markov model analysis reveals the advantage of analytic eye movement patterns in face recognition across cultures // Cognition. 2017. V. 169. P. 102-117. https://doi.org/10.1016/jxognition.2017.08.003

2. Liu D., Li J., Wang N., Peng C., Gao X. Composite components-based face sketch recognition // Neurocomputing. 2018. V. 302. P. 46-54. doi.org/10.1016/j.neucom.2018.03.042

3. Alboil A., Torres L., Delp E. An unsupervised color image segmentation algorithm for face detection applications // Proc. of the International Conference on Image Processing (ICIP 2001). 2001. P. 681-684. https://doi.org/10.1109/ICIP.2001.958585

4. Galarza E.E., Egas F.D., Silva F.M., Velasco P.M., Galarza E.D. Real time driver drowsiness detection based on driver's face image behavior using a system of human computer interaction implemented in a smartphone // Advances in Intelligent Systems and Computing. 2018. V. 721. P. 563-572. https://doi.org/10.1007/978-3-319-73450-7_53

5. Смирнов А.В., Пашкин М.П., Шилов Н.Г., Левашова Т.В. Онтологии в системах искусственного интеллекта: способы построения и организации (часть 1) // Новости искусственного интеллекта. 2002. № 1(49). С. 3-13.

6. Wu J., Trivedi M. Robust facial landmark detection for intelligent vehicle system // Lecture Notes in Computer Science. 2005. V. 3723. P. 213-228. https://doi.org/10.1007/11564386_17

7. King D.E. Dlib-ml: A machine learning toolkit // Journal of Machine Learning Research. 2009. V. 10. P. 1755-1758.

8. Гончаров A., Горбань А. Распознавание лиц на изображениях с низким разрешением // Труды российской конференции молодых ученых по информационному поиску в рамках RuSSIR'2007. Екатеринбург, 2007. С. 5-15.

9. Труды Института системного анализа Российской академии наук. Т. 38. Обработка изображений и анализ данных / под ред. В.Л. Арлазарова, Н.Е. Емельянова. М.: URSS, 2008. 363 с.

10. Zuo F., De With P.H.N. Fast human face detection using successive face detectors with incremental detection capability // Proceedings of SPIE. 2003. V. 5022. P. 831-841. https://doi.org/10.1117/12.476451

References

1. Chuk T., Crookes K., Hayward W.G., Chan A.B., Hsiao J.H. Hidden Markov model analysis reveals the advantage ofanalytic eye movement patterns in face recognition across cultures. Cognition, 2017, vol. 169, pp. 102-117. https://doi.org/10.1016/jxognition.2017.08.003

2. Liu D., Li J., Wang N., Peng C., Gao X. Composite components-based face sketch recognition. Neurocomputing, 2018, vol. 302, pp. 46-54. doi.org/10.1016/j.neucom.2018.03.042

3. Alboil A., Torres L., Delp E. An unsupervised color image segmentation algorithm for face detection applications. Proc. of the International Conference on Image Processing (ICIP 2001), 2001, pp. 681-684. https://doi.org/10.1109/ICIP.2001.958585

4. Galarza E.E., Egas F.D., Silva F.M., Velasco P.M., Galarza E.D. Real time driver drowsiness detection based on driver's face image behavior using a system of human computer interaction implemented in a smartphone. Advances in Intelligent Systems and Computing, 2018, vol. 721, pp. 563-572. https://doi.org/10.1007/978-3-319-73450-7_53

5. Smirnov A.V., Pashkin M.P., Chilov N.G., Levashova T.V. Ontologies in artificial intelligence systems: ways of building and organization (part 1). Artificial Intelligence News, 2002, no. 1(49), pp. 3-13 (in Russian)

6. Wu J., Trivedi M. Robust facial landmark detection for intelligent vehicle system. Lecture Notes in Computer Science, 2005, vol. 3723, pp. 213-228. https://doi.org/10.1007/11564386_17

7. King D.E. Dlib-ml: A machine learning toolkit. Journal of Machine Learning Research, 2009, vol. 10, pp. 1755-1758.

8. Goncharov A., Gorban A. Content based facial image search. Proc. of the Russian Conference for Young Scientists in Information Retrieval (RuSSIR'2007). Ekaterinburg, 2007, pp. 5-15. (in Russian)

9. Proceeding of the Institute for Systems Analysis of the Russian Academy of Science. V. 38. Image Processing and Data Analysis. Ed. by. V.L. Arlazarov, N.E. Emelianov. Moscow, URSS, 2008, 368 p. (in Russian)

10. Zuo F., De With P.H.N. Fast human face detection using successive face detectors with incremental detection capability. Proceedings of SPIE, 2003, vol. 5022, pp. 831-841. https://doi.org/10.1117/12.476451

Авторы

Фам Туан Ань — аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, https://orcid.org/0000-0002-5972-3954, ptanh@cit.udn.vn

Жукова Наталия Александровна — кандидат технических наук, доцент, ведущий научный сотрудник, Санкт-Петербургский Федеральный исследовательский центр РАН, Санкт-Петербург, 199178, Российская Федерация, 56406142300, https://orcid.org/0000-0001-5877-4461, Nazhukova@mail.ru Евневич Елена Людвиговна — кандидат физико-математических наук, старший научный сотрудник, Санкт-Петербургский Федеральный исследовательский центр РАН, Санкт-Петербург, 199178, Российская Федерация, 16434369100, https://orcid.org/0000-0002-8203-0814, eva@iias.spb.su

Статья поступила в редакцию 05.06.2021 Одобрена после рецензирования 05.07.2021 Принята к печати 26.07.2021

Authors

Tuan Anh Pham — Postgraduate, ITMO University, Saint Petersburg, 197101, Russian Federation, https://orcid.org/0000-0002-5972-3954, ptanh@cit.udn.vn

Nataly A. Zhukova — PhD, Associate Professor, Leading Researcher, St. Petersburg Federal Research Center of the Russian Academy of Sciences, Saint Petersburg, 199178, Russian Federation, 56406142300, https://orcid.org/0000-0001-5877-4461, Nazhukova@mail.ru

Elena L. Evnevich — PhD, Senior Researcher, St. Petersburg Federal Research Center of the Russian Academy of Sciences, Saint Petersburg, 199178, Russian Federation, gg 16434369100, https://orcid.org/0000-0002-8203-0814, eva@iias.spb.su

Received 05.06.2021

Approved after reviewing 05.07.2021

Accepted 26.07.2021

Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»