CC BY
130
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ март-апрель 2019 Том 19 № 2 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS
March-April 2019
Vol. 19 No 2 ISSN 2226-1494
http://ntv.ifmo.ru/en
УДК 612.087.1
ПРИМЕНЕНИЕ ЦИФРОВОЙ ЛИЦЕВОЙ АНТРОПОМЕТРИИ
(Обзорная статья) Г.А. Кухарев% Н. Казиеваь
a Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, 197376, Российская Федерация b Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: kaznaz@list.ru Информация о статье
Поступила в редакцию 17.01.19, принята к печати 25.02.19 doi: 10.17586/2226-1494-2019-19-2-255-270 Язык статьи - русский
Ссылка для цитирования: Кухарев Г.А., Казиева Н. Применение цифровой лицевой антропометрии // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 2. С. 255-270. doi: 10.17586/2226-1494-2019-19-2-255-270 Аннотация
Представлен аналитический обзор применения методов цифровой лицевой антропометрии в научных и практических задачах. Исследование включает краткую историю появления антропометрии (как описательной и сравнительной науки, предметом исследования которой является человек) и ее трансформацию в современные компьютерные методы. Рассмотрены особенности применения цифровой лицевой антропометрии. Рассмотрены: понятия морфотипа и фенотипа лица; задачи морфологии и морфометрии как базовых средств цифровой лицевой антропометрии; методы количественной и качественной оценки характеристик и параметров лиц; задачи поиска ассоциаций между наборами генов в геноме и чертами лица человека; задачи оценки привлекательности лиц; связь лицевой антропометрии с «лицами Чернова» и когнитивной компьютерной графикой, используемой в практической медицине; проблема определения эмоций, пола и психотипа человека; особые случаи задач распознавания изображений лиц, способы их решения в рамках цифровой лицевой антропометрии и примеры их решения. Определен прогноз тесной связи цифровой лицевой антропометрии и интернета вещей в современном мире. Ключевые слова
цифровая лицевая антропометрия, оценка характеристик и параметров лица человека, привлекательность и красота лица, поиск ассоциаций с геномами (GWA), «лица Чернова», когнитивная компьютерная графика, распознавание изображений лиц, интернет вещей
APPLICATION OF DIGITAL FACIAL ANTHROPOMETRY
(Review paper) G.A. Kukharev", N. Kaziyevab
aSt. Petersburg State Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation bITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: kaznaz@list.ru Article info
Received 17.01.19, accepted 25.02.19 doi: 10.17586/2226-1494-2019-19-2-255-270 Article in Russian
For citation: Kukharev G.A., Kaziyeva N. Application of digital facial anthropometry. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 2, pp. 255-270 (in Russian). doi: 10.17586/2226-1494-2019-19-2-255-270
Abstract
An analytical review of the digital facial anthropometry application in the scientific and practical problems of the contemporary human world is presented. The research includes a brief history of anthropometry emergence (as a descriptive and comparative science, the subject of which is human) and its transformation into contemporary computer methods of digital anthropometry. We have considered the application features of digital facial anthropometry. They are: the concepts of the morphotype and phenotype of the face, problems of morphology and morphometry, as the basic means of digital facial anthropometry, methods of quantitative and qualitative assessment of the characteristics and parameters of individuals, the task of finding associations between gene sets in the genome and human facial features, the task of assessing the attractiveness and beauty of individuals, the relationship of facial anthropometry with "Chernoff Faces" and cognitive computer graphics used in practical medicine, the phenomenon of the human face and the problem of determining the emotions, sex and psycho-type of a person, special cases of face image recognition tasks, methods for solving them within the framework of digital facial anthropometry and examples of their solution. We have determined the prognosis for the close connection of digital facial anthropometry and the Internet of things in the contemporary world.
Keywords
digital facial anthropometry, evaluation of person's face characteristics and parameters, face attractiveness and beauty, search for associations with genomes (GWA), "Chernoff Faces", cognitive computer graphics, face image recognition, Internet of things
Введение
Заметным шагом в развитии физической антропологии стали революционные идеи Альфонса Бертильона (1853-1914), создавшего систему идентификации преступников по антропометрическим данным [1]. Эти идеи включали: антропометрическую регистрацию (и последующую идентификацию) преступника по размерам основных частей тела (включая длину и ширину головы, а также форму правого уха); словесный портрет преступника, включающий описание форм головы и лица; сигналетическую фотосъемку (точное фотографирование с получением трех портретов - фото в профиль и анфас, а также фото во весь рост). Идентификация преступников по их антропометрическим данным использовалась до 1914 г. Однако уже в середине ХХ века стали интенсивно развиваться методы реконструкции облика человека на краниологической основе [2]. При этом одним из основных инструментов измерений и исследований здесь является лицевая антропометрия, позволяющая получить представление об индивидуальных чертах человека и реконструировать по ним этот облик.
Уникальность лица каждого человека определяется его качественными и количественными характеристиками.
Основная часть качественных характеристик лица представляется морфотипом: общей геометрической формы лица (квадратная, круглая, овальная...); частей лица (орбитальной, носовой, губной и ушной); формы примитивов лица (бровей, глаз, носа, рта... ) и фенотипа - формы и цвета волос, цвета кожи лица, цвета глаз и губ.
Морфометрия лица позволяет описать количественные характеристики: размер лица, величину и параметры его примитивов, их расположение и размеры. На основе сравнительного анализа этих характеристик формируются (или устанавливаются) расовые, половые, возрастные и другие особенности людей. Традиционно такая оценка выполнялась прямыми физическими измерениями лица с помощью специальных инструментов [3]. Например, для измерения головы и лица, а равно и при краниометрических исследованиях использовались циркули системы Мартина1. Но уже в конце XIX века, с развитием рентгенографии, эти измерения выполнялись в рамках задач антропометрии, основанной на координатах ключевых точек, определяемых «вручную» на рентгенограмме.
В настоящее время интенсивно развиваются компьютерные методы цифровой черепно-лицевой антропометрии. Как отмечено в [4], термин «цифровая антропометрия» введен для того, чтобы отделить (или выделить) «цифровые методы» от обычных ручных измерений в антропометрии, поскольку антропометрия традиционно используется в качестве инструмента исследования. При этом методы цифровой антропометрии могут быть использованы в нескольких дисциплинах как неинвазивный инструмент для количественной оценки морфологии лиц.
Цифровая лицевая антропометрия включает: автоматическое определение координат ключевых антропометрических точек (АПТ) на изображениях лиц (ИЛ), томографических сканах головы или черепа; оценку всех базовых (габаритных) размеров лица и его частей по расположению координат АПТ; оценку координат АПТ и границ примитивов лица; вычисление соотношений между выбранными координатами АПТ; составление сводных таблиц по этим соотношениям; проведение специальных статистических (сравнительных) исследований по ним и поиск закономерностей их изменений (например, для возрастных, половых и расовых групп людей и их популяций).
При этом именно координаты АПТ на лице (или черепе) каждого человека отображают его индивидуальность, представленную на обобщенной координатной сетке АПТ, в рамках которой производятся все морфометрические измерения.
В [5] рассмотрены проблема использования технологий штрихового кодирования в лицевой биометрии, состав и объем используемых данных (в том числе и координат АПТ). В настоящей статье рассмотрены особенности применения цифровой лицевой антропометрии в научных и практических задачах.
АПТ лиц и способы их представления и получения
Первое согласованное расположение ключевых точек на области лица было принято на Международном конгрессе антропологов в 1884 г. А в 1906 г. принято соглашение об унификации краниометрических обозначений (точек на черепе), согласованных с соответствующими точками лица. В настоящее время в антропометрических исследованиях используются две системы условных обозначений - цифровая и буквенная. Цифровая основана на идеях немецкого антрополога Рудольфа Мартина - создателя
1 Каталог антропологические инструменты GPM. Лабораторное оборудование [Электронный ресурс]. Режим доступа: http://antropolog-instrument.ru/?an=catalog, свободный. Яз. рус. (дата обращения 15.12.2018).
современной методики антропологических измерений. Буквенная система обозначений основана также немецким антропологом (краниологом) Германом Велькером.
Размеры лица и черепа принято обозначать начальными буквами соответствующих немецких слов: L - Lange (длина), В - Breite (ширина), Н - Hohe (высота), СН - Gesichts Hohe (высота лица), GB -Gesichts Breite (ширина лица). Краниометрические точки на черепе и антропометрические точки лица обозначаются малыми латинскими буквами. Эти же обозначения приняты для АПТ в зарубежных публикациях по антропометрии [6-8]. В стандарте2 используются два термина - «контрольные точки лица» и «антропометрические точки лица». Эти точки записаны как в цифровой, так и в буквенной форме, а соответствия описаний этих точек между собой показаны в [7, таблица 9а]. Примеры буквенной записи антропометрических точек, приведены на рис. 1, а. Примеры цифровой записи контрольных точек в стандарте по биометрии показаны на рис. 1, б.
а б
Рис. 1. Примеры записи антропометрических точек
Отметим, что в технической литературе по цифровой лицевой антропометрии, наряду с понятиями «ключевые» и «антропометрические» точки используются: опорные точки (fiducial points), особые (характерные, главные) точки лица и т.д.
Для научных антропометрических исследований ИЛ в режиме офлайн используются базы ИЛ с наборами опорных точек для них. Наиболее часто используемые базы: Base IMM (Face Images and Points Annotation) - Technical University of Denmark [9]; The Texas 3D Face Recognition Database [10, 11]; CUHK Face Sketch Database (CUFS) [12]; AR data set, XM2VTS data set и CUHK Face Sketch FERET Database (CUFSF) [13, 14].
Для научных и экспериментальных антропометрических исследований ИЛ в режиме онлайн используются профессиональные пакеты, включающие программы автоматического вычисления координат АПТ по заданным ИЛ (например, пакеты Luxand FaceSDK [15] и Portret Client 5.0 [16]). Однако наибольшей популярностью пользуются доступные программные средства из библиотек OpenCV и библиотеки машинного обучения Dlib. Эти библиотеки содержат программы детектирования лиц [17] и программы поиска координат3' 4 68 АПТ на лицах [18].
Задачи, решаемые в рамках цифровой лицевой антропометрии
Первый атлас измерений головы и лица в медицине опубликован в 1981 г., пересмотрен в 1994 г. и представлен в [7] как «Система черепно-лицевой антропометрии» Фаркаса. Эта система определяет исходный набор АПТ на ИЛ и 6 групп измерений, включающих антропометрику черепа, лица (Cranial, Facial) и четырех его частей: орбитальной, носовой, губной и ушной (Orbital, Nasal, Labial, Auricular). Современная лицевая морфометрия также опирается на систему антропометрии Фаркаса [10, 11].
Для задач, решаемых в рамках цифровой лицевой антропометрии, координаты АПТ {X, Y, Z} представляют первый уровень исходной информации по ИЛ. Расстояния между координатами составляют второй уровень информации по ИЛ, а отношения между расстояниями - третий.
2 ГОСТ Р ИСО/МЭК 19794-5-2006. Автоматическая идентификация. Идентификация биометрическая. Форматы обмена биометрическими данными. Часть 5. Данные изображения лица. М.: Стандартинформ, 2006. 42 с.
3 https://opencv.org/license.html
4 http://dlib.net/license.html
Например, базовые размеры головы, черепа и лица относятся ко второму уровню информации. На рис. 2 приведены пять базовых размеров головы и лица, соответствующие соглашению [19] об унификации краниометрических обозначений.
Рис. 2. Базовые размеры головы: область черепа и область лица [19]
При плоскопараллельном переносе ИЛ в поле сцены изменяется первый уровень информации, а второй и третий уровни информации полностью соответствуют друг другу.
Для одних и тех же изображений, имеющих разные линейные размеры, соответствующие расстояния будут разными, а соотношения между ними - одинаковыми. Параметром, нормирующим расстояния, в этом случае может служить отношение горизонтальных диаметров радужных оболочек глаз, и такая нормировка особенно важна в задачах лицевой и реконструктивной хирургии [20]. Если вычислить диаметр радужных оболочек глаз не представляется возможным, параметром нормировки для второго уровня может служить отношение расстояний между центрами глаз. На практике этот вариант параметра нормировки используется наиболее часто в задачах распознавания ИЛ.
Перечислим задачи, основанные на антропометрическом анализе лиц:
- изучение популяций, этнических групп, рас людей с оценкой статистических параметров по вариациям связанных координат АПТ [21-24];
- оценка параметров тендерного различия лиц в выделенных расах;
- количественная оценка изменений в лицах, предсказание и поиск закономерностей в этом изменении; оценка возраста и пола, моделирование закономерностей возрастных изменений [25-27];
- защита изображений лиц от машинного узнавания [28, 29];
- методы построения контурных (ASM), текстурных (ААМ) и 3D-моделей лиц [6, 11, 30-36];
- оценка меры привлекательности лиц [37-44];
- идентификация сигналов о болезнях по лицу, обнаружение синдромов Дауна и заячьей губы, исследование апноэ сна перед пластическими операциями [26, 45-54];
- поиск ассоциаций генов с морфологией лиц, их изменениями и параметрами;
- оценка стандартных параметров изображений лиц людей для дизайна конструкций, носимых на лице (маски, респираторы, шлемы) [55-57];
- сравнение изображений лиц между собой;
- распознавание эмоций по примитивам лица (бровей, глаз и рта), анализ эмоционального состояния, психотипа и пола человека [58, 59].
На рис. 3 показан пример АПТ, используемых для оценки привлекательности лиц мужчин [39]. Для решения этой задачи в табл. 2 приведены необходимые морфометрические параметры. Исходной предпосылкой являлось утверждение, что от маскулинности и симметрии лиц мужчины зависит привлекательность. Для проверки этого утверждения использовалось 13 метрических параметров и 11 параметров симметрии лиц. На их основе рассчитывалась параметрическая оценка, которая сравнивалась с визуальной, полученной от экспертов. В результате оказалось, что симметрия лица является определяющим фактором в привлекательности мужского лица.
Рис. 3. Антропометрические точки, по которым оценивалась привлекательность мужского лица [39]
В табл. 1 приведены унифицированные для краниометрии и лицевой биометрии обозначения ключевых точек лица.
Таблица 1. Параметры для оценки привлекательности мужского лица
Номера точек Наименование точек
1-2 Eye length
3-4 Inclination of eyes
5-6 Nostril width
7-8 Stomion-cheilion distance
9-10 Subnasal angle
11-12 Eye separation angle
13-14 Cheilion-stomion angle
15-16 Lower face area
17-18 Lower face perimeter
19-20 Pupil-medial facial distance
21-22 Pupil-subnasal height
Заметим также, что по АПТ и параметрам, приведенным на рис. 3 и в табл. 1, можно распознавать лица, поскольку они определяют индивидуальные характеристики, а также различать лица мужчин и женщин.
Морфотип, фенотип, гены и черты лица человека
Наследственные признаки проявляются в морфотипе и фенотипе человека. Фенотип формируется на базе генотипа, претерпевающего мутации под воздействием среды, в которой формируется люди. При этом межличностные изменения морфотипа лиц людей являются одним из наиболее заметных проявлений генетического регулирования.
Однако формализовать эту взаимосвязь не так просто: точно указать, какой конкретно ген влияет на конкретное изменение форм и примитивов лица, представляется достаточно сложной задачей. Поэтому связи между наборами генов в геноме и наборами изменений морфотипа лица рассматриваются путем поиска наиболее вероятных ассоциаций (GWA, Genome-wide Association) между этими явлениями. При этом изменения морфотипа лица можно фиксировать с помощью изменения координат АПТ лиц, а количественно оценивать их расстояниями между координатами АПТ. Границы, формы и размеры примитивов каждого отдельного лица описываются координатами АПТ и расстояниями между соответствующими координатами АПТ. И все эти исследования обычно выполняются на популяциях людей (расовых, этнических, региональных, возрастных...), что ускоряет поиск этих ассоциаций.
В работах [60-65] приведены наборы координат АПТ и расстояний между ними, используемые в поиске GWA. Так, в статье [60] исследуется влияние вариаций генов на нормальное изменение лица человека. Исходные данные морфотипа представлены 22 АПТ и 54 измерениями (расстояниями) между ними. Названия выбранных точек и весь набор расстояний приведен в табл. 2.
Объектом исследования была морфология лиц 15-летних подростков, для которых с помощью лазерных сканеров были построены 3D-модели их лиц. На 3D-моделях лиц были выделены 22 АПТ с координатами {X, Y, Z} и оценены 54 расстояния между координатами АПТ в парах XY, XZ, YZ. Эти 54 расстояния для каждого лица составили набор анализируемых морфологических данных. Далее был выполнен анализ главных компонент для данных, а выбранные 14 главных компонент, описывающих 82 % изменчивости исходных данных, были затем ассоциированы с искомыми геномами. В статье показано, какие из исследуемых генов наиболее сильно связаны с координатами АПТ (или расстояниями) и, следовательно, наиболее сильно влияют на морфотип лица. И в 2012 году был выявлен ряд GWA между наборами генов и морфотипом лица, и представлены гены, влияющие на форму человеческого лица. При этом были идентифицированы пять независимых генетических локусов (местоположений
определенного гена), связанных с различными чертами лица. И далее было подтверждено предположение об участии пяти генов (PRDM16, РАХ3, ТР63, С5ой50 и COL17A1) в формировании человеческого лица. Эти исследования, опубликованы в статье [61]. А полученные результаты стали первым серьезным шагом на пути к реконструкции лица по генетическому коду человека [62].
Таблица 2. Пример выбранных АПТ и 54 вычисленных расстояний по ним [60]
Точка Наименование точки Лоб и глаза Губы и рот Нос
g Glabella 1-22 g-men 12- -15 sn-ls 2-22 n-men
n Nasion 1-2 g-n 15 -16 ls-li 12-22 sn-men
enL Left endocanthion 3-4 enL-enR 16 -21 li-pg 2-11 n-pm
enR Right endocanthion 5-6 exL-exR 15 -21 ls-pg 2-12 n-sn
exL Left exocanthion 7-8 psL-psR 15 -17 ls-cphL 2-13 n-alL
exR Right exocanthion 9-10 piL-piR 15 -18 ls-cphR 2-14 n-alR
psL Left palpebrale superius 3-5 enL-exL 17 -18 cphL-cphR 13-14 alL-alR
psR Right palpebrale superius 4-6 enR-exR 19 -20 chL-chR 11-12 pm-sn
piL Left palpebrale inferius 7-9 psL-piL 19 -17 chL-cphL 11-13 pm-alL
piR Right palpebrale inferius 8-10 psR-piL 19 -16 chL-li 11-14 pm-alR
pm Pronasale 5-XZ exL-xz 20 -18 chR-cphR 12-13 sn-alL
sn Subnasale 6-XZ exR-xz 20 -16 chR-li 12-14 sn-alR
alL Left alare 5-XY exL-xy 15 -22 ls-men
alL Right alare 6-XY exR-xy 16 -22 li-men
ls Labiale superius 5-YZ exL-yz
li Labiale inferius 6-YZ exR-yz Подбородок
cphL Left crista philtra 3-XZ enL-xz 21-22 pg-men
cphR Right crista philtri 4-XZ enR-xz 21-1 pg-g
chL Left cheilion 3-XY enL-xy 21-2 pg-n
chR Right cheilion 4-XY enR-xy 21-12 pg-sn
pg Pogonion 3-YZ enL-yz 21-19 pg-chL
men Mid-endocanthion point 4-YZ enR-yz 21-20 pg-chR
Работа выполнялась исследователями из различных областей медицины, генетики и функциональной геномики, судебной молекулярной биологии, радиологии, нейрологии и ряда других смежных дисциплин.
В работе [63] рассматривалось, как изменение в конкретных частях генома соотносится с отличительными чертами лица. Например, размер и форма носа или то, как далеко разнесены глаза. Набор координат АПТ и расстояния между ними, используемые в экспериментах, представлены на рис. 4. Процесс поиска GWA в [63] включал: общий анализ генома 3118 людей без выраженных отклонений; вычисление 20 расстояний лица по 3Б-моделям лиц этих людей. Далее изучались связи между генетическими вариантами во всем геноме и набором измерений лицевой формы. В результате выполненных исследований обнаружены и представлены доказательства существования GWA с параметрами челюстно-лицевых измерений.
На сегодняшний день учеными представлены 15 генов, влияющих на форму человеческого лица. Затем были определены 7 локусов генов, отвечающих за формирование носа человека. Эти результаты были представлены в работах [64, 65]. В целом, как показали выполненные исследования, от генов зависел охват головы и размеры скул и носовых мышц, однако для всех исследуемых популяций людей, гены больше всего влияют на области вокруг губ, форму кончика носа, уголки глаз (расстояния между глазами).
Рис. 4. Координаты антропометрических точек и 20 расстояний, используемых в поиске ассоциации генов и черт лица [63]: 1 - расстояние от козелка уха до самой высокой точки переносицы; 2 - высота носа; 3 - ширина лица (черепа); 4 - расстояние между глазами; 5 - ширина носа
Для уменьшения исходного объема данных и исключения экспериментального и информационного шума были использованы методы редукции размерности исходного признакового пространства - от анализа главных компонент (PCA, Principal Component Analysis) до канонического корреляционного анализа (CCA, Canonical Correlation Analysis). PCA реализует редукцию размерности одного общего набора данных и их аппроксимацию с минимумом информационных потерь в данных. Метод CCA позволяет выполнить: редукцию размерности двух наборов исходных данных и выявить корреляцию между слабосвязанными данными - геномами и изменением форм и примитивов лица. Рекомендации по решению этих проблем в задачах GWA можно найти в работе [66], а в задачах обработки изображений, сопутствующим задачам GWA, - в [67]. Подобные задачи рассматриваются и решаются также в рамках «многомерной биологии» и «многомерной медицины» [68].
«Лица Чернова» и когнитивная компьютерная графика
Люди хорошо распознают друг друга по лицам и легко замечают даже небольшие изменения в них. Эту способность людей использовал американский ученый в области прикладной математики -Герман Чернов. В 1973 г. он опубликовал статью [69], в которой показал возможность применения изображений лиц для визуализации многомерных данных. Суть идеи состоит в следующем: примитивы «лиц Чернова» (нос, глаза, рот и т.д.) ассоциированы с определенными переменными исходных данных, а их значения (или изменение) определяет размер и положение соответствующих примитивов на области лица. Кроме примитивов лиц используются также его характеристики, например, размер (длина носа, угол между примитивами, ширина лица), форма, симметрия. «лица Чернова» широко используются в технике и науке, а сами модели «лиц Чернова» улучшаются [70].
В последнее время к идеям визуализации [69] проявили интерес и в медицине, где «лица Чернова» используются для визуализации наблюдений за пациентами [71, 72].
В медицине объектом исследования и наблюдения являются физические и физиологические данные пациентов. Автоматическое представление таких данных в виде «лиц Чернова» позволяет врачу мгновенно оценить или определить текущее состояние пациента или результат его лечения. Например, для сравнения состояния пациентов левая сторона «лица Чернова» строится по значениям параметров «до лечения», а правая - «после лечения».
В табл. 3 приведены некоторые морфометрические параметры, предназначенные для описания формы «лиц Чернова» и ее изменения.
Таблица 3. Параметры «лиц Чернова» и варианты их отображения [71, 72]
Морфометрические параметры лица пациента
Координаты центра лица
Высота бровей
Ширина лица
Наклон бровей
Лицевая полувысота
Длина бровей
Длина глаза
Длина носа
Высота глазного центра
Ширина носа
Расстояние между глазами
Длина рта
Наклон глаз
Уровень уха
Эксцентриситет глаз
Радиус уха
Положение зрачка
Наклон волос
Значения наблюдаемых параметров лица
нормальные значения (пациент здоров)
худшие значения (пациент болен)
i
При этом новые, более совершенные модели «лиц Чернова» описываются уже десятками параметров, в них используется цветовая гамма и плавно меняющаяся динамика лиц и границы примитивов лица [73]. Пример таких лиц приведен на рис. 5.
Из [73] следует, что автоматизация процессов синтеза «лиц Чернова» и управления ими может быть основана и реализована на методах цифровой лицевой антропометрии!
Рис. 5. «Лица Чернова» с цветовой гаммой и динамикой лиц [73]
Феномен человеческого лица - эмоции, пол и психотип человека
В книге [74] автор утверждает, что главные элементы лица человека: брови, глаза и рот, принимая четыре образа, строго соотносятся с двоичным кодом, который изображают посредством целых и прерванных (разделенных) черточек в гексаграммах И Цзин [75, 76]. Поскольку гексаграмма содержит шесть черточек, расположенных вертикально одна над другой и считываемых снизу-вверх, то каждое эмоциональное состояние человека можно записать бинарной последовательностью, состоящей из 6 битов.
Так, на рис. 6 показаны брови, глаза и рот, принимающие по четыре разных образа. Каждому образу соответствует две черточки гексаграммы и соответствующее им число битов [74].
Рис. 6. Образы примитивов лица человека и соответствующие им формы гексаграмм И Цзин и число битов
7 представлены четыре ИЛ в различном эмоциональном состоянии - от спокойно-(а), до восторженного (г). Под ИЛ показаны гексаграммы и двоичные коды, соответствующие их эмоциональным состояниям, а под ними - порядковые номера этих эмоциональных состояний.
На рис. нейтрального
1 . л ! зе-з
№ 1
№ 22 :
№ 43:
№ 64 :
000000 101010 010101 111111
а б в г
Рис. 7. Изображения лиц в различном эмоциональном состоянии и соответствующие им гексаграммы И Цзин [74]
64 эмоциональных состояния можно представить линейной шкалой, пронумеровав, что может быть удобно при поиске соответствий их описаний в процессе решения задач распознавании эмоций на лицах. А на основе этих результатов можно представить и психотип человека [74].
Используя методы цифровой лицевой антропометрии, можно определить границы областей бровей, глаз и рта на ИЛ и представить образ соответствующим двоичным кодом. Дальше надо перейти к десятичному номеру эмоционального состояния и обратиться к «линейной шкале» его индекса.
На рис. 8 приведен пример автоматического определения координат АПТ для разных эмоциональных состояний на ИЛ.
Рис. 8. Пример определения координат антропометрических точек для разных эмоциональных состояний
На рис. 8 видно, что границы формы бровей, глаз и области рта определены достаточно точно для узнавания образов-состояний этих примитивов лица. Результат получен авторами настоящей статьи в среде пакета МАГЬАБ (реализован метод [18]), а исходные ИЛ взяты из книги [74]. И, как видно, проанализировав АПТ и оценив состояние и движение бровей, глаз и рта можно распознавать эмоций людей по ИЛ.
А по динамике улыбки человека и движению скуловых мышц можно узнать и пол человека [77, 78]. Для этого необходимо определить на лице 49 координат АПТ, главным образом - вокруг глаз, носа и рта. Области интересов на лице, АПТ лица и триангуляционная модель губ, использованные в [77], представлены на рис. 9. Исходная предпосылка исследования: лицо значительно изменяется в момент, когда человек начинает улыбаться. При этом динамика и амплитуда движения мышц в выделенных областях лица будут разными для мужчин и женщин. В этом и состоит ключ к распознаванию пола улыбающегося человека.
Рис. 9. Области лица, антропометрических точек и триангуляционная модель губ, используемые в задаче распознавания пола человека по улыбке [77]
Особые случаи распознавания изображений лиц
С помощью лицевой антропометрии и динамики выражения лица можно распознать и/или предсказать психотип человека, в частности, с применением алгоритмов искусственного интеллекта, реализованных в проектах глубокого обучения Convolutional Neural Network (CNN) и Deep Neural Network (Deep NN). Так, нейронные сети научили определять по лицу психотип людей, а по ним - черты характера и эмоциональное состояние [78-81]. При этом исходными данными, на которых обучалась Deep NN, были и ИЛ, и координаты АПТ лиц людей.
Однако существуют особые случаи представления ИЛ на входах систем глубокого обучения. В этих случаях (рис. 10) для нахождения областей ИЛ на исходных сценах и для представления ИЛ в признаковом подпространстве используются методы цифровой лицевой антропометрии. Так, метод [18] позволяет найти все АПТ лиц для всех случаев. Координаты АПТ по осям X и Y на сценах определяют границы интересующих областей ИЛ. Также можно использовать традиционные методы [82-84] и методы глубокого обучения. Следует отметить, что методы распознавания ИЛ с использованием глубокого обучения основаны на комплексировании Deep NN и детерминистических методов, что позволяет существенно сократить число слоев Deep NN, сократить время обучения.
Как бы ни были хороши результаты, получаемые системами глубокого обучения, они обычно позволяют выполнять распознавание ИЛ в видимом свете и практически непригодны в особых случаях представления ИЛ (см. рис. 10):
а) распознавание ИЛ в условиях нестабильного освещения - бликов, локальных и глобальных теней [82]. В таких условиях из-за наложения бликов и локальных теней возникает искажение пропорций лиц и границ примитивов на них, а также полностью отсутствует информация о части лица из-за полного затемнения;
б) поиск людей по фотороботам в условиях полного отсутствия текстуры у них [83, 84] или несоответствия текстур в парах фоторобот/фото. При этом условии полностью отсутствует информация о фенотипе лица, которое представляет фоторобот;
в) поиск лиц футбольных фанатов в сценах со стадионов и фан-клубов, когда лица закрашены или скрыты под масками. Такие ИЛ характеризуются полным отсутствием информации о фенотипе, а также потерей информации о примитивах и их границах, что прежде всего затрудняет детекцию лиц из исходных сцен и/или полную возможность их распознавания.
Рис. 10. Использование цифровой лицевой антропометрии в задачах представления изображения лиц в особых случаях
Приведенные выше примеры ИЛ из бенчмарковых баз The Yale Face Database B, CUFS [13] и базы «Фанаты в масках», собранной авторами настоящей статьи из фото- и видеоматериалов Чемпионата Мира по футболу в России в 2018 году.
Цифровая лицевая антропометрия и интернет вещей
В статье [5] отмечалось, что технологии штрихового кодирования в XXI веке стали использоваться в повседневной жизни. Типичный пример - интерактивный процесс регистрации, в котором человек выступает как покупатель (заказываемого товара или билета...), как пассажир (аэропорта или вокзала), как пациент медучреждения, как турист при переходе через пограничный пункт пропуска, как пользователь системы контроля доступа к информационным или материальным ресурсам. При этом каждое такое действие или состояние человека сопровождается созданием (генерацией), получением, чтением и/или контролем штрихкода, ассоциированного только с конкретным человеком.
Биометрический штриховой код [5] содержит необходимую текстовую информацию о нем (ФИО, год и место рождения, адрес...), его изображение лица анфас, координаты АПТ для этого лица, и, возможно, силуэт лица в профиль. В качестве дополнительной информации биометрический штриховой код может содержать и характеристику фенотипа. В рамках задач лицевой биометрии и ее приложений это можно рассматривать как цифровой портрет (паспорт). Не выходя из дома/офиса (или находясь в пути), возможно проходить онлайн-регистрацию, используя находящийся в Общем банке биометрических штриховых кодов (BIO QR-код) цифровой лицевой портрет.
На рис. 11 проиллюстрированы возможности интерактивного контакта человека с различными системами (банковскими, медицинскими, архивными, музейными и библиотечными), встречающимися в интернете вещей [85], а также со специальными службами и госорганами. Цифровой портрет может быть сформирован самим человеком или получен из госорганов.
Транзакции Доступ к ресурсам
Онлайн-банкинг
L
Краниометрия -реконструкция облика людей,
поиск преступников
Криминалистика
Банк BIO QR-кодов
Медицина
Морфология и морфометрия лиц
Оценка возрастных изменений лиц
Поиск Genome-wide Association
Лицевая биометрия
ц
/ii
Хирургия
К
\\
Челюстно-лицевая Пластическая
Телемедицина -
Диагностика заболеваний
f
А h
Рис. 11. Интернет вещей и возможности интерактивного контакта человека
Заключение
Представлен аналитический обзор применения цифровой лицевой антропометрии в научных и практических задачах. Рассмотрены понятия морфотипа и фенотипа лица; задачи морфологии и морфо-метрии как базовых средств цифровой лицевой антропометрии; задачи поиска ассоциаций между наборами генов в геноме и чертами лица человека; задачи оценки привлекательности лиц; связь лицевой антропометрии с «лицами Чернова» и когнитивной компьютерной графикой, используемой в практической медицине; феномен человеческого лица и проблема определения эмоций, пола и психотипа; особые случаи задач распознавания изображений лиц, способы их решения в рамках цифровой лицевой антропометрии и примеры их решения. Кроме этого, отмечается связь цифровой лицевой антропометрии и интернета вещей как современного мира человека XXI века.
Литература
1. Бертильонаж - искусство идентификации [Электронный ресурс]. Режим доступа: http://kriminalisty.ru/stati/istorija-kriminalistiki/bertilyonaj.html, свободный. Яз. рус. (дата обращения 10.12.2018).
2. Герасимов М.М. Основы восстановления лица по черепу. М.: Советская наука, 1949. 190 с.
3. Мареев О.В., Николенко В.Н., Алешина О.Ю. Компьютерная краниометрия с помощью современных технологий в медицинской краниологии // Морфологические ведомости. 2015. № 1. С. 49-54.
4. Jayaratne Y., Zwahlen R. Application of digital anthropometry for craniofacial assessment // Craniomaxillofacial Trauma and Reconstruction. 2014. V. 7. N 2. Р. 101-107. doi: 10.1055/s-0034-1371540
5. Кухарев Г.А., Казиева Н., Цымбал Д.А. Технологии штрихового кодирования для задач лицевой биометрии: современное состояние и новые решения // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. N° 1. С. 72-86. doi: 10.175 86/2226-1494-2018-18-1 -72-86
6. DeCarlo D., Metaxas D., Stone M. An anthropometric face model using variational techniques // Proc. 25th Annual Conf. on Computer Graphics and Interactive Techniques. New York, USA, 1998. P. 67-74. doi: 10.1145/280814.280823
7. Deutsch C.K., Shell A.R., Francis R.W., Birs B.D. The Farkas system of craniofacial anthropometry: methodology and
References
1. Bertilonazh - the art of identification. Available at: // kriminahsty.m/stati/i storij a-kriminalistiki/bertilyonaj.html (accessed: 10.12.2018).
2. Gerasimov M.M. Basis of Facial Reconstruction on the Skull. Moscow, Sovetskaya Nauka Publ., 1949, 190 p. (in Russian)
3. Mareev O.V., Nikolenko V.N., Aleshkina O.U. Computer craniometry with the help of modern technology in medical craniology. Morphological Newsletter, 2015, no. 1, pp. 49-54. (in Russian)
4. Jayaratne Y., Zwahlen R. Application of digital anthropometry for craniofacial assessment. Craniomaxillofacial Trauma and Reconstruction, 2014, vol. 7, no. 2, pp. 101-107. doi: 10.1055/s-0034-1371540
5. Kukharev G.A., Kaziyeva N., Tsymbal D.A. Barcoding technologies for facial biometrics: current status and new solutions. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018, vol. 18, no. 1, pp. 72-86 (in Russian). doi: 10.17586/2226-1494-2018-18-1-72-86
6. DeCarlo D., Metaxas D., Stone M. An anthropometric face model using variational techniques. Proc. 25th Annual Conf. on Computer Graphics and Interactive Techniques. New York, USA, 1998, pp. 67-74. doi: 10.1145/280814.280823
7. Deutsch C.K., Shell A.R., Francis R.W., Birs B.D. The Farkas system of craniofacial anthropometry: methodology and normative databases. In Handbook of Anthropometry. Springer, 2012, pp. 561-573. doi 10.1007/978-1-4419-1788-1_29
normative databases / In: Handbook of Anthropometry. Springer, 2012. P. 561-573. doi 10.1007/978-1-4419-1788-1_29
8. Aynechia N., Larson B.E., Leon-Salazar V., Beiraghi S. Accuracy and precision of a 3D anthropometric facial analysis with and without landmark labeling before image acquisition // Angle Orthodontist. 2011. V. 81. N 2. P. 245-252. doi: 10.2319/041810-210.1
9. Stegmann M.B. Analysis and Segmentation of Face Images using Point Annotations and Linear Subspace Techniques // Technical report. 2002. 25 p. [Электронный ресурс]. Режим доступа:
http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/ 922/pdf/imm922.pdf, свободный. Яз. анг. (дата обращения: 02.01.2019).
10. Gupta S., Castleman K.R., Markey M.K., Bovik A.C. Texas 3D face recognition database // Proc. IEEE Southwest Symposium on Image Analysis and Interpretation. Austin, USA, 2010. P. 97-100. doi: 10.1109/SSIAI.2010.5483908
11. Gupta S., Markey M.K., Bovik A.C. Anthropometric 3D face recognition // International Journal of Computer Vision. 2010. V. 90. N 3. Р. 331-349. doi: 10.1007/s11263-010-0360-8
12. CUHK Face Sketch Database (CUFS) [Электронный ресурс]. Режим доступа: http://mmlab.ie.cuhk.edu.hk/archive/ facesketch.html, свободный. Яз. анг. (дата обращения 03.01.2019).
13. CUHK Face Sketch FERET Database (CUFSF) [Электронный ресурс]. Режим доступа: http://mmlab.ie.cuhk.edu.hk/archive/cufsf/, свободный. Яз. анг. (дата обращения: 03.01.2019).
14. Wang X., Tang X. Face photo-sketch synthesis and recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2009. V. 31. N 11. P. 1955-1967. doi: 10.1109/TPAMI.2008.222
15. Luxand - Face Recognition, Face Detection and Facial Feature Detection Technologies [Электронный ресурс]. Режим доступа: http://www.luxand.com, свободный. Яз. анг. (дата обращения: 04.01.2019).
16. Пакет «Portret Client 5.0». Системы «Портрет-Поиск» [Электронный ресурс]. Режим доступа: http://www.portret.tomsk.ru/index.php ?page=products. свободный. Яз. рус. (дата обращения: 04.01.2019).
17. Viola P., Jones M.I. Robust real-time face detection // International Journal of Computer Vision. 2004. V. 57. N 2. Р. 137-154. doi: 10.1023/B:VISI.0000013087.49260.fb
18. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees // Proc. 27th IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA, 2014. Р. 1867-1874. doi: 10.1109/CVPR.2014.241
19. Torres-Restrepo A.M. et al. Agreement between cranial and facial classification through clinical observation and anthropometric measurement among envigado school children // BMC Oral Health. 2014. V. 14. N 1. Р. 50-57. doi: 10.1186/1472-6831-14-50
20. Driessen P.J., Vuyk H., Borgstein J. New insights into facial anthropometry in digital photographs using iris dependent calibration // International Journal of Pediatric Otorhinolaryngology. 2011. V. 75. N 4. Р. 579-584. doi: 10.1016/j.ijporl.2011.01.023
21. Farkas L.G., Katic M.J., Forrest C.R. et al. International anthropometric study of facial morphology in various ethnic groups/races // Journal of Craniofacial Surgery. 2005. V. 16. N 4. P. 615-646. doi: 10.1097/01.scs.0000171847.58031.9e
22. Ramires R.R. et al. Proposal for facial type determination based on anthropometry // Jornal Da Sociedade Brasileira De Fonoaudiologia. 2011. V. 23. N 3. P. 195-200. doi: 10.1590/S2179-64912011000300003
23. Arapovic-Savic M. et al. Linear measurements of facial morphology using automatic aproach // Serbian Dental Journal. 2016. V. 63. N 2. doi: 10.1515/sdj-2016-0007
24. Mackenzie S., Wilkinson C. Morphological and morphometric changes in the faces of female-to-male (FtM) transsexual people // International Journal of Transgenderism. 2017. V. 18. N 2. P. 172-181. doi: 10.1080/15532739.2017.1279581
25. Ramanathan N., Chellappa R. Modeling age progression in young faces // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York, 2006.
8. Aynechia N., Larson B.E., Leon-Salazar V., Beiraghi S. Accuracy and precision of a 3D anthropometric facial analysis with and without landmark labeling before image acquisition. Angle Orthodontist, 2011, vol. 81, no. 2, pp. 245-252. doi: 10.2319/041810-210.1
9. Stegmann M.B. Analysis and Segmentation of Face Images using Point Annotations and Linear Subspace Techniques. Technical report, 2002, 25 p. Available at: http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/922/ pdfimm922.pdf (accessed: 02.01.2019).
10. Gupta S., Castleman K.R., Markey M.K., Bovik A.C. Texas 3D face recognition database. Proc. IEEE Southwest Symposium on Image Analysis and Interpretation. Austin, USA, 2010, pp. 97-100. doi: 10.1109/SSIAI.2010.5483908
11. Gupta S., Markey M.K., Bovik A.C. Anthropometric 3D face recognition. International Journal of Computer Vision, 2010, vol. 90, no. 3, pp. 331-349. doi: 10.1007/s11263-010-0360-8
12. CUHK Face Sketch Database. Available at: http://mmlab.ie.cuhk.edu.hk/facesketch.html (accessed 03.01.2019).
13. CUHK Face Sketch FERET Database (CUFSF). Available at: http://mmlab.ie.cuhk.edu.hk/archive/cufsi/ (accessed: 03.01.2019).
14. Wang X., Tang X. Face photo-sketch synthesis and recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, vol. 31, no. 11, pp. 1955-1967. doi: 10.1109/TPAMI.2008.222
15. Luxand - Face Recognition, Face Detection and Facial Feature Detection Technologies. Available at: http://www.luxand.com (accessed: 04.01.2019).
16. Software "Portret Client 5.0". System "Portrait-Search". Available at: http://www.portret.tomsk.ru/index.php?page=products (accessed: 04.01.2019).
17. Viola P., Jones M.I. Robust real-time face detection. International Journal of Computer Vision, 2004, vol. 57, no. 2, pp. 137-154. doi: 10.1023/B:VISI.0000013087.49260.fb
18. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees. Proc. 27th IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA, 2014, pp. 1867-1874. doi: 10.1109/CVPR.2014.241
19. Torres-Restrepo A.M. et al. Agreement between cranial and facial classification through clinical observation and anthropometric measurement among envigado school children. BMC Oral Health, 2014, vol. 14, no. 1, pp. 50-57. doi: 10.1186/1472-6831-14-50
20. Driessen P.J., Vuyk H., Borgstein J. New insights into facial anthropometry in digital photographs using iris dependent calibration. International Journal of Pediatric Otorhinolaryngology, 2011, vol. 75, no. 4, pp. 579-584. doi: 10.1016/j.ijporl.2011.01.023
21. Farkas L.G., Katic M.J., Forrest C.R. et al. International anthropometric study of facial morphology in various ethnic groups/races. Journal of Craniofacial Surgery, 2005, vol. 16, no. 4, pp. 615-646. doi: 10.1097/01.scs.0000171847.58031.9e
22. Ramires R.R. et al. Proposal for facial type determination based on anthropometry. Jornal Da Sociedade Brasileira De Fonoaudiologia, 2011, vol. 23, no. 3, pp. 195-200. doi: 10.1590/S2179-64912011000300003
23. Arapovic-Savic M. et al. Linear measurements of facial morphology using automatic aproach. Serbian Dental Journal, 2016, vol. 63, no. 2. doi: 10.1515/sdj-2016-0007
24. Mackenzie S., Wilkinson C. Morphological and morphometric changes in the faces of female-to-male (FtM) transsexual people. International Journal of Transgenderism, 2017, vol. 18, no. 2, pp. 172-181. doi: 10.1080/15532739.2017.1279581
25. Ramanathan N., Chellappa R. Modeling age progression in young faces. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York, 2006. doi: 10.1109/cvpr.2006. 187
26. Sforza C., Grandi G., Menezes M. et al. Age- and sex-related changes in the normal human external nose. Forensic Science International, 2010, vol. 204, no. 1-3, pp. 205.e1-205.e9. doi: 10.1016/j.forsciint.2010.07.027
27. Kumar S., Ranjitha S., Suresh H.N. An active age estimation of facial image using anthropometric model and fast ICA. Journal of Engineering Science and Technology Review, 2017, vol. 10, no. 1, pp. 100-106. doi: 10.25103/jestr.101.14
28. Du L. et al. GARP-Face: balancing privacy protection and utility
doi: 10.1109/cvpr.2006.187
26. Sforza C., Grandi G., Menezes M. et al. Age- and sex-related changes in the normal human external nose // Forensic Science International. 2010. V. 204. N 1-3. P. 205.e1-205.e9. doi: 10.1016/j.forsciint.2010.07.027
27. Kumar S., Ranjitha S., Suresh H.N. An active age estimation of facial image using anthropometric model and fast ICA // Journal of Engineering Science and Technology Review. 2017. V. 10. N 1. P. 100-106. doi: 10.25103/jestr.101.14
28. Du L. et al. GARP-Face: balancing privacy protection and utility preservation in face de-identification // IEEE International Joint Conference on Biometrics. Clearwater, USA, 2014. doi: 10.1109/BTAS.2014.6996249
29. De la Torre F., Cohn J.F., Huang D. System and Method for Processing Video to Provide Facial De-Identification. Patent US 9799096 B1. 2017.
30. Lanitis A., Taylor C.J., Cootes T.F. Automatic interpretation and coding of face images using flexible models // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. V. 19. N 7. P. 743-756. doi: 10.1109/34.598231
31. Cootes T.F., Edwards G.J., Taylor C.J. Active appearance models // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2001. V. 23. N 6. P. 681-685. doi: 10.1109/34.927467
32. Sucontphunt T., Neumann U. 3D facial surface and texture synthesis using 2D landmarks from a single face sketch // Proc. 2nd Int. Conf. on 3D Imaging, Modeling, Processing, Visualization and Transmission. 2012. P. 152-159. doi: 10.1109/3DIMPVT.2012.65
33. Sforza C. et al. Three-dimensional facial morphometry: from anthropometry to digital morphology / In: Handbook of Anthropometry: Physical Measures of Human Form in Health and Disease. Springer, 2012. P. 611-624. doi: 10.1007/978-1-4419-1788-1_32
34. Krutikova O., Glaz A. Development of a new method for adapting a 3D model from a minimum number of 2D images // Technologies of Computer Control. 2013. V. 14. P. 12-17.
35. Truong P.H., Park C.W., Lee M. et al. Rapid implementation of 3D facial reconstruction from a single image on an android mobile device // KSII Transactions on Internet and Information Systems. 2014. V. 8. N 5. P. 1690-1710. doi: 10.3837/tiis.2014.05.011
36. Sforza C., Ferrario V.F. Soft-tissue facial anthropometry in three dimensions: from anatomical landmarks to digital morphology in research, clinics and forensic anthropology // Journal of Anthropological Sciences. 2006. V. 84. P. 97-124.
37. Schmid K., Marx D., Samal A. Computation of a face atractiveness index based on neoclassical canons, symmetry, and golden ratios // Pattern Recognition. 2008. V. 41. N 8. P. 2710-2717. doi: 10.1016/j.patcog.2007.11.022
38. Pallett P.M., Link S., Lee K. New "golden" ratios for facial beauty // Vision Research. 2010. V. 50. N 2. P. 149-154. doi: 10.1016/j .visres.2009.11.003
39. Soler C. et al. Male facial anthropometry and attractiveness // Perception. 2012. V. 41. N 10. Р. 1234-1245. doi: 10.1068/p7214
40. Milutinovic J., Zelic K., Nedeljkovic N. Evaluation of facial beauty using anthropometric proportions // The Scientific World Journal. 2014. V. 2014. doi: 10.1155/2014/428250
41. Alam M.K., Mohd Noor N.F., Basri R., Yew T.F., Wen T.H. Multiracial facial golden ratio and evaluation of facial appearance // PLoS ONE. 2015. V. 10. N 11. Art. e0142914 doi: 10.1371/journal.pone.0142914
42. Zhang. D., Chen F., Xu Y. Typical facial beauty analysis / In: Computer Models for Facial Beauty Analysis. Springer, 2016. P. 19-31. doi: 10.1007/978-3-319-32598-9_2
43. Prendergast P.M. Facial proportions / In: Advanced Surgical Facial Rejuvenation: Art and Clinical Practice. Springer, 2012. P. 15-22. doi: 10.1007/978-3-642-17838-2_2
44. Искорнев А. Гармонизация лица // Эстетическая медицина. 2017. Т. 16. № 3. С. 265-271.
45. Bagic I., Verzak Z. Craniofacial anthropometric analysis in Down's syndrome patients // Collegium Antropologicum. 2003. V. 27. N 2. Р. 23-30.
46. Ferrario V.F., Dellavia C., Colombo A., Sforza C. Three-dimensional assessment of nose and lip morphology in
preservation in face de-identification. IEEE International Joint Conference on Biometrics. Clearwater, USA, 2014. doi: 10.1109/BTAS .2014.6996249
29. De la Torre F., Cohn J.F., Huang D. System and Method for Processing Video to Provide Facial De-Identification. Patent US 9799096 B1, 2017.
30. Lanitis A., Taylor C.J., Cootes T.F. Automatic interpretation and coding of face images using flexible models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, vol. 19, no. 7, pp. 743-756. doi: 10.1109/34.598231
31. Cootes T.F., Edwards G.J., Taylor C.J. Active appearance models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, vol. 23, no. 6, pp. 681-685. doi: 10.1109/34.927467
32. Sucontphunt T., Neumann U. 3D facial surface and texture synthesis using 2D landmarks from a single face sketch. Proc. 2nd Int. Conf. on 3D Imaging, Modeling, Processing, Visualization and Transmission, 2012, pp. 152-159. doi: 10.1109/3DIMPVT.2012.65
33. Sforza C. et al. Three-dimensional facial morphometry: from anthropometry to digital morphology. In Handbook of Anthropometry: Physical Measures of Human Form in Health and Disease. Springer, 2012, pp. 611-624. doi: 10.1007/978-1-4419-1788-1_32
34. Krutikova O., Glaz A. Development of a new method for adapting a 3D model from a minimum number of 2D images. Technologies of Computer Control, 2013, vol. 14, pp. 12-17.
35. Truong P.H., Park C.W., Lee M. et al. Rapid implementation of 3D facial reconstruction from a single image on an android mobile device. KSII Transactions on Internet and Information Systems, 2014, vol. 8, no. 5, pp. 1690-1710. doi: 10.3837/tiis.2014.05.011
36. Sforza C., Ferrario V.F. Soft-tissue facial anthropometry in three dimensions: from anatomical landmarks to digital morphology in research, clinics and forensic anthropology. Journal of Anthropological Sciences, 2006, vol. 84, pp. 97-124.
37. Schmid K., Marx D., Samal A. Computation of a face atractiveness index based on neoclassical canons, symmetry, and golden ratios. Pattern Recognition, 2008, vol. 41, no. 8, pp. 2710-2717. doi: 10.1016/j.patcog.2007.11.022
38. Pallett P.M., Link S., Lee K. New "golden" ratios for facial beauty. Vision Research, 2010, vol. 50, no. 2, pp. 149-154. doi: 10.1016/j .visres.2009.11.003
39. Soler C. et al. Male facial anthropometry and attractiveness. Perception, 2012, vol. 41, no. 10, pp. 1234-1245. doi: 10.1068/p7214
40. Milutinovic J., Zelic K., Nedeljkovic N. Evaluation of facial beauty using anthropometric proportions. The Scientific World Journal, 2014, vol. 2014. doi: 10.1155/2014/428250
41. Alam M.K., Mohd Noor N.F., Basri R., Yew T.F., Wen T.H. Multiracial facial golden ratio and evaluation of facial appearance. PLoS ONE, 2015, vol. 10, no. 11, art. e0142914 doi: 10.1371/journal.pone.0142914
42. Zhang. D., Chen F., Xu Y. Typical facial beauty analysis. In Computer Models for Facial Beauty Analysis. Springer, 2016, pp. 19-31. doi: 10.1007/978-3-319-32598-9_2
43. Prendergast P.M. Facial proportions. In Advanced Surgical Facial Rejuvenation: Art and Clinical Practice. Springer, 2012, pp. 15-22. doi: 10.1007/978-3-642-17838-2_2
44. Iskornev A. Face harmonization. Esteticheskaya Meditzina, 2017, vol. 16, no. 3, pp. 265-271. (in Russian)
45. Bagic I., Verzak Z. Craniofacial anthropometric analysis in Down's syndrome patients. Collegium Antropologicum, 2003, vol. 27, no. 2, pp. 23-30.
46. Ferrario V.F., Dellavia C., Colombo A., Sforza C. Three-dimensional assessment of nose and lip morphology in subjects with Down syndrome. Annals of Plastic Surgery, 2004, vol. 53, no. 6, pp. 577-583. doi: 10.1097/01.sap.0000130702.51499.6b
47. Starbuck J., Reeves R.H., Richtsmeier J. Morphological integration of soft-tissue facial morphology in Down syndrome and siblings. American Journal of Physical Anthropology, 2011, vol. 146, no. 4, pp. 560-568. doi: 10.1002/ajpa.21583
48. Jayaratne Y.S.N. et al. The facial morphology in Down syndrome: a 3D comparison of patients with and without obstructive sleep apnea. American Journal of Medical Genetics Part A, 2017, vol. 173, no. 11, pp. 3013-3021. doi:
subjects with Down syndrome // Annals of Plastic Surgery. 2004. V. 53. N 6. P. 577-583. doi: 10.1097/01.sap.0000130702.51499.6b
47. Starbuck J., Reeves R.H., Richtsmeier J. Morphological integration of soft-tissue facial morphology in Down syndrome and siblings // American Journal of Physical Anthropology. 2011. V. 146. N 4. P. 560-568. doi: 10.1002/ajpa.21583
48. Jayaratne Y.S.N. et al. The facial morphology in Down syndrome: a 3D comparison of patients with and without obstructive sleep apnea // American Journal of Medical Genetics Part A. 2017. V. 173. N 11. P. 3013-3021. doi: 10.1002/ajmg.a.38399
49. Yilmaz A., Akcaalan M. What can anthropometric measurements tell us about obstructive sleep apnoea? // Folia Morphologica. 2017. V. 76. N 2. P. 301-306. doi: 10.5603/FM.a2016.0058
50. Dering L.M. et al. Evaluation of anthropometric facial landmarks in woman with blepharophimosis, ptosis, and epicanthus inversus syndrome // RSBO. 2017. V. 14. N 3. P. 147-151.
51. Axelsson J. et al. Identification of acutely sick people and facial cues of sickness // Proceedings of the Royal Society B: Biological Sciences. 2018. V. 285. N 1870. doi: 10.1098/rspb.2017.2430
52. Naimi A.J. et al. Investigating the relationship between major thalassemia diseases with anthropometric sizes of head and facial soft tissue // Bioscience Biotechnology Research Communications. 2017. V. 10. N 2. P. 233-240. doi: 10.21786/bbrc/10.2/40
53. Farkas L.G., Katic M.J., Hreczko T.A. et al. Anthropometric proportions in the upper lip-lower lip-chin area of the lower face in young white adults // American Journal of Orthodontics. 1984. V. 86. N 1. P. 52-60. doi: 10.1016/0002-9416(84)90276-8
54. Etöz A. Anthropometric analysis of the nose / In: Rhinoplasty. Ed. M. Brenner. In Tech, 2011. P. 3-10. doi: 10.5772/27218
55. Mârcio F. Catapan, et al. Anthropometric analysis of human head to identification of height in proper use of ballistic helmets // Proc. 5th Int. Conf. on Applied Human Factors and Ergonomics. 2014. 12 p.
56. Goto L., et al. Analysis of a 3D anthropometric data set of children for design application // Proc. 19th Triennial Congress of the IEA. Melbourne, Australia, 2015.
57. Fenlon R. Facial respirator shape analysis using 3D anthropometric data // NIST Interagency. Internal Report. 2007. 18 p.
58. Jarkiewicz J., kocielnic R., Marasek K. Anthropometric facial emotion recognition // Lecture Notes in Computer Science. 2009. V. 5611. P. 188-197. doi: 10.1007/978-3-642-02577-8_21
59. Loconsole C. et al. Real-time emotion recognition: novel method for geometrical facial features extraction // Proc. Int. Conf. on Computer Vision Theory and Applications. 2014. P. 378-385.
60. Paternoster L. et al. Genome-wide association study of three-dimensional facial morphology identifies a variant in PAX3 associated with nasion position // American Journal of Human Genetics. 2012. V. 90. N 3. P. 478-485. doi: 10.1016/j.ajhg.2011.12.021
61. Liu F., van der Lijn F., Schurmann C. et al. A genome-wide association study identifies five loci influencing facial morphology in Europeans // PLOS Genetics. 2012. V. 8. N 9. doi: 10.1371/journal.pgen.1002932
62. Claes P., Liberton D.K., Daniels K. et al. Modeling 3D facial shape from DNA // PLOS Genetics. 2014. V. 10. N 3. doi: 10.1371/journal.pgen.1004224
63. Shaffer J.R., Orlova E., Lee M.K. et al. Genome-wide association study reveals multiple loci influencing normal human facial morphology // PLOS Genetics. 2016. doi: 10.1371/journal.pgen.1006149
64. Lee M.K., Shaffer J.R., Leslie E.J., Orlova E., Carlson J.C., Feingold E. et al. Genome-wide association study of facial morphology reveals novel associations with FREM1 and PARK2 // PLoS ONE. 2017. V. 12. N 4. Art. e0176566. doi: 10.1371/journal.pone.0176566
10.1002/ajmg.a.38399
49. Yilmaz A., Akcaalan M. What can anthropometric measurements tell us about obstructive sleep apnoea? Folia Morphologica, 2017, vol. 76, no. 2, pp. 301-306. doi: 10.5603/FM.a2016.0058
50. Dering L.M. et al. Evaluation of anthropometric facial landmarks in woman with blepharophimosis, ptosis, and epicanthus inversus syndrome. RSBO, 2017, vol. 14, no. 3, pp. 147-151.
51. Axelsson J. et al. Identification of acutely sick people and facial cues of sickness. Proceedings of the Royal Society B: Biological Sciences, 2018, vol. 285, no. 1870. doi: 10.1098/rspb.2017.2430
52. Naimi A.J. et al. Investigating the relationship between major thalassemia diseases with anthropometric sizes of head and facial soft tissue. Bioscience Biotechnology Research Communications, 2017, vol. 10, no. 2, pp. 233-240. doi: 10.21786/bbrc/10.2/40
53. Farkas L.G., Katic M.J., Hreczko T.A. et al. Anthropometric proportions in the upper lip-lower lip-chin area of the lower face in young white adults. American Journal of Orthodontics, 1984, vol. 86, no. 1, pp. 52-60. doi: 10.1016/0002-9416(84)90276-8
54. Etöz A. Anthropometric analysis of the nose. In Rhinoplasty. Ed. M. Brenner. In Tech, 2011, pp. 3-10. doi: 10.5772/27218
55. Marcio F. Catapan, et al. Anthropometric analysis of human head to identification of height in proper use of ballistic helmets. Proc. 5th Int. Conf. on Applied Human Factors and Ergonomics, 2014, 12 p.
56. Goto L., et al. Analysis of a 3D anthropometric data set of children for design application. Proc. 19th Triennial Congress of the IEA. Melbourne, Australia, 2015.
57. Fenlon R. Facial respirator shape analysis using 3D anthropometric data. NIST Interagency, Internal Report, 2007, 18 p.
58. Jarkiewicz J., kocielnic R., Marasek K. Anthropometric facial emotion recognition. Lecture Notes in Computer Science, 2009, vol. 5611, pp. 188-197. doi: 10.1007/978-3-642-02577-8_21
59. Loconsole C. et al. Real-time emotion recognition: novel method for geometrical facial features extraction. Proc. Int. Conf. on Computer Vision Theory and Applications, 2014, pp. 378-385.
60. Paternoster L. et al. Genome-wide association study of three-dimensional facial morphology identifies a variant in PAX3 associated with nasion position. American Journal of Human Genetics, 2012, vol. 90, no. 3, pp. 478-485. doi: 10.1016/j.ajhg.2011.12.021
61. Liu F., van der Lijn F., Schurmann C. et al. A genome-wide association study identifies five loci influencing facial morphology in Europeans. PLOS Genetics, 2012, vol. 8, no. 9. doi: 10.1371/journal.pgen.1002932
62. Claes P., Liberton D.K., Daniels K. et al. Modeling 3D facial shape from DNA. PLOS Genetics, 2014, vol. 10, no. 3. doi: 10.1371/journal.pgen.1004224
63. Shaffer J.R., Orlova E., Lee M.K. et al. Genome-wide association study reveals multiple loci influencing normal human facial morphology. PLOS Genetics, 2016. doi: 10.1371/journal.pgen.1006149
64. Lee M.K., Shaffer J.R., Leslie E.J., Orlova E., Carlson J.C., Feingold E. et al. Genome-wide association study of facial morphology reveals novel associations with FREM1 and PARK2. PLoS ONE, 2017, vol. 12, no. 4, art. e0176566. doi: 10.1371/journal.pone.0176566
65. Claes P. et al. Genome-wide mapping of global-to-local genetic effects on human facial shape. Nature Genetics, 2018, vol. 50, pp. 414-423. doi: 10.1038/s41588-018-0057-4
66. Meng C. et al. Dimension reduction techniques for the integrative analysis of multi-omics data. Briefings in Bioinformatics, 2016, vol. 17, no. 4, pp. 628-641. doi: 10.1093/bib/bbv108
67. Kukharev G.A., Shchegoleva N.L. Algorithms of two-dimensional projection of digital images in Eigensubspace: history of development, implementation and application. Pattern Recognition and Image Analysis, 2018, vol. 28, no. 2, pp. 185-206. doi: 10.1134/S1054661818020116
68. Vel'kov V.V. Multidimensional biology and multidimensional medicine. Khimiya i Zhizni', 2007, no. 3, pp. 10-15. (in Russian)
69. Chernoff H. The use of faces to represent points in K-dimensional space graphically. Journal of the American
65. Claes P. et al. Genome-wide mapping of global-to-local genetic effects on human facial shape // Nature Genetics. 2018. V. 50. P. 414-423. doi: 10.1038/s41588-018-0057-4
66. Meng C. et al. Dimension reduction techniques for the integrative analysis of multi-omics data // Briefings in Bioinformatics. 2016. V. 17. N 4. P. 628-641. doi: 10.1093/bib/bbv108
67. Kukharev G.A., Shchegoleva N.L. Algorithms of two-dimensional projection of digital images in Eigensubspace: history of development, implementation and application // Pattern Recognition and Image Analysis. 2018. V. 28. N 2. P. 185-206. doi: 10.1134/S1054661818020116
68. Вельков В.В. Многомерная биология и многомерная медицина // Химия и жизнь. 2007. № 3. С. 10-15.
69. Chernoff H. The use of faces to represent points in K-dimensional space graphically // Journal of the American Statistical Association. 1973. V. 68. N 342. P. 361-368. doi: 10.1080/01621459.1973.10482434
70. Kabulov B.T., Tashpulatova N.B. Enhanced Chernoff faces // Proc. 4th Int. Conf. on Application of Information and Communication Technologies. Tashkent, Uzbekistan, 2010. doi: 10.1109/icaict.2010.5612059
71. Осадчая И.А., Берестнева О.Г., Немеров Е.В. Анализ многомерных медицинских данных с помощью пиктографиков «Лица Чернова» // Бюллетень сибирской медицины. 2014. Т. 13. № 4. C. 89 -93.
72. Кочетыгов И.С., Прокопьев Р.О. Визуализация многомерных медицинских данных с помощью пиктографиков «лица Чернова» // Информационные технологии в науке, управлении, социальной сфере и медицине: сборник научных трудов Международной конференции. Томск, 2014. Ч. 1. C. 242-244.
73. Antonov A. Making Chernoff faces for data visualization [Электронный ресурс]. Режим доступа: https://mathematicaforprediction.wordpress.com/2016/06/03/ making-chernoff-faces-for-data-visualization, свободный. Яз. анг. (дата обращения: 11.01.2019).
74. Панфилов С.Л. Феномен человеческого лица в приложении к гексаграммам Книги Перемен Ицзин. Электронное издание, 2007. 226 с.
75. Ицзин. Книга Перемен. Москва: Азбука-Аттикус, 2015. 576 с.
76. Крушинский А.А. Что такое гексаграммы И цзина? // Общество и государство в Китае. 2005. Т. 35. С. 205-213.
77. Ugail H., Al-dahoud A. Is gender encoded in the smile? A computational framework for the analysis of the smile driven dynamic face for gender recognition // The Visual Computer. 2018. V. 34. N 9. P. 1243-1254. doi: 10.1007/s00371-018-1494-x
78. Воробьева Ю. Искусственный интеллект научился различать мужчин и женщин по улыбке [Электронный ресурс]. Режим доступа: https://www.vesti.ru/doc.htmMd =2997031, свободный. Яз. рус. (дата обращения: 11.01.2019).
79. Chen X., Liu C., Li B., Lu K., Song D. Targeted backdoor attacks on deep learning systems using data poisoning // arXiv:1712.05526v1. 2017.
80. Wang Y., Kosinski M. Deep neural networks can detect sexual orientation from faces // Journal of Personality and Social Psychology. 2017. V. 114. N 2. P. 246-257. doi: 10.1037/pspa0000098
81. Thomas C., Kovashka A. Persuasive faces: generating faces in advertisements // Proc. British Machine Vision Conference. Tyne, UK, 2018.
82. Forczmanski P., Kukharev G., Shchegoleva N. Simple and robust facial portraits recognition under variable lighting conditions based on two-dimensional orthogonal transformations // Lecture Notes in Computer Science. 2013. V. 8156. P. 602-611. doi: 10.1007/978-3-642-41181-6_61
83. Кухарев Г.А., Матвеев Ю.Н., Щеголева Н.Л. Поиск людей по фотороботам: состояние проблемы и технологии // Научно-технический вестник информационных технологий механики и оптики. 2014. № 6. C. 123-136.
84. Kukharev G., Matveev Y., Forczmanski P. An approach to improve accuracy of photo-to-sketch matching // Lecture Notes in Computer Science. 2016. V. 9730. P. 385-393. doi: 10.1007/978-3-319-41501-7 44
Statistical Association, 1973, vol. 68, no. 342, pp. 361-368. doi: 10.1080/01621459.1973.10482434
70. Kabulov B.T., Tashpulatova N.B. Enhanced Chernoff faces. Proc. 4th Int. Conf. on Application of Information and Communication Technologies. Tashkent, Uzbekistan, 2010. doi: 10.1109/icaict.2010.5612059
71. Osadchaya I.A., Berestneva O.G., Nemerov Ye.V. Analysis of multidimensional medical data using pictographies "Chernoff faces". Bulletin of Siberian Medicine, 2014, vol. 13, no. 4, pp. 89-93. (in Russian)
72. Kochetygov I.S., Prokop'ev R.O. Visualization of multidimensional medical data with the help of "Chernoff faces" pictographs. Proc. Int. Conf. on Information Technology in Science, Management, Social Area and Medicine. Tomsk, Russia, 2014, part 1, pp. 242-244. (in Russian)
73. Antonov A. Making Chernoff faces for data visualization. Available at: https://mathematicaforprediction.wordpress.com/2016/ 06/03/ making-chernoff-faces-for-data-visualization (accessed: 11.01.2019).
74. Panfilov S.L. Phenomenon of a Human Face in the Annex to the Hexagrams of the Book of Changes. Electronic Book, 2007, 226 p. (in Russian)
75. Yi Jing. Book of Changes. Moscow, Azbuka-Attikus, 2015, 576 p. (in Russian)
76. Krushinsky A.A. What is Yijing hexagrams? Society and State in China, 2005, vol. 35, pp. 205-213. (in Russian)
77. Ugail H., Al-dahoud A. Is gender encoded in the smile? A computational framework for the analysis of the smile driven dynamic face for gender recognition. The Visual Computer, 2018, vol. 34, no. 9, pp. 1243-1254. doi: 10.1007/s00371-018-1494-x
78. Vorob'eva Yu. Artificial intelligence has learned to distinguish between men and women by smile. Available at: www.vesti.ru/doc.html?id=2997031 (accessed: 11.01.2019).
79. Chen X., Liu C., Li B., Lu K., Song D. Targeted backdoor attacks on deep learning systems using data poisoning. arXiv: 1712.05526v1, 2017.
80. Wang Y., Kosinski M. Deep neural networks can detect sexual orientation from faces. Journal of Personality and Social Psychology, 2017, vol. 114, no. 2, pp. 246-257. doi: 10.1037/pspa0000098
81. Thomas C., Kovashka A. Persuasive faces: generating faces in advertisements. Proc. British Machine Vision Conference. Tyne, UK, 2018.
82. Forczmanski P., Kukharev G., Shchegoleva N. Simple and robust facial portraits recognition under variable lighting conditions based on two-dimensional orthogonal transformations. Lecture Notes in Computer Science, 2013, vol. 8156, pp. 602-611. doi: 10.1007/978-3-642-41181-6_61
83. Kukharev G.A., Matveev Yu.N., Shchegoleva N.L. People retrieval by means of composite pictures: problem state-of-the-art and technologies. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2014, no. 6, pp. 123-136. (in Russian)
84. Kukharev G., Matveev Y., Forczmanski P. An approach to improve accuracy of photo-to-sketch matching. Lecture Notes in Computer Science, 2016, vol. 9730, pp. 385-393. doi: 10.1007/978-3-319-41501-7_44
85. Gref G. Information technology sucks: the future is data economics. Available at: 2035.media/2017/10/24/gref-future/?fbclid=IwAR3fUQbQJTKGXn9D7wmC6ChELzN_bpuj H4SrIlxwbH6-t6mrHAB0R1V8Ru0 (accessed: 11.01.2019).
85. Греф Г. Информационные технологии - отстой: будущее за экономикой данных [Электронный ресурс]. Режим доступа: 2035.media/2017/10/24/gref-future/
?fbclid=IwAR3fUQbQJTKGXn9D7wmC6ChELzN_bpujH4S rIlxwbH6-t6mrHAB0R1V8Ru0, свободный. Яз. рус. (дата обращения: 11.01.2019).
Авторы
Кухарев Георгий Александрович - доктор технических наук, профессор, профессор, Санкт-Петербургский
государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, 197376, Российская Федерация; профессор, Scopus ID: 18037842200, ORCID ID: 0000-0003-2188-2172, gakukharev@etu.ru
Казиееа Назым - аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, Scopus ID: 57203633843, ORCID ID: 0000-0002-7559-1795, kaznaz@list.ru
Authors
Georgy A. Kukharev -D.Sc., Full Professor, St. Petersburg State Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation; Professor, Scopus ID: 18037842200, ORCID ID: 0000-0003-2188-2172, gakukharev@etu.ru
Nazym Kaziyeva - postgraduate, ITMO University, Saint Petersburg, 197101, Russian Federation, Scopus ID: 57203633843, ORCID ID: 0000-0002-75 59-1795, kaznaz@list.ru
