CC BY
02024
ВЕСТНИК ПЕРМСКОГО УНИВЕРСИТЕТА Математика. Механика. Информатика_
3(66)
КОМПЬЮТЕРНЫЕ НАУКИ И ИНФОРМАТИКА
Научная статья УДК 004.93.1
DOI: 10.17072/1993-0550-2024-3-55-63
https://elibrary.ru/gebyca
Алгоритм и программное обеспечение распознавания лиц монозиготных близнецов
Юрий Николаевич Липин
Пермский научный исследовательский политехнический университет, г. Пермь, Россия e-mail: ur-lip193530@yandex.ru
Аннотация. Проблема распознавания лиц монозиготных близнецов является весьма важной и трудно решаемой. Существующие программные продукты по распознаванию лиц для данной цели в большинстве случаев не справляются с этой задачей. В данной работе предложен алгоритм распознавания лиц монозиготных близнецов, основанный на природной и искусственно созданной асимметрии лица, с использованием преобразования Фурье. Программа, реализующая предложенный алгоритм, создает два изображения из левых и правых половин исходного фото лица первого близнеца и еще одно изображение как среднее из двух созданных. На основе полученных четырех изображений создается вектор из 28 значений классификаторов для сравнения. Аналогично создается второй вектор по изображениям второго близнеца. При сравнении значений двух векторов срабатывает невидимый эффект асимметрии лиц близнецов, позволяющий их различить. Ключевые слова: монозиготные близнецы; распознавание лиц; асимметрия; преобразование Фурье
Для цитирования: Липин Ю. Н. Алгоритм и программное обеспечение распознавания лиц монозиготных близнецов // Вестник Пермского университета. Математика. Механика. Информатика. 2024. Вып. 3(66). С. 55-63. DOI: 10.17072/ 1993-0550-2024-3-55-63. https://elibrary.ru/gebyca.
Статья поступила в редакцию 10.06.2024; одобрена после рецензирования 22.09.2024; принята к публикации 06.10.2024.
COMPUTER SCIENCE
Research article
Algorithm and Software for Monozygotic Twins Recognizing
Yuri N. Lipin
Perm Research Polytechnic University, Perm, Russia e-mail: ur-lip193530@yandex.ru
Abstract. The problem of face recognition of monozygotic twins is very important and difficult to solve. Existing face recognition software products for this purpose in most cases fail to cope with this task. In this paper, we propose an algorithm for face recognition of monozygotic twins based on natural and artificially created facial asymmetry using Fourier transform. The program
©
Эта работа О 2024 Липин Ю.Н. распространяется под лицензией СС ВУ 4.0. Чтобы просмотреть копию этой лицензии, посетите https://creativecommons.Org/licenses/by/4.0/
implementing the proposed algorithm creates two images from the left and right halves of the original photo of the face of the first twin and another image as the average of the two created. Based on the obtained four images, a vector of 28 classifier values is created for comparison. Similarly, a second vector is created based on the images of the second twin. When comparing the values of the two vectors, the invisible effect of the asymmetry of the twins' faces is triggered, allowing to distinguish them.
Keywords: monozygotic twins; face recognition; asymmetry; Fourier transform
For citation: Lipin, Yu. N. (2024), "Algorithm and Software for Monozygotic Twins Recognizing", Bulletin of Perm University. Mathematics. Mechanics. Computer Science, no. 3(66), pp. 55-63. DOI: 10.17072/ 1993-0550-2024-3-55-63. https://elibrary.ru/gebyca.
The article was submitted 10.06.2024; approved after reviewing 22.09.2024; accepted for publication 06.10.2024.
По определению, монозиготные близнецы идентичны по многим параметрам (ДНК, архитектура и цвет лица, цвет и качество кожи и волос, по крайней мере вначале жизни). Распознавание монозиготных (однояйцевых) близнецов по изображениям их лиц является сложной задачей в биометрии.
Первыми к этой проблеме обратились биологи и медики с целью построения биометрической системы, способной принимать правильное решение о влиянии внешней среды на вложенные в близнецов генные установки самой природой. Позднее к проблеме подключились инженерно-научные коллективы с целью решения проблемы идентификации близнецов для служб, таких как криминальные органы, банки, кредитные системы, пограничная служба и таможня. Одним из первых подходов распознования монозиготных близнецов был метод "выделения признаков", основанный на слиянии на уровне баллов и слиянии на уровне принятия решения с анализом главных компонент, гистограммой ориентированных градиентов и экстракторами признаков локальных бинарных шаблонов. Однако практически нет свободно распространяемых программных продуктов, способных качественно распознавать лица монозиготных близнецов. В настоящей работе предложены эффективные алгоритмы распознавания лиц монозиготных близнецов и описана разработанная программа.
Распознавание монозиготных близнецов по изображениям их лиц является сложной задачей в биометрии, и зависит от видов близнецов. Однояйцевые близнецы (монозиготные) образуются, когда одно оплодотворенное яйцо делится на две отдельные эмбриональные клетки [1]. Они имеют одинаковый генетический материал и развиваются одновременно внутри организма женщины. Поэтому любые различия между однояйцевыми близнецами можно приписать окружающим факторам, таким как различия в среде, воспитании или случайным мутациям. Характерными свойствами таких близнецов являются универсальность, уникальность, постоянство, приемлемость набора наследственных признаков. Отсутствие таких факторов в алгоритмах распознавания приводит к высокому уровню ошибок. Также нужно учесть, что у данного типа близнецов общими параметрами являются пол, цвет волос и глаз, черты лица. При этом отпечатки пальцев разные. Также неизвестна зависимость распознавания от таких факторов как подпись, голос, тембр, обертоны, юмор, фон речи. Двуяйцевые близнецы (дизиготные) образуются, когда два отдельных яйца оплодотворяются разными сперматозоидами. Они имеют разный генетический материал, как и обычные братья и сестры.
Поэтому любые различия между двуяйцевыми близнецами могут быть связаны как с генетическими, так и с окружающими факторами.
Ниже приведены известные методы распознавания близнецов.
К данному моменту методы распознавания близнецов следующие:
1). Близнецовый метод основан на сравнении генетического сходства и различия между однояйцевыми (монозиготными) и двуяйцевыми (дизиготными) близнецами [2-4]. Он используется для изучения влияния генетических и окружающих факторов на различные фенотипические характеристики. Слияние на уровне признаков, баллов, принятия решения с анализом главных компонент, гистограммой ориентированных градиентов и экстракторами признаков локальных бинарных [5-9]. Кроме того, в качестве алгоритмов извлечения признаков используются анализ главных компонент (PCA) [6], гистограммы ориен тированных градиентов (HOG) [7] и локальные бинарные шаблоны (LBP) [8].
2). Методы извлечения черт [10-14]. Наиболее часто используемый метод извлечения черт лица основан на внешности - PCA. Он является самым ранним автоматизированным методом, предложенным для распознавания лиц. Это достигается путем выполнения разложения ковариационной матрицы данных по собственным значениям. Целью PCA является получение собственных векторов ковариационной матрицы.
Автором настоящей работы ведутся исследования в области распознавания близнецов (например, [15-16]) на основе такой информации о лице как его цветовая палитра. Основное цветное или серого тона изображение пропускается через фильтр Собеля с получением черно-белого контрастного вида, позволяющее находить границы изображения лица.
Следующим этапом работ автора в данном направлении стал период использования правил золотого сечения [17]. Автором был разработан алгоритм, основанный на идее работы мозга.
На рис. 1 дан образец работы программы по золотому сечению.
Рис. 1. Итог работы программы по золотому сечению На рис. 2. дан результат работы программы по методу распознавания мозга.
Рис. 2. Результат работы программы по правилам распознавания мозгом человека
Следующим этапом работ по распознаванию лиц монозиготных близнецов была разработка алгоритмов определения асимметрии лица и мозга человека по заявкам института психологии Пермского пединститута. Целью распознавания была проверка связи асимметрии лица и мозга человека со склонностью к преступлениям. Результаты были адекватными. В дальнейшем автору удалось применить данный алгоритм для распознавания лиц монозиготных близнецов.
Для реализации алгоритма распознавания лиц монозиготных близнецов было написано приложение согласно которому в программу загружается фото первого близнеца, начинается его обработка (результаты работы с фотографией представлены на рис. 3).
Первый ряд, второе фото - исходный близнец, фото слева от него (первый ряд, первое фото) создано из правой половины исходного фото (соответствует правой половине лица). Таким образом, на преобразованном изображении с двух сторон представлена одна и та же половина лица, соответствующая эмоциональному полушарию.
Второй ряд, первое фото - создано из левых половин исходного фото (соответствует правой половине лица).
Фото справа от него - результат наложения преобразованных изображений с одинаковыми половинами.
На каждом фото вверху программа выводит значение частотного спектра, полученного в результате преобразования Фурье, что позволяет использовать их в качестве параметров для оценки результата.
Последнее (черно-белое) изображение в первом ряду получено из обратного преобразования Фурье. Аналогичное фото в конце второго ряда представляет собой результат применения разницы спектров двух изображений, созданных из одинаковых половин.
Такая разница по нашей гипотезе возникает из-за асимметрии полушарий мозга человека. Имеются данные, что первые недели созревания плода лицо и мозг формируются вместе, влияя друг на друга, затем мозг уходит в режим создания ДНК.
Также у авторов появилась гипотеза, что на формирование индивидуальных особенностей лица влияют два аспекта.
Первый аспект. Ребенку-человеку от рождения дается имя, что является абстрактной конструкцией, по сути имя дается мозгу будущей личности. Фамилия добавляется как родовая память со своим факторным наследством.
Таким образом, имя и фамилия могут влиять на формирование особенностей лица.
Второй аспект. Мозг по существу есть фабрика белков. Нейрон через синапс и нейромедиатор при особой картинке создает белки серотина, дофинама, нороандрена-лина и эти белки уходят на входы рецепторов других нейронов. Они в конце концов достигают центра удовольствия, который посылает сигнал в мозг. Результат - эмоция через удовольсвтие. Получается, первоначально все "видит" мозг, а не сознание человека. Когда мы чувствуем злость, страх, беспокойство, тревогу и другие вызывающие стресс эмоции, в кровь выбрасываются гормоны стресса, в том числе кортизол и цитокины, которые влияют на работу иммунной системы.
Рис. 3. Результат обработки первого близнеца
В результате обработки фотографии имеется 7 показателей, для каждого из которых рассмотрены 4 параметра. Таким образом формируется вектор из 28 значений.
Полученные значения вектора для первого близнеца хранятся в таблице, которая показана на рис. 4.
» Forrn4 —
Print StriпGrid Exit
Результаты итентификации
Итентификация лиц Град/цвета Фурье Спектр Р М/НЖв
Фото исходное 2421,7573 280,21563 179 36628,724
Фото правых половин лица 1911,2592 158,1578 173 35396,492
Фото левых половин лица 3246,127 77,240548 111 24851,044
Фото правых левых пол средняя 2578,9413 1334,8678 516 67,566482 80,917249 627 106 62 112 23764,295 16704,109 0
Фазовый портрет вычет по спектру лев/прав
Градиент цвета сумма по блокам
Корреляция по лев/прав лица. 0,03825910 0,10311625 0,10724598 0
Рис. 4. Полученные значения вектора для первого близнеца
Аналогично проводится процедура обработки фотографии второго близнеца. Полученные значения вектора для второго близнеца хранятся в таблице, которая показана на рис. 5.
& Form4 —
Print StrinGrid Exit
Результаты итентификации
Итентификация лиц Град/цвета Фурье Спектр Р М/Н/Кв
Фото исходное 2403.5674 131,36858 141 33063,197
Фото правых половин лица 0 103,30299 153 37002,542
Фото левых половин лица 1263,2555 66,08661 115 26487,129
Фото правых левых пол средняя 1564,0559 68,029474 123 29629,823
Фазовый портрет вычет по спектру лев/прав 630,54235 37,216373 33 11708,216
Градиент цвета сумма по блокам 463 401 -64 0
Корреляция по РАЗУВ левУправ лица. 0,64133507 0,64031685 0,61518634 0
Рис. 5. Полученные значения вектора для второго близнеца
Сравнивая две таблицы, можно заметить разницу между значениями двух векторов, что подтверждает тот факт, что на фотографиях разные люди. Сравнение значений векторов производится по модифицированному автором алгоритму Эвклида, который описан ранее.
Работа алгоритма была проверена на 8 фотографиях и была успешной. Разработанная программа может служить дополнительным инструментом для исследователей, занимающихся проблемой идентификации субъектов, близких по ДНК.
Список источников
1. Какие бывают близнецы? Чем отличаются монозиготные и двузиготные близнецы? (7ya.ru). URL: https://www.7ya.ru/article/Iz-odnogo-yajca/?ysclid= m1xv2df7ac804445780 (дата обращенияa: 28.05.2024).
2. Основы психогенетики (дата обращения: 23.11.2018). Архивировано 8 ноября 2016 года.
3. Егорова М., Пьянкова С. Динамика близнецовой рождаемости в России (19592008) // Психологические исследования. 2010-10-31. Т. 3, вып. 13. ISSN 2075-7999. doi: 10.54359/ps.v3i13.893. Архивировано 2 апреля 2022 года.
4. Малых С.Б., ЕгороваМ.С. Основы психогенетики. М.: Эпидавр, 1998. C. 134.
5. Джайн А.К., Росс А.А., Нандакумарр К. Введение в биометрию. Springer Science Business Media, Нью-Йорк, 2011. 312 с.
6. Болотникова А., Демирель Х., Анбарджафари Г. Система распознавания лиц на основе ансамбля в реальном времени для гуманоидов NAO с использованием локальной двоичной схемы. Аналоговый интеграл. Circ. Sig. роцесс. 92 (3), 1-9 (2017).
7. Люси Я., Джуниор Дж. Дж., Горбова Дж., Баро, Эскалера Х, С., Демирель Х., Аллик Дж., Озчинар К., Анбарджафари Г. В совместной задаче по распознаванию
доминирующих и дополнительных эмоций с использованием микроэмоциональных признаков и оценки положения головы: базы данных. Автоматическое распознавание лиц и жестов (FG 2017), 2017. 12-я Междунар. конф. IEEE по (IEEE, Вашингтон, 2017). С. 809-813.
8. Анбарджафари Г. Распознавание лиц с использованием цветового локального бинарного шаблона из взаимно независимых цветовых каналов. EURASIP J. Процесс обработки изображений и видео. 2013 (1), 6 (2013).
9. Филлипс П., Флинн П., Бауэр К., Брейгге Р., Гротер П., Куинн Г., Прюитт М. В протоколе. Конференция IEEE. Autom. Распознавание жестов лица. Семинары. Различение идентичных близнецов с помощью распознавания лиц (IEEE, Санта-Бар-бара, 2011). С. 185-192. doi: 10.1109/FG.2011.5771395.
10. Бледсо W.W. Модельный метод в распознавании лиц. Т. 15. Panoramic Research Inc, Пало-Альто, 1966. С. 47.
11. Терк М., Пентланд А. Собственные грани для распознавания [J]. J. Cogn. Neu-rosci. 1991. Вып. 3(1). С. 71-86.
12. X-YLi, Z-XLin на Евро-китайской конференции по интеллектуальному анализу данных и приложениям. Распознавание лиц на основе алгоритма HOG и Fast PCA. Springer, Cham, 2017.
13. Вьяс Р.А., Шах С.М. Сравнение методов PCA и LDA для выделения признаков на основе распознавания лиц с повышением точности [J] // Междунар. науч.-практ. конф. J. Eng. Технология. 4(6), 3332-3336. 2017.
14. САЙ Лоу, АБДЖ Тео, Си Джей Нг. В IEEE Transactions on Circuits and Systems for Video Technology. Дескриптор многократной свертки фильтров Gabor, PCA и ICA для распознавания лиц [J]. 2017.
15. Липин Ю.Н., Сторорожев С.А. Разработка программы моделирования алгоритмов систем распознавания лиц // VIII Всерос. науч.-практ. конф. с междунар. участием "Искусственный интеллект в решении актуальных социальных и экономических проблем XXI века". 2022.
16. Lipin YU. N., Stororozhev S.A. Development of an algorithm for human face recognition (2021). International Conference on Data Analytics for Business and Industry (ICDABI)). (In Russ.).
17. Липин Ю.Н. Разработка алгоритма распознавания лиц с учетом особенностей работы человеческого мозга // Вестник Пермского университета. Математика. Механика. Информатика. 2023. Вып. 2(61). С. 59-64.
References
1. Kakie by'vayut bliznecy? Chem otlichayutsya monozigotny'e i dvuzigotny'e bliznecy? [What kind of twins are there? What is the difference between monozygotic and dizygotic twins?]. URL: https://www.7ya.ru/article/Iz-odnogo-yajca/?ysclid= m1xv2df7ac804445780 (accessed data: 28.05.2024). (In Russ.).
2. Osnovys psixogenetiki [Fundamentals of psychogenetics], Arxivirovano 8 noyabrya 2016. (accessed data: 28.07.2024). (In Russ.).
3. Egorova, M. and P'yankova S. (2010), "Dynamics of twin birth rates in Russia (19592008)", Psixologicheskie issledovaniya, vol. 3, no. 13, ISSN 2075-7999, doi:10.54359/ps.v3i13.893. (In Russ.).
4. Maly x S.B. and Egorova M.S. (1998), Osnovy'psixogenetiki [Fundamentals of psy-chogenetics], M.: E'pidavr, 134 pp. (In Russ.).
5. Dzhajn, A. A. and Ross, K. Nandakumarr (2011), Vvedenie v biometriyu [Introduction to Biometrics], Springer Science Business Media, N'yu-Jork, , 312 pp. (In Russ.).
6. Bolotnikova, A., Demirel, X. and Anbardzhafari G. (2017), "A real-time ensemble-based facial recognition system for NAO humanoids using a local binary scheme", Anal-ogovyj integral. Circ. Sig. rocess, 92 (3), pp.1-9. (In Russ.).
7. Lyusi, Ya, Dzhunior, Dzh.Dzh., Gorbova, Dzh., Baro, X, E'skaler,a S., Demiref, X., Allik, Dzh., Ozchinar, K. and Anbardzhafari G. (2017), "In the joint task of recognizing dominant and additional emotions using microemotional signs and evaluating the position of the head: databases. Automatic face and gesture recognition", 12-ya Mezhdunarodnaya konferenciya IEEEpo (IEEE, Vashington, 2017), pp. 809-813. (In Russ.).
8. Anbardzhafari, G. (2013), "Face recognition using a color local binary pattern of mutually independent color channels", EURASIP J. Process obrabotki izobrazhenij i video, 1-6. (In Russ.).
9. Fillips, P., Flinn, P., Bauer, K., Brejgge, R., Groter, P., Kuinn, G. and Pryuitt M. "Distinguishing identical twins using facial recognition", Konferenciya IEEE. Autom. Raspoznavanie zhestov licza. Seminary ' (IEEE, Santa-Barbara, 2011), pp. 185-192, doi:10.1109/FG.2011.5771395. (In Russ.).
10. Bledso (1966), "A model method in face recognition", Panoramic Research Inc, Palo-Al to, vol. 15, p. 47. (In Russ.).
11. Terk, M. and Pentland, A. (1991), "Custom faces for recognition", J. Cogn. Neurosci, 3(1), pp.71-86. (In Russ.).
12. Li X-Y and Lin Z-X (2017), "Face recognition based on the HOG and Fast PCA algorithm", Evro-kitajskaia konferenciia po intellektualnomu analizu danny x i prilozheniyam, Springer, Cham. (In Russ.).
13. V>as, R.A. and Shax, S.M. (2017), "Comparison of PCA and LDA methods for feature extraction based on face recognition with increased accuracy", Mezhdunar. nauch.-prakt. konf. J. Eng. Texnologiya, 4(6), pp. 3332-3336. (In Russ.).
14. Lou, Syu, Teo, A. and Dzhej, S. (2017), "Multiple convolution descriptor for Gabor, PCA and ICA filters for face recognition", IEEE Transactions on Circuits and Systems for Video Technology. (In Russ.).
15. Lipin, Yu. N. and Stororozhev, S.A. (2022), "Development of a program for modeling algorithms of facial recognition systems", VIII Vseros. nauch.-prakt. konf. s mezhdunar. uchastiem "Iskusstvenny'j intellekt v reshenii aktualnyx social ny x i ekonomich-eskixproblem XXI veka". (In Russ.).
16. Lipin, Yu. N. and Stororozhev, S.A. (2021), "Development of an algorithm for human face recognition", International Conference on Data Analytics for Business and Industry. (In Russ.).
17. Lipin, Yu. N. (2023), "An Algorithm for Face Recognition Taking Into Account the Human Brain Peculiaritie", BULLETIN OF PERM UNIVERSITY. MATHEMATICS. MECHANICS. COMPUTER SCIENCE, (2 (61)), pp. 59-64, https://doi.org/10.17072/1993-0550-2023-2-59-64. (In Russ.).
Информация об авторе:
Ю. Н. Липин - кандидат технических наук, доцент, доцент кафедры автоматики и телемеханики, Пермский научный исследовательский политехнический университет (614990, Россия, г. Пермь, ул. Комсомольский проспект, 29).
Information about the author:
Yu. N. Lipin - Candidate of Technical Sciences, Associate Professor, Associate Professor of the Department of Automation and Telemechanics, Perm Scientific Research Polytechnic University (29, Komso-molsky Prospekt St., Perm, Russia, 614990).
