CC BY
51
ТЕОРЕТИЧЕСКИЕ ВОПРОСЫ ИНФОРМАТИКИ, ПРИКЛАДНОЙ МАТЕМАТИКИ, КОМПЬЮТЕРНЫХ НАУК И КОГНИТИВНО-ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ / THEORETICAL QUESTIONS OF COMPUTER SCIENCE, COMPUTATIONAL MATHEMATICS, COMPUTER SCIENCE AND COGNITIVE INFORMATION TECHNOLOGIES
УДК 004.93
DOI: 10.25559/SITITO.17.202103.507-518
Научная статья
Разработка нейросетевого метода в задаче классификации и распознавании изображения
М. Н. Б. Муаль1*, Д. В. Козырев12, Г. Ж. К. Уанкпо1, Э. Нибасумба1
1 ФГАОУ ВО «Российский университет дружбы народов», г. Москва, Российская Федерация 117198, Российская Федерация, г. Москва, ул. Миклухо-Маклая, д. 6
* bmouale@mail.ru
2 ФГБУН «Институт проблем управления им. В. А. Трапезникова Российской академии наук», г. Москва, Российская Федерация
117997, Российская Федерация, г. Москва, ул. Профсоюзная, д. 65 Аннотация
В работе любого алгоритма распознавания или обнаружения лица следует выделить два логических блока: экстрактор характерных признаков и механизм классификации. Действие экстрактора основано на выделении из огромного потока входных данных полезной для классификатора информации. При идентификации личности этой информацией могут являться характеристики однозначно определяемых признаков (например, применяющееся в криминалистике относительное расположение глаз, бровей, губ и носа). Классификатор при принятии решения о назначении метки класса распознаваемому объекту должен руководствоваться именно этими признаками. Выбор признаков является наиболее важной задачей. Очевидно, что при их выборе учитываются наиболее уникальные свойства, так как по ним возможно наиболее достоверно судить о принадлежности объекта к тому или иному классу. Существует множество разных подходов к получению признаков класса. Рассмотрено применение Object Detection (обнаружение объектов) к решению задачи классификации и распознавания изображения. Приведено описание метода FastER-RCNN, основанного на двухэтапной нейронной сети. Проведены результаты применения алгоритма YOLOv3 при обучении нейронной сети с различными шагами. Предложено использовать улучшенный подход, основанный на YOLO для точного и быстрого обнаружения объектов. Вклады этой работы заключаются в следующем: эффективная и точная модель обнаружения в реальном времени, легкость и способность определения местонахождение объектов, основанная на улучшении алгоритма Fast-RCNN.
Ключевые слова: распознавание лиц, распознавание изображения, сверточные нейронные сети, модель R-CNN (Regional Convolutional Neural Networks), ограничивающая рамка, анкор
Авторы заявляют об отсутствии конфликта интересов.
Для цитирования: Разработка нейросетевого метода в задаче классификации и распознавании изображения / М. Н. Б. Муаль, Д. В. Козырев, Г. Ж. К. Уанкпо, Э. Нибасумба. - DOI 10.25559/ SITITO.17.202103.507-518 // Современные информационные технологии и ИТ-образование. -2021. - Т. 17, № 3. - С. 507-518.
© Муаль М. Н. Б., Козырев Д. В., Уанкпо Г. Ж. К., Нибасумба Э., 2021
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Vol. 17, No. 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
THEORETICAL QUESTIONS OF COMPUTER SCIENCE, COMPUTATIONAL MATHEMATICS, COMPUTER SCIENCE AND COGNITIVE INFORMATION TECHNOLOGIES
Development of a Neural Network Method in the Problem of Classification and Image Recognition
M. N. B. Moualea*, D. V. Kozyrevab, H. G. K. Houankpoa, E. Nibasumbaa
a Peoples' Friendship University of Russia, Moscow, Russian Federation 6 Miklukho-Maklaya St., Moscow 117198, Russian Federation * bmouale@mail.ru
b V.A. Trapeznikov Institute of Control Sciences of RAS, Moscow, Russian Federation 65 Profsoyuznaya St., Moscow 117997, Russian Federation
Abstract
In the operation of any algorithm for face recognition or face detection, two logical blocks should be distinguished: an extractor of characteristic features and a classification mechanism. The action of the extractor is based on the extraction of information useful for the classifier from a huge stream of input data. When identifying a person, this information may be the characteristics of uniquely determined features (for example, the relative position of the eyes, eyebrows, lips and nose used in forensic science). When deciding whether to assign a class label to a recognizable object, a classifier should be guided by these very features. Feature selection is the most important task. Obviously, when choosing them, the most unique properties are taken into account, since they are the most reliable way to judge whether an object belongs to a particular class. There are many different approaches to obtaining class traits. The application of Object Detection to the solution of the problem of image classification and recognition is considered. The description of the FastER-RCNN method based on a two-stage neural network is given. The results of applying the YOLOv3 algorithm for training a neural network with different steps are presented. It is proposed to use an improved approach based on YOLO for accurate and fast object detection. The contributions of this work are: an efficient and accurate real-time detection model, ease and ability to locate objects based on improvements to the Fast-RCNN algorithm.
Keywords: face recognition, image recognition, convolutional neural networks, Regional Convolu-tional Neural Networks (R-CNN) model, bounding box, anchor
The authors declare no conflict of interest.
For citation: Mouale M.N.B., Kozyrev D.V., Houankpo H.G.K., Nibasumba E. Development of a Neural Network Method in the Problem of Classification and Image Recognition. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2021; 17(3):507-518. DOI: https://doi.org/10.25559/SITITO.17.202103.507-518
Современные информационные технологии и ИТ-образование
Том 17, № 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Введение
Исследования по распознаванию лиц начались в начале 1970-х годов. В последнее время они выросли из соображений безопасности. Система распознавания лиц представляет собой программно-аппаратный комплекс для автоматической верификации или идентификации личности по цифровому изображению. Задача распознавания лиц решается при создании систем управления контролем доступа, автоматизированных систем паспортного контроля, при проведении оперативно-розыскных мероприятий и т.д. [1].
Методы обнаружения объектов как Object Detection позволяет определять на видеоряде людей, а также можно определять местоположение на видео объекте и его класса. Так же можно отслеживать трафик на дорогах, можно отслеживать наличие товара на полках в магазине в онлайн режиме. В настоящей статье изложены результаты разработки модели и исследования алгоритмов распознавания изображения на основе object detection. А также предложен новый более точный и быстрый метод классификации и распознания изображений.
В первой части этой работы обсуждаются проблемы Object Detection, основные ограничения при использования такого метода.
Чтобы исправить это, мы предлагаем представление изображения в модели R-CNN (Regional Convolutional Neural Networks] [2], [3] ориентированная на решении задачи поиска объектов
с одновременной их классификацией, и улучшение этого алгоритма во второй части. Обнаружение объектов основано на определении ограничивающей рамки (bounding box). Третья часть посвящена проблеме оценки эффективности и точности классификации и распознавания изображения. Сначала мы определим коэффициенты ошибок (Loss) на обучающей и тестовой выборке, предлагаемый алгоритм улучшает оценку эффективности обнаружения объектов. Для проверки работоспособности алгоритма распознавания собраны различные базы данных изображений, и провели эксперименты по обучению нейронной сети с различными шагами.
Основные проблемы Object Detection
Object Detection - это определение объектов на картинке/ кадре, то есть алгоритм или нейронная сеть определяют объект и записывают его позицию и bounding boxes (параметры прямоугольников вокруг объектов). Для описания местоположения объектов обычно используется ограничивающая рамка (bounding box). Ограничивающая рамка представляет собой прямоугольную рамку, которая определяется по x, y координатам левого верхнего угла и x, y координатам правого нижнего угла прямоугольника (рисунок 1).
Ограничивающая рамка может быть представлена 4 координатами в двух форматах:
• центрированный (cx, cy, w,h),
• обычный (xmin, ymin, xmax, ymax).
Координаты точки левого верхнего угла (3,215)
Координаты точки правого нижнего угла
(413, 623)
box Для
левого мяча 3,215, 413, 623
200 400 600
Р и с. 1. Объект с ограничивающей рамки F i g. 1. Object with bounding box
Проблемы Object Detection: чтобы выделить объект на изображении (относительно других объектов), нужно ввести какие-то критерии (например, цвет, текстура или размер). В реальных задачах разделение на такие простейшие критерии (классификация объектов, нахождение границы объекта на изображении, нахождение всех копий объекта) работает очень плохо. Поэтому появилась необходимость в алгоритме, который бы хорошо разделял объекты на картинке друг от друга с учетом всех сложностей.
Первые алгоритмы: алгоритм Selective Search. В основе алгоритма Selective search [4] лежит использование метода иерархической группировки похожих регионов на основе соответствия цвета, текстуры, размера или формы и графов (рисунок 2).
Vol. 17, No. 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Для этих графов вершиной является интенсивность текущего пикселя, а ребра соединяют пару соседних пикселей. Абсолютная разница интенсивностей пикселей вершин используется в качестве веса ребра. С помощью графа выделяются фрагменты, которые затем группируются согласно следующему принципу: ребра между двумя вершинами в одной группе должны иметь меньшие веса, а ребра между двумя вершинами в разных группах должны иметь больший вес.
После того, как два наиболее похожих региона сгруппированы, между полученным регионом и его соседями вычисляется новое сходство. Процесс группировки наиболее похожих областей повторяется до тех пор, пока все изображение не станет
одной о бластью. Таким образом, алгоритм селективного поиска реализуется с помощью детальной сегментации изображения в зависимости от интенсивности пикселей с использованием метода сегментации на основе графов и выборочного поиска.
Модель R-CNN (Regional Convolutional Neural Networks)
Модель R-CNN (Regional Convolutional Neural Networks) ориентирована на решении задачи поиска объектов с одновременной их классификацией (рисунок 3).
щи
'¡[Ii ill
If—! ^ -
if LLP*»
t!
Р и с. 2. Графы иерархической группировки F i g. 2. Hierarchical grouping graphs
Р и с. 3. Модель R-CNN (Regional Convolutional Neural Networks) F i g. 3. R-CNN Model
Современные информационные технологии и ИТ-образование
Том 17, № 3. 2021
ISSN 2411-1473
sitito.cs.msu.ru
При поиске объектов с использованием модели R-CNN выполняется следующая последовательность шагов:
Р и с. 4. Шаги выполнения поиска объектов с использованием модели R-CNN
F i g. 4. Steps to perform object search using R-CNN Model
Генерация областей интереса: выполняется генерация областей интереса (region proposals), предположительно содержащих в себе искомые объекты с использованием различных алгоритмов (например, Selective search или Regional-proposal function).
Формирование карты признаков: на данном шаге выполняется формирование карты признаков для исходного изображения. Проводится масштабирование сформированных областей интереса в размер, сопоставимый с архитектурой нейронной сети CNN [5]-[7]. Сформированные данные поступают на вход сверточной нейронной сети (CNN)1. На выходе нейронной сети CNN формируется 4096-мерный вектор признаков для каждой области интереса (рисунок 3).
Классификация объектов: на данном шаге выполняется классификация объектов для каждой области интереса с использованием сформированного вектора признаков на основе метода опорных векторов SVM.
Карга
ПрНЭНЕШОВ 1
Карга Карта
шатеннй 2 значений 3
Карта шачений Í
Слой свертки (convolution layer)
Р и с. 5. Формирование карты признаков F i g. 5. Feature map formation
Non-Max Suppression
Р и с. 6. Классификация объектов F i g. 6. Object classification
1 ReyJ. Faster R-CNN: Down the rabbit hole of modern object detection [Электронный ресурс] // Tryolabs: AI & Machine Learning Consulting. Jan 18, 2018. URL: https://tryolabs.com/blog/2018/01/18/faster-r-cnn-down-the-rabbit-hole-of-modern-object-detection (дата обращения: 14.08.2021).
Vol. 17, No. 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Для этого, перед выполнением классификации для каждой сгенерированной области применяется подавление немаксимумов (алгоритм Non-Maximum Suppression), на основе которого только локальные максимумы отмечаются как контур объекта. Подавление немаксимумов необходимо для исключения сгенерированных дублирующих областей интереса для каждого объекта на исходном изображении. Для оценки качества классификации используется показатель, равный отношению площади пересечения прямоугольника (области интереса), полученного в результате детектирования, и прямоугольника из разметки к площади их объединения (Intersection over Union, IoU) [8]-[10].
Пересечение
Объединение
Bi
В2
Р и с. 7. Схема Intersection over Union (IoU) F i g. 7. Intersectionover Union scheme (IoU)
В2
IoU =
В1П2 в1ив2
Таким образом, считается, что объект обнаружен правильно, если данный показатель превышает некоторый порог. В противном случае считается, что объект не обнаружен2. Минусы сетей R-CNN, fast RCNN:
• не смотрят на картинку «полностью», а только на отдельные регионы,
• относительно медленные.
Улучшенный алгоритм
Предлагаемый улучшенный алгоритм основан на двухэтапной сети. В них вначале смотрит на изображение, проходит по нему сверхточная нейронная сеть и переобучение сетки. Принцип работы алгоритма - это ручная генерация bounding boxes. Но у него есть анкор - это куда мы зафиксируем bounding boxes на изображение [11]-[18].
Во входе есть изображение. Мы делим или разделим его на несколько анкоров. Каждый анкор представляет собой 3 bounding boxes. Мы запустим в начале переобучение сетки на изображение без декоров. По каждому bounding boxes модель должна предиктит состояний из следующих элементов. Запомним, что для каждого анкора будет bounding boxes и в каждом bounding boxes будет вектор V длиной 6, т.е. из 6 элементов (V = x, y, w,h,v,cl). Когда объект большой, т.е. у нас есть очень обширное изображение, генерация только 6 анкоров не поможет эффективно распознать объект. Поэтому, предлагаем:
• сделать первую сетку, которая работает с крупными изображениями;
• сделать вторую сетку по тому же изображению, где анкоров будут в два раза больше, и будет чуть-чуть поменьше bounding boxes,
• сделать третью сетку, где больше анкоров.
На выходе получаем массив, состоявший из 3 выходов в нашем нейроне.
x — координата центра bounding boxes внутри ячейки ([0, 1] относительно размера ячейки сетки);
y — координата центра bounding boxes внутри ячейки ([0, 1 ]
относительно размера ячейки сетки);
w — ширина ([0, 1] относительно картинки);
h — высота ([0, 1] относительно картинки) ;
v уверенность или вероятность того, что существует bounding
boxes () ;
cl — класс;
Модель YOLO: YOLO или You Only Look Once - это алгоритм обнаружения объекта, сильно отличающийся от алгоритмов, основанных на регионе, которые мы рассмотрели выше3. В YOLO одиночная сверточная сеть предсказывает ограничивающие блоки и вероятности класса для этих блоков.
Оценка качества классификации и распознавания изображения
Алгоритм обучения и расчёта функция «Loss»
Мы подаем изображение 416*416 в модели. Она нам выдает три (03) выхода, которые являются уровнями сети. Первый выход - это сетка анкора (обычная двухмерная матрица) где будет размер 13*13 элементов и каждый элемент содержит информацию о векторе длинной 6 т.е. в этом случае наше изображение поделится на 13 квадратиков и каждый квадратик мы рассматриваем отдельно по каждом bounding boxes. Такой процесс повторяется для второго и третьего выхода. И в итоге
2 Hizem W. Capteur Intelligent pour la Reconnaissance de Visage: Thèse présentée de pour l'obtention du diplôme de Docteur De L'institut National Des Telecommunications. Paris: Télécommunications et l'Université Pierre et Marie Curie - Paris 6, 2009. 111 p. URL: http://biometrics.it-sudparis.eu/downloads/publications/hizem_PHD.pdf (дата обращения: 14.08.2021). (In French); Guerfi S. Authentification d'individus par reconnaissance de caractéristiques biométriques liées aux visages 2D/3D: Thèse présentée de pour l'obtention du diplôme de Docteur. Spécialité: Sciences de l'Ingénieur. Évry, Essonne: Université d'Evry-Val d'Essonne, 2008. 174 p. URL: https://tel. archives-ouvertes.fr/tel-00623243/document (дата обращения: 14.08.2021). (In French); Fiche C. Repousser les limites de l'identification faciale en contexte de vidéo-surveillance: Thèse présentée de pour l'obtention du diplôme de Docteur. Spécialité: Signal - Images - Parole - Télécoms. Grenoble, France: Université de Grenoble, 2012. 187 p. URL: https://tel.archives-ouvertes.fr/tel-00767214/document (дата обращения: 14.08.2021). (In French)
3 Van Wambeke M. Reconnaissance et suivi de visages et implémentation en robotique temps-réel: en vue de l'obtention du diplôme de Master Ingéenieur Civil En Génie Biomédical. Louvain-la-Neuve, Belgique: Université Catholique de Louvain, 2009-2010. 87 p. URL: https://fdocuments.fr/document/reconnaissance-et-suivi-de-visages-et-impl-ementation-reddotcommission-gbio.html (дата обращения: 14.08.2021). (In French); Fedias M. Combinaisons de données d'espaces couleurs et de méthodes de vérification d'identité pour l'authentification de visages: Thèse présentée en vue de l'obtention du diplôme de Doctorat en sciences en automatique. Biskra, Algérie: Université Mohamed Khider - Biskra, 2013. 106 p. URL: http://thesis.univ-biskra.dz/2710 (дата обращения: 14.08.2021). (In French); Phung Van Doanh. Reconnaissance de visages en utilisant le descripteur POEM pattern of oriented Edge Magnitudes, Stage. Vietnam, Hanoï: Institue de la Francophonie pour I'informatique, 2010. (In French)
Современные информационные технологии и ИТ-образование
Том 17, № 3. 2021
ISSN 2411-1473
sitito.cs.msu.ru
M. N. B. Mouale, D. V. Kozyrev, H. G. K. Houankpo, E. Nibasumba
THEORETICAL QUESTIONS OF COMPUTER SCIENCE, COMPUTATIONAL MATHEMATICS, COMPUTER SCIENCE AND COGNITIVE INFORMATION TECHNOLOGIES
513
Р и с. 8. Общий блок-схема классификации и обнаружения изображения методом Object Detection F i g. 8. General block diagram of image classification and detection by the Object Detection method
Обучение с различными шагами на обучающем выборе
Эпоха обучения
min: 4.887869922178132 last: 20.03816760437829
Первые 100 эпох
20 0 17 5 15 0 J 12.5
I 10.0
7-5 5.0 2.5
Loss на обучающем наборе
100 125 150 175
Эпоха обучения
mill: 3.6010584277766093 last: 4.074403245534215
200 эпох
Loss на обучающем наборе
100 150 200 Эпоха обучения
min: 2»618721180728504 last: 2.7780272683926994
300 эпох
0 50 100 150 200 250 300 350 Эпоха обучения
min: 2.480011485517025 last : 2.5748181151492253
400 эпох
Эпоха обучения
fflin: 2.3316804777298654 last: 2.345724961587361
500 эпох
Р и с. 9. Графики вариации Loss на обучающем выборе с различными шагами F i g. 9. Graphs of the Loss variation on the training selection with different steps
Vol. 17, No. 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
На тестовой выборке
vallossl = pd.read_csv(path+csv/YOLO/valloss val_loss2 = pd.read_csv(path+ csv/YOLO/valloss val_loss3 = pd.read_csv(path+csv/YOLO/valloss val_loss4= pd.read_csv(path+'csv/YOLO/valloss_
_e1100O_opt0.001_ep0_100.csv')
_e11000_opt0.001_ep100200.csv
_ell000_opt0.0001_ep0_100.csv
ellO00 opt0.0001_ep100200.csv
val_loss5= pd.read_csv(path+'csv/YOLO/valloss_ell000_opte.00001_ep0_10ö.csv'
print ('Ошибки на последней эпохе каждого шага
.values[: 1).values ).values[ 1).values ).values[
,1] [Ml :Д] [Ml
print ('lea эпох: print ('213 эпох:
print ('300 эпох:
print ('40Э эпох:
print ('500 эпох:
str(round(val_lossl[-l]j 4))
str(round(val_loss2[-l]j 4))
str(round(val_loss3[-i]j 4))
str(round(val_loss4[-l]j 4))
str(round(val_loss5[-i]j 4))
Ошибки на последней эпохе каждого шага:
130 эпох: 324649682.6667
210 эпох: 5.4149
330 эпох: 2.8133
430 эпох: 2.53
530 эпох: 2.591
Р и с. 10. Представление Loss на тестовой выборке F i g. 10. Loss representation on the test set
Обнаружение объектов (например самолётов)
modelimagesize = (416j416) image - Image.open(path+'test/plane3.jpg') plt.imbhow (image)
<matplotlib.image.Axeslmage at 9x7f81d9af397S> On
0 100 200 300 «0 500 600
Загрузка изображения из набора или с компьютера
(1, 416, 416, 3) 0
0 100 200 30Q 40Q
Изменяем размер изображения (w, h = (416, 416)
Обнаружение самолётов с выделением bounding box Aircraft detection with bounding box selection.
Р и с. 11. Графики обнаружение объектов, в частности, самолётов с применением метода Object Detection F i g. 11. Graphs for detecting objects, aircraft, in particular, using the Object Detection method
Современные информационные технологии и ИТ-образование
Том 17, № 3. 2021
ISSN 2411-1473
sitito.cs.msu.ru
THEORETICAL QUESTIONS OF COMPUTER SCIENCE, COMPUTATIONAL MATHEMATICS, COMPUTER SCIENCE AND COGNITIVE INFORMATION TECHNOLOGIES
получаем размерности первого выхода [13,13,18], размерности второго выхода [26,26,18] и для третьего выхода [52,52,18]. Это посредственно, что будет нам выдавать наша нейронная сеть. Это три (03] выхода трехмерная массива в каждом выходе. Для подсчета Лосса «Loss» мы запускаем функцию Lambda, которая будет является слоем нейронной сети. Тут нужно рассчитать «Loss» для каждого параметра (V = x, y, w, h, v, cl -элемент вектора]. В коде были написаны отдельные функции расчёта Лосса для каждого параметра. Общее число Лосс - это сумма значение Лосса всех параметров. Lambda функция выдает нам одно число, желательно 0. Это есть процесс обучения нашей нейронной сети. В нее поступает три (03] выхода, и она должна сравнить эти три выхода с y_True, которая будет подаваться только на обучение в Lambda слое [19]-[26].
Вывод
Графические результаты показывают, что разработанная модель позволяет достигнуть эффективные и точные результаты обучения изображения. Увеличение количества обучаемых и тренировочных эпох (500 эпох] является одним из критериев улучшения производительности модели. Также, для получения оптимального значения Loss (функция обшивка] предлагается научный метод, который основан на создании двух-этапных сетей. Принцип этого метода состоит в ручной генерации bounding boxes. Чем больше bounding boxes, тем меньше ошибка (значение Loss оптимальный].
Заключение
В работе была предложена улучшенная модель, основанная на YOLO, для эффективного обнаружения объектов. Наша модель проста в построении и может быть обучена непосредственно на полных изображениях. В отличие от подходов, основанных на классификаторах, наш подход обучается на функции Loss, которая напрямую соответствует характеристикам обнаружения, и вся модель обучается совместно. Fast YOLO - это самый быстрый алгоритм обнаружения, а YOLO продвигает современные технологии обнаружения объектов в реальном времени. YOLO также хорошо обобщается на новые области, что делает его идеальным для приложений, которые полагаются на быстрое и надежное обнаружение объектов. Обучение модель на обучающем и тестовом выборе демонстрировал эффективности и точности распознания предлагаемой модели.
€писок использованных источников
[1] Спиридонов, И. Н. Биометрические технологии в интегрированных автоматизированных системах безопасности государства / И. Н. Спиридонов // Вестник Московского государственного технического университета им. Н.Э. Баумана. Серия Приборостроение. - 2011. - № S. - С. 3-10. - URL: https://www.elibrary.ru/ item.asp?id=12450406 (дата обращения: 14.08.2021]. -Рез. англ.
[2] Girshick, R. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation / R. Girshick, J. Donahue, T. Darrell, J. Malik. - DOI 10.1109/CVPR.2014.81
// 2014 IEEE Conference on Computer Vision and Pattern Recognition. - Columbus, OH, USA: IEEE Press, 2014. - Pp. 580-587.
[3] Li, S. Z. Handbook of Face Recognition / S. Z. Li, A. K. Jain.
- DOI 10.1007/978-0-85729-932-1. - Springer, London, 2011. - 2nd Ed. - 699 p.
[4] Scalable Object Detection Using Deep Neural Networks / D. Erhan, C. Szegedy, A. Toshev, D. Anguelov. - DOI 10.1109/ CVPR.2014.276 // 2014 IEEE Conference on Computer Vision and Pattern Recognition. - Columbus, OH, USA: IEEE Press, 2014. - Pp. 2155-2162.
[5] Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition / K. He, X. Zhang, S. Ren, J. Sun. - DOI 10.1109/TPAMI.2015.2389824 // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2015. - Vol. 37, issue 9. - Pp. 1904-1916.
[6] Krizhevsky, A. ImageNet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G. E. Hinton. - DOI 10.1145/3065386 // Communications of the ACM. - 2017. - Vol. 60, No. 6. - Pp. 84-90.
[7] Maenpaa, T. The Local Binary Pattern Approach to Texture Analysis: Extensions and Applications / T. Maenpaa // Acta Universitatis Ouluensis: Series C, Technica. - 2003. - Vol. 187. - Pp. 1-75.
[8] Rothe, R. Non-maximum Suppression for Object Detection by Passing Messages Between Windows / R. Rothe, M. Guillaumin, L. Van Gool. - DOI 10.1007/978-3-319-16865-4_19 // Computer Vision - ACCV 2014. ACCV 2014. Lecture Notes in Computer Science; ed. by D. Cremers, I. Reid, H. Saito, M. H. Yang. - Springer, Cham, 2015. - Vol. 9003. - Pp. 290-306.
[9] Shan, C. Facial expression recognition based on Local Binary Patterns: A comprehensive study / C. Shan, S. Gong, P. W. McOwan. - DOI 10.1016/j.imavis.2008.08.005 // Image and Vision Computing. - 2009. - Vol. 27, issue 6. - Pp. 803816.
[10] Maturana, D. Face Recognition with Local Binary Patterns, Spatial Pyramid Histograms and Naive Bayes Nearest Neighbor Classification / D. Maturana, D. Mery, A. Soto.
- DOI 10.1109/SCCC.2009.21 // 2009 International Conference of the Chilean Computer Science Society. - IEEE Press, Santiago, Chile, 2009. - Pp. 125-132.
[11] Visani, M. Bilinear Discriminant Analysis for Face Recognition / M. Visani, C. Garcia, J. M. Jolion. - DOI 10.1007/11552499_28 // Pattern Recognition and Image Analysis. ICAPR 2005. Lecture Notes in Computer Science; ed. by S. Singh, M. Singh, C. Apte, P. Perner. - Springer, Berlin, Heidelberg, 2005. - Vol. 3687. - Pp. 247-256.
[12] Chen, D. Face recognition based on multi-module singular value features and probabilistic subspaces analysis / D. Chen, L. Cao. - DOI 10.1109/CISP.2011.6100445 // 2011 4th International Congress on Image and Signal Processing.
- Shanghai, China: IEEE Press, 2011. - Pp. 1508-1512.
[13] Применение методов обработки изображений к задаче распознавания васкулярного рисунка ладони / Н. Н. Алексеева, А. С. Иргит, А. А. Куртова [и др.] // Электронные средства и системы управления. Материалы докладов Международной научно-практической конфе-
Vol. 17, No. 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ренции. - Томск: ТУСУР, 2013. - № 2. - С. 131-137. - URL: https://www.elibrary.ru/item.asp?id=23035297 (дата обращения: 14.08.2021).
[14] Зено, Б. Х. Валидация лиц с помощью обнаружения глаз, рта и цвета кожи / Б. Х. Зено // Прикладная информатика. - 2018. - Т. 13, № 1(73). - С. 69-81. - URL: https:// www.elibrary.ru/item.asp?id=32601825 (дата обращения: 14.08.2021). - Рез. англ.
[15] Alizadeh, F. Face Detection in Color Images using Color Features of Skin / F. Alizadeh, S. Nalousi, C. Savari. - DOI 10.5281/zenodo.1063276 // International Journal of Computer and Information Engineering. - 2011. - Vol. 5, issue 4. - Pp. 366-372.
[16] Мокеев, А. В. Об эффективности распознавании лиц с помощью линейного дискриминантного анализа и метода главных компонент / А. В. Мокеев, В. В. Мокеев // Бизнес-информатика. - 2015. - № 3(33). - С. 44-54. -URL: https://elibrary.ru/item.asp?id=24351096 (дата обращения: 14.08.2021). - Рез. англ.
[17] Xu, L. S. Pulse Image Recognition Using Fuzzy Neural Network / L. S. Xu, M.Q.-H. Meng, K. Q. Wang. - DOI 10.1109/ IEMBS.2007.4352997 // 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. - IEEE Press, Lyon, France, 2007. - Pp. 3148-3151.
[18] Lou, G. Face image recognition based on convolutional neural network / G. Lou, H. Shi. - DOI 10.23919/JCC.2020.02.010 // China Communications. - 2020. - Vol. 17, issue 2. - Pp. 117-124.
[19] Иудин, Д. И. Фракталы: от простого к сложному / Д. И. Иудин, Е. В. Копосов. - Н. Новгород: ННГАСУ 2012. - 200 с.
[20] Гафаров, Ф. М. Искусственные нейронные сети и приложения / Ф. М. Гафаров, А. Ф. Галимянов. - Казань: Изд-во Казан. ун-та, 2018. - 121 с.
[21] A Simulation Approach to Reliability Assessment of a Redundant System with Arbitrary Input Distributions / H. G. K. Houankpo [и др.]. - DOI 10.1007/978-3-030-66471-8_29 // Distributed Computer and Communication Networks. DCCN 2020. Lecture Notes in Computer Science; ed. by V. M. Vishnevskiy, K. E. Samouylov, D. V. Kozyrev. -Springer, Cham, 2020. - Vol. 12563. - Pp. 380-392.
[22] Panetto, H. Information systems for enterprise integration, interoperability and networking: theory and applications / H. Panetto, J. Cecil. - DOI 10.1080/17517575.2012.684802 // Enterprise Information Systems. - 2013. - Vol. 7, No. 1.
- Pp. 1-6.
[23] Нгуен, З. Т. Модели и методы сопоставления изображений в задаче распознавания лиц / З. Т. Нгуен, В. М. Хачу-мов // Искусственный интеллект и принятие решений.
- 2016. - № 4. - С. 5-14. - URL: https://elibrary.ru/item. asp?id=27723582 (дата обращения: 14.08.2021). - Рез. англ.
[24] Абрамов, Н. С. Обзор методов распознавания образов на основе инвариантов к яркостным и геометрическим преобразованиям / Н. С. Абрамов, В. П. Фраленко, М. В. Хачумов. - DOI 10.17513/snt.38078 // Современные наукоемкие технологии. - 2020. - № 6-1. - С. 110-117.
- Рез. англ.
[25] Poniszewska-Maranda, A. Management of access control in information system based on role concept / A. Poniszewska-Maranda // Scalable Computing: Practice and Experience. - 2011. - Vol. 12, No. 1. - Pp. 35-50. - URL: https://www. scpe.org/index.php/scpe/article/view/686 (дата обращения: 14.08.2021).
[26] Development of Security System using Facial Recognition / O. T. Arulogun, E. O. Omidiora, O. M. Olaniyi, A. A. Ipadeola // The Pacific Journal of Science and Technology. - 2008. - Vol. 9, No. 2. - Pp. 377-385.
Поступила 14.08.2021; одобрена после рецензирования 17.09.2021; принята к публикации 20.09.2021.
|Об авторах:|
Муаль Мутуама Нда Бьенвеню, аспирант кафедры прикладной информатики и теории вероятностей, факультет физико-математических и естественных наук, ФГАОУ ВО «Российский университет дружбы народов» (117198, Российская Федерация, г. Москва, ул. Миклухо-Маклая, д. 6], ORCID: https:// orcid.org/0000-0002-7230-5714, bmouale@mail.ru Козырев Дмитрий Владимирович, доцент кафедры прикладной информатики и теории вероятностей, факультет физико-математических и естественных наук, ФГАОУ ВО «Российский университет дружбы народов» (117198, Российская Федерация, г. Москва, ул. Миклухо-Маклая, д. 6]; старший научный сотрудник, ФГБУН «Институт проблем управления им. В. А. Трапезникова Российской академии наук» (117997, Российская Федерация, г. Москва, ул. Профсоюзная, д. 65], кандидат физико-математических наук, доцент, ORCID: https://orcid. org/0000-0003-0538-8430, kozyrev-dv@rudn.ru Уанкпо Гектор Жибсон Кинманон, аспирант кафедры прикладной информатики и теории вероятностей, факультет физико-математических и естественных наук, ФГАОУ ВО «Российский университет дружбы народов» (117198, Российская Федерация, г. Москва, ул. Миклухо-Маклая, д. 6], ORCID: https:// orcid.org/0000-0003-1399-3817, gibsonhouankpo@yahoo.fr Нибасумба Эммануэль, аспирант кафедры прикладной информатики и теории вероятностей, факультет физико-математических и естественных наук, ФГАОУ ВО «Российский университет дружбы народов» (117198, Российская Федерация, г. Москва, ул. Миклухо-Маклая, д. 6], ORCID: https://orcid. org/0000-0001-5334-6388, ema.patiri2015@yandex.ru
Все авторы прочитали и одобрили окончательный вариант рукописи.
References
[1] Spiridonov I.N. Biometric Technologies in Integrated Automated Systems of State Security. Herald of the Bauman Moscow State Technical University. Series Instrument Engineering. 2011; (S]:3-10. Available at: https://www.elibrary.ru/ item.asp?id=12450406 (accessed 14.08.2021]. (In Russ., abstract in Eng.]
[2] Girshick R., Donahue J., Darrell T., Malik J. Rich Feature Hierarchies for Accurate Object Detection and Semantic
Современные информационные технологии и ИТ-образование
Том 17, № 3. 2021
ISSN 2411-1473
sitito.cs.msu.ru
THEORETICAL QUESTIONS OF COMPUTER SCIENCE, COMPUTATIONAL MATHEMATICS, COMPUTER SCIENCE AND COGNITIVE INFORMATION TECHNOLOGIES
Segmentation. 2014 IEEE Conference on Computer Vision and Pattern Recognition. IEEE Press, Columbus, OH, USA; 2014. p. 580-587. (In Eng.) DOI: https://doi.org/10.1109/ [14] CVPR.2014.81
[3] Li S.Z., Jain A.K. Handbook of Face Recognition. Springer, London; 2011. 2nd Ed. 699 p. (In Eng.) DOI: https://doi. org/10.1007/978-0-85729-932-1
[4] Erhan D., Szegedy C., Toshev A., Anguelov D. Scalable Object [15] Detection Using Deep Neural Networks. 2014 IEEE Conference on Computer Vision and Pattern Recognition. IEEE Press, Columbus, OH, USA; 2014. p. 2155-2162. (In Eng.)
DOI: https://doi.org/10.1109/CVPR.2014.276 [16]
[5] He K., Zhang X., Ren S., Sun J. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2015; 37(9):1904-1916. (In Eng.) DOI: https://doi.org/10.1109/ TPAMI.2015.2389824
[6] Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classifica- [17] tion with deep convolutional neural networks. Communications of the ACM. 2017; 60(6):84-90. (In Eng.) DOI: https:// doi.org/10.1145/3065386
[7] Mäenpää T. The Local Binary Pattern Approach to Texture Analysis: Extensions and Applications. Acta Universitatis [18] Ouluensis: Series C, Technica. 2003; 187:1-75. (In Eng.)
[8] Rothe R., Guillaumin M., Van Gool L. Non-maximum Suppression for Object Detection by Passing Messages Between Windows. In: Ed. by D. Cremers, I. Reid, H. Saito, M. H. Yang. [19] Computer Vision - ACCV 2014. ACCV 2014. Lecture Notes
in Computer Science. 2015; 9003:290-306. Springer, Cham. (In Eng.) DOI: https://doi.org/10.1007/978-3-319-16865-4_19 [20]
[9] Shan C., Gong S., McOwan P.W. Facial expression recognition based on Local Binary Patterns: A comprehensive study. Image and Vision Computing. 2009; 27(6):803-816. (In Eng.) [21] DOI: https://doi.org/10.1016/j.imavis.2008.08.005
[10] Maturana D., Mery D., Soto À. Face Recognition with Local Binary Patterns, Spatial Pyramid Histograms and Naive Bayes Nearest Neighbor Classification. 2009 International Conference of the Chilean Computer Science Society. IEEE Press, Santiago, Chile; 2009. p. 125-132. (In Eng.) DOI: https://doi.org/10.1109/SCCC.2009.21
[11] Visani M., Garcia C., Jolion J.M. Bilinear Discriminant Analy- [22] sis for Face Recognition. In: Ed. by S. Singh, M. Singh, C. Apte,
P. Perner. Pattern Recognition and Image Analysis. ICAPR 2005. Lecture Notes in Computer Science. 2005; 3687:247256. Springer, Berlin, Heidelberg. (In Eng.) DOI: https://doi. org/10.1007/11552499_28 [23]
[12] Chen D., Cao L. Face recognition based on multi-module singular value features and probabilistic subspaces analysis. 2011 4th International Congress on Image and Signal Processing. IEEE Press, Shanghai, China; 2011. p. 1508-1512.
(In Eng.) DOI: https://doi.org/10.1109/CISP.2011.6100445 [24]
[13] Alekseeva N.N. et al. Primenenie metodov obrabotki izo-brazhenij k zadache raspoznavanija vaskuljarnogo risun-ka ladoni [Application of image processing methods to the problem of palm vascular pattern recognition]. Proceedings of the International Conference on Electronic Devices and Control Systems. TUSUR, Tomsk; 2013, no. 2. p. [25]
131-137. Available at: https://www.elibrary.ru/item.as-p?id=23035297 (accessed 14.08.2021). (In Russ.) Zeno B.H. Face Validation Using Skin, Eyes and Mouth Detection. Prikladnaja informatika = Journal of Applied Informatics. 2018; 13(1):69-81. Available at: https://www. elibrary.ru/item.asp?id=32601825 (accessed 14.08.2021). (In Russ., abstract in Eng.)
Alizadeh F., Nalousi S., Savari C. Face Detection in Color Images using Color Features of Skin. International Journal of Computer and Information Engineering. 2011; 5(4):366-372. (In Eng.) DOI: https://doi.org/10.5281/zenodo.1063276 Mokeyev A.V., Mokeyev V.V. On efficiency of face recognition using linear discriminant analysis and principal component analysis. Biznes-Informatika = Business Informatics. 2015; (3):44-54. Available at: https://elibrary.ru/item.as-p?id=24351096 (accessed 14.08.2021). (In Russ., abstract in Eng.)
Xu L.S., Meng M.Q.-H., Wang K.Q. Pulse Image Recognition Using Fuzzy Neural Network. 2007 29 th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE Press, Lyon, France; 2007. p. 3148-3151. (In Eng.) DOI: https://doi.org/10.1109/IEMBS.2007.4352997 Lou G., Shi H. Face image recognition based on convolutional neural network. China Communications. 2020; 17(2):117-124. (In Eng.) DOI: https://doi.org/10.23919/ JCC.2020.02.010
Iudin D., Koposov E. Fractals: as Simple as Complex. NNG-ASU Publ., Nizhny Novgorod; 2013. Available at: https:// www.nngasu.ru/unesco/resources/Fractals_as_simple.pdf (accessed 14.08.2021). (In Eng.)
Gafarov F.M., Galimyanov F.M. Iskusstvennye nejronnye seti i prilozheniya [Artificial Neural Networks and Applications]. Kazan publ., Kazan; 2018. 121 p. (In Russ.) Houankpo H.G.K., Kozyrev D.V., Nibasumba E., Mouale M.N.B., Sergeeva I.A. A Simulation Approach to Reliability Assessment of a Redundant System with Arbitrary Input Distributions. In: Ed. by V. M. Vishnevskiy, K. E. Samouy-lov, D. V. Kozyrev. Distributed Computer and Communication Networks. DCCN 2020. Lecture Notes in Computer Science. 2020; 12563:380-392. Springer, Cham. (In Eng.) DOI: https://doi.org/10.1007/978-3-030-66471-8_29 Panetto H., Cecil J. Information systems for enterprise integration, interoperability and networking: theory and applications. Enterprise Information Systems. 2013; 7(1):1-6. (In Eng.) DOI: https://doi.org/10.1080/17517575.2012.6848 02
Nguyen D.T., Khachumov V.M. Models and methods for matching images in the problem of face recognition. Artificial Intelligence and Decision Making. 2016; (4):5-14. Available at: https://elibrary.ru/item.asp?id=27723582 (accessed 14.08.2021). (In Russ., abstract in Eng.) Abramov N.S., Fralenko V.P., Khachumov M.V. Review of image recognition methods based on brightness invariants and geometric transformations. Sovremennye naukoemkie teh-nologii = Modern High Technologies. 2020; (6-1):110-117. (In Russ., abstract in Eng.) DOI: https://doi.org/10.17513/ snt.38078
Poniszewska-Maranda A. Management of access control in
Vol. 17, No. 3. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
information system based on role concept. Scalable Computing: Practice and Experience. 2011; 12(1):35-50. Available at: https://www.scpe.org/index.php/scpe/article/ view/686 (accessed 14.08.2021). (In Eng.)
[26] Arulogun O.T., Omidiora E.O., Olaniyi O.M., Ipadeola A.A. Development of Security System using Facial Recognition. The Pacific Journal of Science and Technology. 2008; 9(2):377-385. (In Eng.)
Submitted 14.08.2021; approved after reviewing 17.09.2021; accepted for publication 20.09.2021.
About the authors:
Moutouama N'dah B. Mouale, Postgraduate Student of the Department of Applied Probability and Informatics, Faculty of Science, Peoples' Friendship University of Russia (6 Miklukho-Maklaya St., Moscow 117198, Russian Federation), ORCID: https://orcid. org/0000-0002-7230-5714, bmouale@mail.ru Dmitry V. Kozyrev, Associate Professor of the Department of Applied Probability and Informatics, Faculty of Science, Peoples' Friendship University of Russia (6 Miklukho-Maklaya St., Moscow 117198, Russian Federation); Senior research scientist, V.A. Trapeznikov Institute of Control Sciences of RAS (65 Profsoyuznaya St., Moscow 117997, Russian Federation), Ph.D. (Phys.-Math.), Associate Professor, ORCID: https://orcid.org/0000-0003-0538-8430, kozyrev-dv@rudn.ru
Hector G. K. Houankpo, Postgraduate Student of the Department of Applied Probability and Informatics, Faculty of Science, Peoples' Friendship University of Russia (6 Miklukho-Maklaya St., Moscow 117198, Russian Federation), ORCID: https://orcid.org/0000-0003-1399-3817, gibsonhouankpo@yahoo.fr Emmanuel Nibasumba, Postgraduate Student of the Department of Applied Probability and Informatics, Faculty of Science, Peoples' Friendship University of Russia (6 Miklukho-Maklaya St., Moscow 117198, Russian Federation), ORCID: https://orcid.org/0000-0001-5334-6388, ema.patiri2015@yandex.ru
All authors have read and approved the final manuscript.
Современные информационные технологии и ИТ-образование
Том 17, № 3. 2021
ISSN 2411-1473
sitito.cs.msu.ru
