CC BY
46
С. А. Мишин, кандидат технических наук, доцент А. В. Мишин, кандидат технических наук, доцент
ПРИМЕНЕНИЕ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
ДЛЯ ВЕДЕНИЯ БАЗЫ ДАННЫХ ЭЛЕМЕНТОВ ВНЕШНОСТИ ЧЕЛОВЕКА
APPLICATION OF ARTIFICIAL INTELLIGENCE TECHNOLOGIES FOR MAINTAINING A DATABASE OF HUMAN APPEARANCE ELEMENTS
Предложена процедура ведения на основе фотоснимков специализированной базы данных о внешности человека, обеспечивающая автоматическое нанесение разметки на исходные изображения с использованием обученной нейросети.
A procedure for keeping data on the appearance of a person based on photographs of a specialized database is proposed, which provides automatic application of a once-mark on the initial images using a trained neural network.
Введение. В настоящее время в органах внутренних дел Российской Федерации для составления субъективного портрета разыскиваемых лиц и дальнейшего сопоставления изображения используются несколько габитоскопических систем. Наиболее совершенными из них являются «Портрет-Поиск» и «Сова», хотя и они не лишены субъективных ограничений. В частности, существенной зависимости точности графического распознавания по изображениям от квалификации оператора, который расставляет контрольные точки (лицевые ориентиры) на фотоизображении в ручном режиме. Устранение такой зависимости, а также активные процессы метисации населения обусловливают необходимость развития указанных систем в части создания специализированной базы элементов внешности (СБЭВ), сформированной на основе объективных отображений внешности человека (фотоснимков), и разработки программного инструментария, позволяющего производить автоматическую разметку анатомических элементов внешности человека по его фотоизображению и сохранять их в базе.
Цель статьи — сформулировать процедуру ведения СБЭВ, позволяющую оптимизировать данный процесс за счет разработки механизма автоматического определения анатомических элементов внешности (ЭВ) человека по его фотоизображению и их сохранения в указанной базе данных.
Материалы и методы. Перспективным направлением автоматизированного ведения СБЭВ в части автоматического определения и сбора анатомических ЭВ человека по его фотоизображению, на наш взгляд, является использование искусственных нейронных сетей. Существующие алгоритмы позволяют с высокой точностью обнаруживать на изображении лицо человека и его основные лицевые ориентиры (губы, нос, брови и др.). Однако комплексный подход (механизм), позволяющий выделить все интересующие ЭВ человека, в том числе лоб и прическу, по его фотоизображению в автоматическом режиме и сохранять их в СБЭВ, в настоящее время отсутствует.
Анализ доступных программных средств показывает, что для реализации алгоритма искусственного интеллекта нанесения разметки на исходное фотоизображение возможно применение таких сред, как PyCharm Community Edition 2020.3.4, Microsoft Visual Studio Express 2013, Sublime Text3, Google Colab, а в качестве языка программирования для разработки интеллектуального программного модуля (скрипта) для автоматической разметки ЭВ человека по его фотоизображению языка программирования Python [11, 12].
Написание кода в среде PyCharm предполагает использование библиотек [6—8, 10—13]: Matplotlib, Imutils, Scikit-learn, Dlib, OpenCV и Numpy.
В настоящее время для обнаружения лица человека на изображении разработаны различные модели машинного обучения, отличающиеся используемыми методами детектирования.
Результаты сравнительного анализа четырех наиболее популярных детекторов обнаружения лиц [1, 3] приведены в табл. 1.
Таблица 1
Качественная характеристика детекторов обнаружения лиц_
Детектор Преимущества Недостатки
1. Детектор лиц каскада Хаара. 1. Высокая скорость обнаружения лица, может работать в системах реального времени. 2. Низкие требования к вычислительным ресурсам. 1. Высокий процент ошибки (ложноположительного обнаружения лица). 2. Требуется ручная настройка модели.
2. Детектор лиц на основе глубокого обучения OpenCV. 1. Высокая точность обнаружения лица. 2. Не требует ручной настройки параметров модели. 3. Возможность работы в режиме реального времени на современных ноутбуках и настольных компьютерах. 4. Модель встроена в модуль 1. Более точное обнаружение лица, чем у каскада Хаара и HOG + Linear SVM, но не такое точное, как у детектора лиц CNN MMOD от Dlib. 2. Точность обнаружения лиц людей зависит от цвета кожи (с более темной кожей хуже, чем у лиц людей со светлой кожей).
3. Алгоритм HOG + Linear SVM. 1. Более точное обнаружение лица и меньше число параметров для настройки модели, чем у каскадов Хаара. 2. Функциональные возможности хорошо документированы. 1. Работает только на фронтальных видах лица. 2. Не так точен, как детектор лиц на основе глубокого обучения.
4. Детектор лиц MMOD CNN. 1. Высокая точность обнаружения лиц людей на изображении. 2. Небольшой размер модели (менее 1 МБ). 3. Функциональные возможности хорошо документированы. 1. Не может работать в реальном времени без ускорения графического процессора. 2. Несовместим с ускорением через OpenVINO, Movidius NCS, NVIDIA Jetson Nano или Google Coral.
Отмеченные в табл. 1 характеристики обусловили выбор для реализации процедуры определения анатомических ЭВ человека по его фотоизображению модели распознавания лица от библиотеки Dlib (реализация HOG + Linear SVM), имеющей приемлемую скорость и точность детектирования, невысокие требования к аппаратной составляющей (вычислительным мощностям) проектируемой системы. Кроме того, в библиотеке Dlib содержатся функции и классы, которые не реализованы в библиотеке OpenCV. В частности, подключаемая нейронная сеть (предиктор форм shape_predictor()) для поиска особых точек на лице человека.
Рассмотрим процесс поиска координат (x, y) особых точек на лице человека (лицевых ориентиров глаз, бровей, носа и др.) с применением предиктора форм shape_predictor() библиотеки Dlib и алгоритма предсказания формы Каземи [2]. Для обнаружения лица на фотографии воспользуемся детектором фронтального изображения лица get frontal face detector() на основе HOG + Linear SVM библиотеки Dlib(), расставляющего за три шага работы 68 точек (лицевых ориентиров) на изображении лица человека (рис. 1):
Шаг 1. С помощью средств библиотеки OpenCV получаем доступ к фотоизображению, которое переводится из цветного формата RGB-модели в оттенки серого для работы предиктора форм shape detector() библиотеки Dlib.
Шаг 2. На каждое срабатывание детектора лица вызывается предиктор форм, после работы которого данные о координатах 68 точек лицевых ориентиров (рис. 1) преобразуются в удобный для обработки и использования массив numpy.
Шаг 3. Используя координаты точек лицевых ориентиров, создаем прямоугольные области для разметки и сохранения в отдельные изображения анатомических ЭВ человека (брови — точки с координатами 18—27; глаза — точки с координатами 37— 46 и т. д.).
Рис. 1. Координаты точек лицевых ориентиров
Остается нерешенной следующая проблема: детектор фронтального изображения лица get_frontal_face_detector() библиотеки Dlib не обнаруживает границу головы, что препятствует полному обнаружению анатомических ЭВ человека (невозможно опре-
делить область лба и волос). Аналогичная ситуация наблюдается при использовании предобученных face detector() из альтернативных библиотек компьютерного зрения.
Для решения возникшей проблемы разработана модель машинного обучения на основе искусственной нейронной сети, предсказывающая координаты, целиком ограничивающие голову человека.
В качестве базовой искусственной нейронной сети в проекте использована сеть VGG16 — модель сверточной нейронной сети (CNN), предложенная К. Симоняном и А. Цимерманом; является компонентом инфраструктуры обнаружения объектов глубокого обучения SSD [5]. Архитектура SSD является наиболее подходящей для обработки изображений в режиме реального времени [9]. Модель достигает точности 92,7% и была обучена на датасете изображений (ImageNet), состоящем из более чем 14 миллионов изображений, принадлежащих к 1000 классам. Архитектура базовой нейронной сети VGG16 представлена на рис. 2.
Рис. 2. Архитектура базовой нейронной сети VGG16
Структура модели VGG16, используемая для решения задачи бинарной классификации изображений, представлена на рис. 3. На вход слоя conv2d 1 подается RGB изображение размером 224*224 пикселя. Далее изображение проходит через набор сверточных слоев (Conv2D), в которых используются фильтры с очень маленьким рецептивным полем размера 3*3 пикселя. Если в полносвязной сети (Dense-слой) каждый нейрон подключается к входному пикселю каждого изображения, то в сверточных сетях (Conv2D-^ou) нейрон получает на вход только ограниченный участок изображения h * w. Следующий нейрон работает с очередным участком изображения, который может частично пересекаться с участком соседнего нейрона. Операция, выполняемая нейроном в этом типе сети, называется сверткой [141. Используя значения интенсивности каждого пикселя области h * w, формируется матрица, которая перемножается с ядром свертки — матрицей такого же размера, как рассматриваемая область изображения (рис. 4).
Пространственный пулинг (MaxPooling) осуществляется при помощи пяти max-pooling слоев, которые следуют за одним из сверточных слоев (не все сверточные слои имеют последующие слои max-pooling). Операция max-pooling выполняется на окне
размера 2*2 пикселя, с шагом 2 уменьшает размерность изображений за счет уменьшения количества пикселей в выходных данных предыдущего сверточного слоя.
Слой Flatten используется для конвертации входящих данных в меньшую размерность.
Layer {type} Output 5hape Paran #
convid 1 (ConviD)1 {None, 224 224, 64) 1792
conv2d 2 (Conv2D)' {Hone, 224 224, 64) 3692 В
max pcoling2d 1 {НаяРооПпдЗ {Hone, 112 112, 64) 0
convid 3 (ConviD)' {Hone, 112 112, 128) 73656
conv2d 4 (Conv2D)' {Hone, 112 112, 123) 1475B4
max pcoling2d 2 {НаяРооПпдЗ {Hone, 56, 56 j 12B) 0
conv2d 5 (Conv2D)' {Hone, 56, 56 j 256) 295166
conv2d 6 (Conv2D)' {Hone, 56, 56 j 256) 5900BB
conv2d 7 (Conv2D)' {Hone, 56, 56 j 256) 5900BB
max pcoling2d 3 {НаяРооПпдЗ {Hone, 23, 2Bj 256) 0
conv2d В (Conv2D) {Hone, 23, 2B, 512) 1160160
conv2d 9 (Conv2D)' {Hone, 23, 2Bj 512) 2359803
conv2d 1С (Cniw2D) {Hone, 23, 2Bj 512) 2359ВШ
max pcoling2d 4 {HasPooLing2 {Hone, 14, 14, 512) 0
conv2d 11 (Cniw2D) {Hone, 14, 14, 512) 2359ВШ
conv2d 12 (Cniw2D) {Hone, 14, 14, 512) 2359ВШ
conv2d 13 (Cniw2D) {Hone, 14, 14, 512) 235ВД6В
max pcoling2d 5 {HasPool.ing2 {Hone, 7j 7, 512) 0
flatten 1 (Flatten ) {Hone, 25863) 0
dense 1 (Dense) {Hone, 4096) 192764544
dropout 1 (Dropout) {Hone, 4096) 0
dense 2 (Dense) {Hone, 4096) 16731312
dropout 2 (Dropout) {Hone, 4096) 0
dense. 3 (Dense) {Hone, 2) 3194
Total params: 134,26В,738 Trainable params: 134,263,73В Na n-1 rai nable params: 9
Рис. 3. Структура модели VGG16
Рис. 4. Пример работы ядра свертки 91
После набора сверточных слоев идут три полносвязных слоя (Dense): первые два имеют по 4096 каналов, количество каналов третьего слоя зависит от количества классов, заданных для распознавания.
Последним в модели VGG16 идет softmax слой, нейроны которого имеют следующую функцию активации:
Vi =
Z? =
Такая функция гарантирует, что выход каждого нейрона зависит от сумматоров всех остальных нейронов, а сумма выходных значений всей группы равняется единице. Значения на выходах нейронов sofimax-группы характеризуют вероятность отнесения моделью предъявляемого изображения к заранее определенному классу объектов.
Последовательность настройки весов сети проиллюстрирована на рис. 5: слева — исходная сетевая архитектура VGG16; в центре — удаление полносвязных слоев (FC — fully-connected layer — полносвязный слой) из VGG16 и обработка последнего слоя POOL как экстрактора признаков; справа — удаление оригинальных слоев FC и их замена новой «головкой» FC. Затем эти слои FC можно настроить для конкретного набора данных (старые слои FC больше не используются).
Рис. 5. Последовательность настройки весов VGG16
Обучение собственной искусственной нейронной сети началось с создания дата-сета (разметки порядка 2000 фотографий людей). Разметка производилась вручную та-
ким образом, чтобы вырисовывалась рамка, которая с учетом погрешности захватывала всю голову человека. Координаты верхнего левого угла (х1, y^ и нижнего правого угла (x2, y2) ограничивающей рамки, также имена файлов отдельных изображений записывались в csv-файл. Далее разработанный на языке программирования Python скрипт, производил инициализацию списка данных (изображений) и полученных целевых прогнозов вывода (координат ограничивающей рамки) вместе с именами файлов отдельных изображений. Входные данные преобразовывались в массивы numpy, масштабируя интенсивности входных пикселей от диапазона [0,255] до [0,1]. Автоматически происходило деление загруженных данных на обучение и тестирование, используя 80% данных для обучения и оставшиеся 20% для тестирования. Имена тестовых файлов автоматически записывались на диск для использования их при оценке разрабатываемого регрессора ограничивающей рамки.
Результаты. На основе разработанной модели машинного обучения, предсказывающей координаты рамки, целиком ограничивающей голову человека на фотографии, предиктора форм shape detector() и детектора фронтального изображения лица get frontal face detector() библиотеки Dlib создан интеллектуальный программный модуль (скрипт) (ИПМ), позволяющий на исходном фотоизображении автоматически размечать и сохранять в виде отдельных файлов анатомические ЭВ человека.
Разработанный ИПМ можно условно разбить на семь блоков:
1. Подключение библиотек Python: numpy; argparse; imutils; dlib; cv2; os; tensor-flow.keras.preprocessing.image import img_to_array; tensorflow.keras.preprocessing.image import load_img; from tensorflow.keras.models import load_model; import mimetypes.
2. Установка параметров командной строки и пути к файлам.
3. Подключение моделей машинного обучения и загрузка исходного изображения.
4. Предсказание координат рамки лица.
5. Загрузка исходной фотографии, уменьшение ее размера и преобразование изображения из цветного в оттенки серого.
6. Создание прямоугольных областей для разметки анатомических ЭВ человека на основе использования координат точек лицевых ориентиров на измененной фотографии.
7. Вырезание областей анатомических ЭВ человека и сохранение их в отдельных файлах.
Пример результата работы ИПМ показан на рис. 6.
Область лба и волос
Область бровей Область глаз
Область носа -
Область усов -
Область губ Область подбородка
Рис. 6. Пример результата работы ИПМ
Таким образом, ИМП позволяет автоматически вести СБЭВ и тем самым уменьшить влияние возможных ошибок оператора при ручном ведении такой базы, а следовательно, повысить качество графического распознавания по изображениям.
Обсуждение. Анализ текущего состояния и перспектив автоматизации процессов составления субъективных портретов разыскиваемых лиц и ведения СБЭВ позволяет сделать вывод о возможности использования алгоритмов искусственного интеллекта для определения анатомических ЭВ человека по его фотоизображению.
Для создания регрессора ограничивающей рамки целесообразно использовать такой тип трансферного обучения, как удаление полностью связанных слоев существующей сети и размещение нового набора слоев FC поверх CNN с последующей точной настройкой этих весов для распознавания новых классов объектов (в нашем случае предсказание координат рамки) [4].
Заключение. Полученные результаты позволяют сделать вывод о том, что цель работы достигнута. Реализация предложенного в работе подхода позволит оптимизировать процесс ведения СБЭВ за счет автоматического обнаружения анатомических ЭВ человека по его фотографии. Информация, содержащаяся в СБЭВ, может быть использована для организации поиска фотографий лиц, поставленных на биометрический учет, и составленных ранее фотороботов, подходящих под словесное описание внешности разыскиваемого лица, и построение на их основе соответствующего рекомендательного списка.
ЛИТЕРАТУРА
1. dlib C++ Library — Machine Learning. — URL: https://dlib.net/ml.html (дата обращения: 11.04.2022).
2. Kazemi V. One Millisecond Face Alignment with an Ensemble of Regression Trees. — URL: https://www.csc.kth.se/~vahidk/face_ert.html (дата обращения: 13.04.2022).
3. Rosebrock A. Face detection with dlib (HOG and CNN). — URL: https://www.pyimagesearch.com/2021/04/19/face-detection-with-dlib-hog-and-cnn (дата обращения: 13.04.2022).
4. Rosebrock A. Practical Python and OpenCV: An Introductory, Example Driven Guide to Image Processing and Computer Vision. — Philadelphia : PyImageSearch, 2016. — 147 p.
5. Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition. — URL: https://arxiv.org/abs/1409.1556 (дата обращения: 13.04.2022).
6. Вандер Плас Дж. Python для сложных задач: наука о данных и машинное обучение / Плас Дж. Вандер. — СПб. : Питер, 2018. — 576 с.
7. Гибсон У. Распознавание образов. — М. : Изд-во Азбука, 2015. — 384 с.
8. Обработка изображений с помощью OpenCV / Б. Г. Глория, Д. С. Оскар, Л. Э. Хосе, С. Г. Исмаэль. — М. : ДМК Пресс, 2016. — 210 с.
9. Ершов Д. Ю., Ершов М. Д. Современные сверточные нейронные сети для обнаружения и распознавания объектов // Цифровая обработка сигналов. — 2018. — № 3. — URL: http://www.dspa.ru/articles/year2018/jour18_3/art18_3_11.pdf (дата обращения: 13.04.2022).
10. Нейронные сети для начинающих. — URL: https://habr.com/ (дата обращения: 21.12.2021).
11. Постолит А. В. Основы искусственного интеллекта в примерах на Python. — СПб. : БХВ-Петербург, 2021. — 448 с.
12. Саммерфельд М. Программирование на Python 3. Подробное руководство. — СПб. : Символ-Плюс, 2009. — 608 с.
13. Селянкин В. В. Компьютерное зрение. Анализ и обработка изображений : учебное пособие. — СПб. : Лань, 2019. — 152 с.
14. Соробин А. Б. Сверточные нейронные сети: примеры реализаций : учебно-методическое пособие. — М. : РТУ МИРЭА, 2020. — 159 с.
REFERENCES
1. dlib C++ Library — Machine Learning. — URL: https://dlib.net/ml.html (data obrashcheniya: 11.04.2022).
2. Kazemi V. One Millisecond Face Alignment with an Ensemble of Regression Trees. — URL: https://www.csc.kth.se/~vahidk/face_ert.html (data obrashcheniya: 13.04.2022).
3. Rosebrock A. Face detection with dlib (HOG and CNN). — URL: https://www.pyimagesearch.com/2021/04/19/face-detection-with-dlib-hog-and-cnn (data obra-shcheniya: 13.04.2022).
4. Rosebrock A. Practical Python and OpenCV: An Introductory, Example Driven Guide to Image Processing and Computer Vision. — Philadelphia : PyImageSearch, 2016. — 147 p.
5. Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition. — URL: https://arxiv.org/abs/1409.1556 (data obrashcheniya: 13.04.2022).
6. Vander Plas Dzh. Python dlya slozhnyh zadach: nauka o dannyh i mashinnoe obu-chenie / Plas Dzh. Vander. — SPb. : Piter, 2018. — 576 s.
7. Gibson U. Raspoznavanie obrazov. — M. : Izd-vo Azbuka, 2015. — 384 s.
8. Obrabotka izobrazhenij s pomoshch'yu OpenCV / B. G. Gloriya, D. S. Oskar, L. E. Hose, S. G. Ismael'. — M. : DMK Press, 2016. — 210 s.
9. Ershov D. YU., Ershov M. D. Sovremennye svertochnye nejronnye seti dlya ob-naruzheniya i raspoznavaniya ob"ektov // Cifrovaya obrabotka signalov. — 2018. — № 3. — URL: http://www.dspa.ru/articles/year2018/jour18_3/art18_3_11.pdf (data obrashcheniya: 13.04.2022).
10. Nejronnye seti dlya nachinayushchih. — URL: https://habr.com/ (data obrashcheniya: 21.12.2021).
11. Postolit A. V. Osnovy iskusstvennogo intellekta v primerah na Python. — SPb. : BHV-Peterburg, 2021. — 448 s.
12. Sammerfel'd M. Programmirovanie na Python 3. Podrobnoe rukovodstvo. - SPb. : Simvol-Plyus, 2009. — 608 s.
13. Selyankin V. V. Komp'yuternoe zrenie. Analiz i obrabotka izobrazhenij : uchebnoe posobie. — SPb. : Lan', 2019. — 152 s.
14. Sorobin A. B. Svertochnye nejronnye seti: primery realizacij : uchebno-metodicheskoe posobie. — M. : RTU MIREA, 2020. — 159 s.
СВЕДЕНИЯ ОБ АВТОРАХ
Мишин Сергей Александрович. Заместитель начальника кафедры автоматизированных информационных систем органов внутренних дел. Кандидат технических наук, доцент.
Воронежский институт МВД России.
E-mail: samishin@bk.ru
Россия, 394065, Воронеж, проспект Патриотов, 53. Тел. (473) 200-51-86.
Мишин Александр Владимирович. Доцент кафедры правовой информатики, информационного права и естественнонаучных дисциплин. Кандидат технических наук, доцент.
Центральный филиал Российского государственного университета правосудия, г. Воронеж.
E-mail: odpvo@mail.ru
Россия, 394006, Воронеж, ул. 20-летия Октября, 95. Тел. (473) 271-54-15.
Mishin Sergey Alexandrovich. Deputy chief of the chair of Automated Information Systems of Interior Units. Candidate of Technical Sciences, Assistant Professor.
Voronezh Institute of the Ministry of the Interior of Russia.
E-mail: samishin@bk.ru
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 200-51-86.
Mishin Alexander Vladimirovich. Associate Professor of the chair of Legal Informatics, Information Law and Natural-science Discipline. Candidate of Technical Sciences, Assistant Professor.
Central branch of Russian State University of the Justice, Voronezh.
E-mail: odpvo@mail.ru
Work address: Russia, 394006, Voronezh, 20-letiya Octyabrya Str., 95. Tel. (473) 271-54-15.
Ключевые слова: искусственная нейронная сеть; лицевой ориентир; анатомический элемент внешности; детектор обнаружения лиц; скрипт; трансферное обучение.
Key words: artificial neural network; facial landmark; anatomical element of appearance; face detection detector; script; transfer learning.
УДК 681.3
