CC BY
18Научная статья Original article УДК 004.93
РАЗРАБОТКА СИСТЕМЫ РАСПОЗНАВАНИЯ МАСКИ ПО ВИЗУАЛЬНЫМ ДАННЫМ
DEVELOPMENT OF A MASK RECOGNITION SYSTEM FROM VISUAL
DATA
IjJI
Душина Виктория Александровна, студент Балтийский федеральный университет Им. И. Канта (236041 Россия, г. Калиниград, ул. Александра невского, д. 14), тел. 8(983)268-82-59, vktr_dshn@mail.ru
Dushina Victoria Alexandrovna, student of the Baltic Federal University. I. Kant (236041 Russia, Kaliningrad, Alexander Nevsky St., 14), tel. 8(983)268-82-59, vktr_dshn@mail .ru
Аннотация. В данной работе рассматривается применение методов распознавания объектов. Потребность в таком распознавании возникает во многих областях, начиная с машинного зрения, символьного распознавания, диагностики в медицине, распознавания речи и заканчивая узко специальными задачами.
Abstract. In this paper, the application of object recognition methods is considered. The need for such recognition arises in many areas, from machine vision, symbolic recognition, diagnostics in medicine, speech recognition and ending with highly specialized tasks.
7801
Ключевые слова. вирус; распознавание объектов, система; интерфейс; признаки Хаара; функциональная модель; каскадная классификация; среда разработки.
Keywords. virus; object recognition, system; interface; signs of Haar; functional model; cascade classification; development environment.
По статистическим данным с официального сайта Федеральной службы по надзору в сфере защиты прав потребителей и благополучия человека за последние пять лет выявлен рост инфекционных заболеваний. Они являются самыми частыми причинами обращения за медицинской помощью. Инфекционные заболевания могут быть вызваны различными патогенами: вирусами, бактериями, грибками и др.
Пути передачи данных патогенов похожи. Самым основным считается «от человека к человеку» при близком контакте. Также передача патогенов может произойти при контакте с биологическими жидкостями человека, например, при кашле и чихании. Так передаются не только известные нам ранее вирусные инфекции, например, ВИЧ, ОРВИ, но и новая коронавирусная инфекция [1]. Еще одним путем передачи является соприкосновение с зараженными поверхностями, где вирусы и бактерии живут в биологических средах.
Для защиты себя, своего здоровья и здоровья окружающих в моменты эпидемиологической опасности вносят постановление о ношении масок. Данная мера помогает защитить организм от заражения воздушным путем. Своевременное обнаружение маски на лице поможет защитить большое количество людей от возможного заражения. С данной задачей могут справить камеры видео наблюдения, которые расположены сейчас почти на каждом углу и на входах в помещения. И используя данные с камер видеонаблюдения мы можем уберечь большое количество народа.
7802
Распознавание объектов — это отнесение исходных данных к определенному классу с помощью выделения существенных признаков, характеризующих эти данные, из общей массы данных.
Методов обнаружения маски на лице существует много и большинство из них представляют собой комбинацию других методов. Но все их можно разбить на две категории:
• методы на основе знаний, которые основываются на опыте человека;
• методы обнаружения по внешним признакам (методы при которых необходимо провести этап обучения системы, путем обработки тестовых изображений).
Методы, основанные на знаниях, используют некий набор правил (свойств и особенностей объекта), которым должен отвечать фрагмент кадра. Определить такой набор правил довольно легко. Все правила — это формализованные знания, которыми руководствуется человек, когда определяет необходимый объект.
Методы на основе знаний получили довольно широкое распространение и имеют неплохие показатели, однако они показывают хорошие результаты только на изображениях с хорошим расширением, без шумов и с несложным фоном.
Методы обнаружения по внешним признакам выявляют закономерности и свойства изображения, применяя методы математической статистики машинного обучения. Методы этой группы имеют меньше недостатков и поэтому стали чаще применятся в системах распознавания.
За счет такого большого объема работы методы обладают избыточностью и большой вычислительной сложностью. Чтобы уменьшить количество вычислений ускорить процесс распознавания, авторы применяют различные дополнительные методы для сокращения количества рассматриваемых фрагментов.
Сравнительная характеристика нескольких наиболее актуальных методов обнаружения рассмотрены в Приложении А. Одним из популярных
7803
алгоритмов является алгоритм Виолы-Джонса. Метод Виолы-Джонса назван в честь двух исследователей компьютерного зрения, предложивших этот метод в 2001 году, Пола Виолы и Майкла Джонса [2]. Несмотря на устаревший фреймворк, метод довольно мощен, и его особенностью является обработка видеопотока в режиме реального времени. Этот метод медленно обучается, но обнаруживает лица в режиме реального времени с впечатляющей скоростью.
Учитывая изображение (этот алгоритм работает на изображении в оттенках серого), алгоритм просматривает множество меньших подобластей и пытается найти лицо, ища конкретные черты в каждом подобласти. Он должен проверять множество различных положений и масштабов, потому что изображение может содержать множество граней различных размеров. Виола и Джонс использовали Хаар-подобные функции для обнаружения лиц в этом алгоритме.
Разработка системы распознавания соблюдения масочного режима по визуальным данным состоит из двух основных этапов. На первом этапе происходит обнаружение лиц в кадре, а на втором - непосредственно само распознавание средств индивидуальной защиты. Данные этапы используют общий метод для распознавания и обнаружения.
Основные принципы метода Виолы-Джонса:
• использование изображения/видеоряда в интегральном представлении;
• использование признаков Хаара, с помощью которых происходит поиск нужного объекта;
• использование каскадов признаков для быстрого отбрасывания окон, где не найдено лицо.
Интегральное представление изображения - это матрица, которая совпадает по размерам с исходным изображением. Каждый ее элемент хранит сумму интенсивностей всех пикселей, находящихся левее и выше данного элемента [9]. Элементы матрицы рассчитываются по следующей формуле:
7804
где I (¿,/) - яркость текущего пиксела исходного изображения, (^ ]) -координаты текущего пиксела.
Каждый элемент матрицы Ь представляет собой сумму пикселей в прямоугольнике от (0,0) до х, у, т.е. значение каждого пикселя х, у равно сумме значений всех пикселов левее и выше данного пикселя х, у. Расчет матрицы возможен по формуле:
По такой интегральной матрице можно быстро вычислить сумму пикселей произвольного прямоугольника и произвольной площади. Интегральное представление позволяет быстро рассчитывать суммарную яркость произвольного прямоугольника на данном изображении, причем какой бы прямоугольник не был, время расчета неизменно.
Через интегральное представление очень быстро считаются каскады из признаков Хаара, которые обычно упоминают как база для построения систем выделения сложных объектов, таких как лица, руки, или другие предметы. Каскад Хаара — это набор примитивов, для которых считается их свёртка с изображением. Используются самые простые примитивы, состоящих из прямоугольников и имеющих всего два уровня, +1 и -1. При этом каждый прямоугольник используется несколько раз разного размера [3].
Под свёрткой тут подразумевается:
где X - сумма значений яркостей точек закрываемых светлой частью признака, а Y - сумма значений яркостей точек закрываемых темной частью признака.
Вычисление признаков Хаара выполняется следующим образом. По полутоновому изображению перемещается сканирующее окно, состоящее из
х У
¿=0]=0
1(х,у) = 1(х,у) - ¿(х-1,у-1) + ¿(х,у-1) + ¿(х-1,у)
¥=Х-1
7805
смежных прямоугольников. В ОрепСУ уже есть несколько обученных каскадных моделей Хаара, которые называют дополнительные примитивы [4].
Рисунок 1 - Основные и дополнительные примитивы Хаара
Признаки Хаара в алгоритме Виолы-Джонса организуются в каскадный классификатор. Каскадная классификация заключается в постепенном увеличении количества применяемых примитивов, для увеличения скорости работы алгоритма.
Каскадная модель сильных классификаторов - это по сути то же дерево принятия решений, где каждый узел дерева построен таким образом, чтобы детектировать почти все интересующие образы и отклонять регионы, не являющиеся образами. Помимо этого, узлы дерева размещены таким образом, что чем ближе узел находится к корню дерева, тем из меньшего количества примитивов он состоит и тем самым требует меньшего времени на принятие решения [5].
Применение данного классификатора в методе Виолы-Джонса помогает:
• легко обучить классификатор, естественным образом избегая проблемы «бесконечной» обучающей выборки;
• обеспечить быстрое отсечение «пустых» регионов при детекции объектов, за счет чего достигается высокая производительность в среднем.
В результате этапы алгоритма обработки кадров разрабатываемой системы: получение изображения, перевод из цветного в полутоновое, поиск
7806
области лица методом Виолы-Джонса, поиск маски методом Виолы-Джонса, распознавание маски. Этапы работы системы представлены на рисунке 2.
Получение изображения
Полутоновое изображение
Поиск области лица
Поиск маски
Результат распознавания маски
Рисунок 2 - Этапы работы системы
Разработка системы велась на объектно-ориентированном языке программирования C# в среде разработки Microsoft Visual Studio 2017. В качестве основного выбран язык C#, так как он обладает нужными качествами для реализации, имеет встроенную поддержку обобщений, делегатов и событий, что облегчит реализацию [6]. Для разработки системы, также решено использовать в качестве одной из основных - библиотеку OpenCV [7]. Это библиотека алгоритмов с открытым исходным кодом для обработки изображений и видео в реальном времени с возможностью машинного обучения. Данная библиотека разработана на C/C++ и имеет обертку для .NET
7807
языков - EmguCV, которая и использована в работе. EmguCV содержит алгоритмы для обработки, реконструкции и очистки изображений, распознания образов, захвата видео, слежения за объектами, калибровки камер и др. Библиотека распространяется по лицензии BSD, а значит, может свободно использоваться в академических и коммерческих целях [8].
Для описания вариантов использования разрабатываемой системы необходимо воспользоваться языком графического описания UML. Диаграмма вариантов использования необходима для определения сценариев работы системы, выявления целей, которых помогает добиться система, а также определения области действия системы.
Также для наглядности рассмотрим функциональную модель процесса, представленная на рисунке 3. На диаграмме представлен пользователь, которому необходимо распознать есть ли на лице человека средство индивидуальной защиты. На входе у нас есть такие параметры, как: загрузка видеороликов и изображений и работа с видеопотоком в реальном времени. Приказ президента представлен, как управляющая информация. На выходе мы получаем видео с распознанной маской.
7808
Пользователь
Рисунок 3 - Функциональная модель «Распознавание маски»
Принцип работы системы распознавания соблюдения масочного режима по визуальным данным заключается в том, что, когда человек приближается к веб-камере, код определяет, надел он маску или нет. При разработке интерфейса было реализовано одно главное окно, которое содержит в себе области вывода данных о распознавании масок. Интерфейс приложения содержит несколько областей: область вывода видеопотока с камеры или с файла, область вывода информации о ношении маски и область выбора загрузки информации. Общий вид главной формы приложения представлен на рисунке 4.
7809
Ркпозиимк - □ X
Add video Add photo
Рисунок 4 - Интерфейс системы
Рассмотрим подробнее различные области интерфейса разработанной системы. Область вывода видеопотока предназначена для отображения обработанных кадров. Помимо этого, данная область включает кнопки вызова диалогового окна открытия видеоролика и фото-изображения. В качестве источника видеопотока может использоваться подключенная к компьютеру веб-камера, либо видеофайл. Для выбора видеофайла-источника необходимо нажать кнопку Add Video. Для выбора фото-источника необходимо нажать кнопку Add photo. После выбора файла в появившемся диалоговом окне и нажатия кнопки ОК.
Область вывода информации предназначена для отображения данных о распознавании масок. Источником данных для отображения является распознанная маска. В данной области формы выводятся прямоугольная область текущего кадра, с соответствующей надписью. У людей без масок будет в рамке отображаться надпись: «Маски нет», а у людей в масках текст: «Маска есть».
Для решения задачи обнаружения лиц и распознавания масок выбран метод «Виолы-Джонса», основу которого составляют применение заранее обученных основных и дополнительных признаков Хаара, сканирующего окна и использование каскадной классификации. Описан инструментарий
7810
разработки программы; язык программирования, среда разработки и библиотеки.
Во время пандемии — это бюджетное решение может пригодиться небольшим магазинам. Небольшой одноплатный компьютер может распознать, надели вы маску или нет. Разработка также может помочь предприятиям и организациям эффективно противодействовать распространению вирусных инфекций в период пандемии так как, может своевременно сообщать о нарушителях мер безопасности администраторам или напрямую руководству компаний.
Список литературы
1. Министерство здравоохранения Российской Федерации [Электронный ресурс]. Режим доступа: https://covid19.rosminzdrav.ru/ (дата обращения: 2.05.2021).
2. Минкина А. и соавт. Обобщение метода Виолы-Джонса как дерева решений сильных классификаторов для распознавания объектов в реальном времени в видеопотоке // Седьмая международная конференция по машинному зрению (ICMV 2014). - Международное общество оптики и фотоники, 2015. - Том. 9445. - С. 944517.
3. Дэвис Дж., М. Гоадрич. Взаимосвязь между Precision-Recall и кривыми ROC. Материалы 23-й Международной конференции по машинному обучению — ICML'06. - 2006. - С. 233-240.
4. Ву С., Ван Д. Влияние возраста и пола субъекта на результаты распознавания лиц // Журнал визуальных коммуникаций и представления изображений. 2019 Том. 60. С. 116-122.
5. Гамма, Э. Методы объектно-ориентированного проектирования. Паттерны проектирования / Гамма Э. и др. - СПб: Питер, 2007. - 366 с.
6. Джонс, М. Быстрое многоракурсное распознавание лиц / М. Джонс, П. Виола // Mitsubishi Electr. Рез. Лаборатория TR2000396. - 2003. - № июль.
7. Шепелев, К.В. Применение методов распознавания образов при модернизации существующих систем видеонаблюдения в системах
7811
безопасности / К.В. Шепелев // Современный мировой опыт, проблемы и перспективы развития. — Ставрополь: Центр научных знаний «Логос», 2016. — № 2. — С. 9-12.
8. Никан С., Ахмади М. Модифицированный метод распознавания лиц в ухудшенных условиях // Журнал визуальных коммуникаций и представления изображений. 2018 Том. 55. С. 742-755.
9. Владимир Вьюгин. Математические основы теории машинного обучения и прогнозирования. - МКМНО, 2013. - 390 с.
10. Хайкин С. Нейронные сети: полный курс = Нейронные сети: всеобъемлющий фундамент. 2-е изд. — М.: Уильямс, 2006.
11. Фишер Р., Доусон-Хоу К., Фитцгиббон А., Робертсон К., Трукко Э. Словарь по компьютерному зрению и обработке изображений. - Джон Уайли, 2005 г.
12. Исследование методов обнаружения объектов и приложений на цифровых изображениях / М. Сунил, С. Гагандип // Международный журнал научных разработок и исследований (IJSDR). - 2019. - Вып. 4, № 5. - С. 491-497
13. Вайсштейн, Эрик В. Функция Хаара // Из MathWorld — веб-ресурса Wolfram.
14. Виола и Джонс, «Быстрое обнаружение объектов с использованием усиленного каскада простых функций», Компьютерное зрение и распознавание образов, 2001 г.
15. Форсайт Дэвид А., Понс Жан. Компьютерное зрение. Современный подход = Компьютерное зрение: современный подход. — М.: Уильямс, 2004. — 928 с.
16. Фомин Я. А. Распознавание образов: теория и приложения. - 2-е изд. — М.: ФАЗИС, 2012. — 429 с.
Reference
1. Ministry of Health of the Russian Federation [Electronic resource]. Access mode: https://covid19.rosminzdrav.ru/ (date of access: 2.05.2021).
7812
2. Minkina A. et al. Generalization of the Viola-Jones method as a decision tree of strong classifiers for real-time object recognition in video stream //Seventh International Conference on Machine Vision (ICMV 2014). - International Society for Optics and Photonics, 2015. - Vol. 9445. - P. 944517
3. Davis, J., M. Goadrich. The Relationship Between Precision-Recall and ROC Curves. Proceedings of the 23rd International Conference on Machine learning - ICML'06. - 2006. - P. 233-240.
4. Wu S., Wang D. Effect of subject's age and gender on face recognition results // Journal of Visual Communication and Image Representation. 2019 Vol. 60. P. 116-122.
5. Gamma, E. Methods of object-oriented design. Design patterns / E. Gamma et al. - St. Petersburg: Peter, 2007. - 366 p.
6. Jones, M. Fast Multi-view Face Detection / M. Jones, P. Viola // Mitsubishi Electr. Res. Lab TR2000396. - 2003. - No. July.
7. Shepelev, K.V. Application of pattern recognition methods in the modernization of existing video surveillance systems in security systems / K.V. Shepelev // Modern world experience, problems and development prospects. — Stavropol: Center for Scientific Knowledge "Logos," 2016. — No. 2. — P. 9-12.
8. Nikan S., Ahmadi M. A modified technique for face recognition under degraded conditions // Journal of Visual Communication and Image Representation. 2018 Vol. 55. P. 742-755.
9. Vladimir Vyugin. Mathematical foundations of the theory of machine learning and forecasting. - MCMNO, 2013. - 390 p.
10.Khaykin S. Neural networks: full course = Neural Networks: A Comprehensive Foundation. 2nd ed. — M.: Williams, 2006.
11.Fisher R., Dawson-Howe K., Fitzgibbon A., Robertson C., Trucco E. Dictionary of Computer Vision and Image Processing. — John Wiley, 2005.
12. Study of Object Detection Methods and Applications on Digital Images / M. Sunil, S. Gagandeep // International Journal of Scientific Development and Research (IJSDR). - 2019. - Vol. 4, No. 5. - Pp. 491-497
7813
13. Weisstein, Eric W. Haar Function // From MathWorld--A Wolfram Web Resource.
14. Viola and Jones, "Rapid object detection using a boosted cascade of simple features", Computer Vision and Pattern Recognition, 2001
15. Forsyth David A., Pons Jean. Computer vision. Modern Approach = Computer Vision: A Modern Approach. - M .: Williams, 2004. - 928 p.
16.Fomin Ya. A. Pattern recognition: theory and applications. - 2nd ed. — M.: FAZIS, 2012. — 429 p.
© Душина В.А. 2022 Научно-образовательный журнал для студентов и преподавателей «StudNet» №.97/2022.
Для цитирования: Душина В.А. РАЗРАБОТКА СИСТЕМЫ РАСПОЗНАВАНИЯ МАСКИ ПО ВИЗУАЛЬНЫМ ДАННЫМ // Научно-образовательный журнал для студентов и преподавателей .№7/2022.
7814
