CC BY
20
DOI: 10.15514/ISPRAS-2022-34(6)-9
Модификация метода выделения контуров объекта в интеллектуальных системах
A.И. Мартышкин, ORCID: 0000-0002-3358-4394 <mai@penzgtu.ru> Е.Г. Бершадская, ORCID: 0000-0003-3142-7958 <bereg.50@mail.ru>
Е.И. Маркин, ORCID: 0000-0003-4848-8757 <evgeniymarkin1@gmail.com>
B.В. Зупарова, ORCID: 0000-0002-7903-083X<zuparova_vv@mail.ru> Пензенский государственный технологический университет,
440039, Россия, г. Пенза, проезд Байдукова/ул. Гагарина, д. 1а/11.
Аннотация. Данная исследовательская работа посвящена использованию компьютерного зрения в интеллектуальных системах для анализа контуров человека. С ростом технологий в различных отраслях промышленности возникает необходимость повышения эффективности систем "человек-компьютер". Предлагаемый метод использует видеокамеру и компьютерное программное обеспечение для обнаружения человека на изображении и его обработки с помощью библиотеки OpenCV и языка программирования C++. В статье рассматриваются существующие методы обнаружения человека, анализируется альтернативный метод, использующий компьютерное зрение, и разрабатывается новый метод обнаружения человека. Модификация включает в себя применение фильтра Кувахара для размытия изображения и алгоритма Собеля для выделения контуров. Области применения данной технологии включают обеспечение безопасности на транспортных узлах и в местах скопления людей, удаленный мониторинг здоровья, усиленный контроль на границах и охраняемых объектах, а также интерактивную рекламу и развлечения.
Ключевые слова: компьютерное зрение; нейронные сети; интеллектуальные системы; контур человека.
Для цитирования: Мартышкин А.И., Бершадская Е.Г., Маркин Е.И., Зупарова В.В. Модификация метода выделения контуров объекта в интеллектуальных системах. Труды ИСП РАН, том 34, вып. 6, 2022 г., стр. 127-136. DOI: 10.15514/ISPRAS-2022-34(6)-9
Modification of the Method of Object Contours Extraction in
Intelligent Systems
A.I. Martyshkin, ORCID: 0000-0002-3358-4394 <mai@penzgtu.ru> E.G. Bershadskaya, ORCID: 0000-0003-3142-7958 <bereg.50@mail.ru> E.I. Markin, ORCID: 0000-0003-4848-8757 <evgeniymarkin1@gmail.com> V.V. Zuparova, ORCID: 0000-0002-7903-083X<zuparova_vv@mail.ru> Penza State Technological University, 1a/11, Baidukova Passage/Gagarin st., Penza, 440039, Russia
Abstract. This research paper focuses on the use of computer vision in intelligent systems to analyze human contours. With the growth of technology in various industries, there is a need to improve the efficiency of human-computer systems. The proposed method uses a video camera and computer software to detect a person in the image and process it using the OpenCV library and C++ programming language. The paper reviews existing human detection methods, analyzes an alternative method that uses computer vision, and develops a new method for human detection. Modifications include the use of the Kuwahar filter for image blurring and the Sobel algorithm for outline extraction. Applications for this technology include security at transportation
hubs and crowded areas, remote health monitoring, enhanced control at borders and secure facilities, and interactive advertising and entertainment.
Keywords: computer vision; neural networks; intelligent systems; human contour.
For citation: Martyshkin A.I., Bershadskaya E.G., Markin E.I., Zuparova V.V. Modification of the Method of Object Contours Extraction in Intelligent Systems. Trudy ISP RAN/Proc. ISP RAS, vol. 34, issue 6, 2022. pp. 127-136 (in Russian). DOI: 10.15514/ISPRAS-2022-34(6)-9
1. Введение
Широкое внедрение технологий в различных отраслях промышленности во всем мире приводит к росту проектирования и информационных систем. С быстрым развитием компьютерных технологий и растущим спросом на автоматизацию возникает необходимость повышения эффективности систем "человек-компьютер". Исследования показывают, что разработка интеллектуальных самоорганизующихся систем является важнейшим направлением. Цель искусственного интеллекта - дать машинам возможность анализировать информацию и принимать решения [1]. В данном исследовании мы сосредоточились на компьютерном зрении, области, входящей в состав интеллектуальных систем, для анализа контуров человека с помощью технологии распознавания изображений. Приложения этой технологии включают в себя:
• безопасность в транспортных узлах и местах массового скопления людей,
• усиленный контроль на границах и охраняемых объектах,
• удаленный мониторинг здоровья в зонах повышенной опасности,
• интерактивная реклама и развлечения.
Предлагаемый метод использует видеокамеру и компьютер со специальным программным обеспечением для обнаружения человека на изображении. Он работает автономно и обрабатывает изображение с помощью библиотеки OpenCV и языка программирования C++. Целью данного исследования является обзор существующих методов обнаружения человека, анализ альтернативного метода с использованием компьютерного зрения и разработка нового метода обнаружения человека путем нахождения и анализа его контуров.
2. Обзор существующих методов обнаружения человека
Современные методы обнаружения человека в системах безопасности включают детекторы движения, которые используют пироэлектрические датчики для регистрации инфракрасных волн, излучаемых телами людей. Обнаружение осуществляется с помощью оптической системы, состоящей из линз Френеля и сферического расположения от 20 до 60 линз. Размер контролируемой зоны определяется количеством и расположением линз. Метод надежен, но не обладает визуальным восприятием и требует специальных устройств [2]. Другим методом обнаружения человека является измерение его движений, что может быть использовано в медицинских целях. Это можно сделать с помощью смартфонов и специальных программ, которые отслеживают фазы сна и физическую активность. Этот метод требует использования смартфона на поверхности кровати, что может не гарантировать комфорт и безопасность.
Фитнес-браслеты и смарт-часы также используются для отслеживания основных показателей здоровья человека, таких как частота сердечных сокращений, температура тела и фазы сна. Однако недостатком этого метода является требование носить устройство и возможность неточностей в измерениях. Альтернативой является система, основанная на обнаружении контуров человека с помощью компьютерного зрения, которая не требует носимых датчиков. Традиционным методом мониторинга состояния здоровья человека является использование контактных устройств, таких как носимые датчики и проводные устройства, используемые в
лабораториях. Недостатком этого метода является необходимость прямого контакта с устройствами, что не всегда может быть приемлемо. Технология обнаружения контуров человека предлагает более удобный и доступный вариант мониторинга функции дыхания без необходимости использования носимых датчиков или проводов [3].
Наконец, обнаружение человека также используется в интерактивной рекламе, где реклама реагирует на присутствие человека и привлекает его внимание.
Обнаружение человека широко используется в различных областях, включая развлечения, умные дома и обработку изображений. Одним из популярных примеров является Kinect от Microsoft, бесконтактный игровой контроллер с сенсорным экраном для Xbox 360 и персональных компьютеров под управлением Windows. Он взаимодействует с пользователем с помощью речи и движений. Другое распространенное применение - датчики движения, которые управляют различными устройствами, такими как лампочки, видеокамеры или кондиционеры, в "умных" домах.
Проблема распознавания контуров человека становится все более важной с ростом практических потребностей человека. Предлагаемое решение заключается в использовании автоматического извлечения и анализа контуров человека на различных изображениях. Анализ изображений относится к процессу извлечения информации из изображений с помощью автоматических систем, обычно путем нахождения внешнего контура объектов и регистрации координат контура. Однако определение контура на изображении может быть неоднозначным из-за таких вопросов, как масштаб, текстура и семантика. Поэтому часто предпочтительнее анализировать проблему поиска контуров на изображении, а не поиска контуров объектов [4].
Нахождение контуров на изображении имеет решающее значение для решения различных задач, таких как распознавание человека. Задача обработки изображений заключается в построении алгоритма для автоматического анализа изображений компьютером и извлечения информации.
Рис. 1. Алгоритм метода распознавания контуров человека Fig. 1. Algorithm of the human contour recognition method Обнаружение человека является областью исследований как в биологии, так и в компьютерном зрении. Эти области находятся во взаимовыгодных отношениях благодаря
междисциплинарному обмену. Предложенный метод, хотя и не является совершенным, имеет преимущество в том, что обеспечивает точные результаты при минимальных технических ресурсах и максимальном удобстве для человека. Точность предлагаемого метода можно оценить по его способности правильно распознавать контуры человека. К ограничениям предложенного метода относятся высокие требования к качеству видеокамеры.
3. Описание метода решения задачи
Метод детектирования контура человека с помощью компьютерного зрения предусматривает реализацию следующего алгоритма (рис. 1).
3.1 Алгоритмы для размытия изображения
В данном исследовании рассматривается влияние алгоритмов размытия изображения на эффективность обнаружения контуров человеком. Размытие изображения является важным этапом предварительной обработки изображения, поскольку оно способно значительно повысить точность обнаружения контуров человека [5].
Одним из широко используемых алгоритмов размытия изображения является фильтр Гаусса (рис. 2). Этот фильтр использует функцию Гаусса в качестве импульсной переходной функции, что приводит к отсутствию проскакивания и максимизации постоянной времени. Такое поведение объясняется минимально возможной групповой задержкой гауссова фильтра. Гауссовский фильтр широко используется для фильтрации двумерных сигналов и снижения уровня шума [6].
Рис. 2. Обработка изображения фильтром Гаусса Fig. 2. Processing the image with a Gaussian filter
Рис. 3. Обработка изображения медианным фильтром Fig. 3. Processing the image with a median filter
Другим популярным алгоритмом размытия изображений является медианный фильтр (рис. 3), который используется для снижения уровня шума в цифровых сигналах и изображениях. Этот фильтр сортирует значения в своем окне в порядке возрастания или убывания и выбирает в качестве выхода медианное значение, которое является значением в центре отсортированного списка. В случае четных чисел в окне, выходом является среднее значение двух центральных значений. Медианная фильтрация - эффективный подход для обработки сигналов, подверженных импульсному шуму [7].
3.2 Алгоритмы для выделения контуров объекта
После того как изображение размыто, важно выделить контуры человека, что упростит восприятие программы, поскольку четким остается только тот контур, который необходимо проанализировать. Контур определяется как линия, на которой наблюдаются изменения яркости или цвета. Важно отметить, что контуров объекта меньше, чем контуров на изображении, и поэтому требуется дополнительный анализ контуров перед определением нужных контуров объекта.
Двумя популярными алгоритмами выделения контуров являются детектор Канни (рис. 4) [8] и оператор Лапласа (рис. 5) [9, 10]. Детектор Канни, разработанный Д. Канни в 1986 году, представляет собой оператор, который определяет границы изображения. С другой стороны, оператор Лапласа используется в качестве детектора краев, и библиотека OpenCV предоставляет его дискретную реализацию - функцию Лапласа.
Рис. 4. Обработка изображения детектором Канни Fig. 4. Image processing with the Canny detector
I
7
Рис. 5. Обработка изображения оператором Лапласа Fig. 5. Image processing by the Laplace operator
Известно несколько методов распознавания контуров человека, включая метод Виолы-Джонса [11], метод сканирующего окна [12], признаки Хаара [13], модель машинного обучения [14], каскадную модель [15], гистограмму направленных градиентов [16] и другие. В данном исследовании мы анализируем характеристики существующих алгоритмов размытия изображения, выделения контуров и распознавания контуров человека, чтобы определить наиболее подходящий и эффективный алгоритм для разработки нашего проекта по распознаванию контуров человека на изображении. Модифицированный алгоритм распознавания контуров человека
Для повышения эффективности алгоритма распознавания контуров человека очень важно начать с применения алгоритма размытия изображения. В данном случае используется фильтр Кувахара (рис. 6) [17], поскольку он позволяет получить изображения с четкими границами изображенных объектов.
Рис. 6. Обработка изображения фильтром Кувахара Fig. 6. Processing the image with the Kuwahara filter Фильтр Кувахара выполняет нелинейную фильтрацию изображения, сохраняя при этом четкие края. В результате изображение выглядит как нарисованное. Маска фильтра Кувахара показана на рис. 7.
Рис. 7. Маска фильтра Кувахара Fig. 7. Kuwahara Filter Mask Алгоритм фильтра Кувахары работает следующим образом:
• маска размером (2г + 1) х (2г + 1) накладывается на все области пикселей;
• область делится на четыре сектора, имеющих размер г хг каждый;
• для каждого сектора производится расчет средней интенсивность и дисперсии;
• являющийся центральным пикселем X принимает среднее значение интенсивности сектора с наименьшей дисперсией.
После размытия изображения необходимо выделить контуры человека для более легкого восприятия программы, оставив в фокусе только контур, подлежащий анализу. Для этого используется алгоритм Собеля (рис. 8) [18], так как он надежен и дает визуально привлекательные результаты.
+ 1 +2 +1 +1 0 -1
Gy - 0 0 0 ,Gy = +2 0 -2
-1 -2 -1 +1 0 -1
Рис. 8. Обработка изображения алгоритмом Собеля Fig. 8. Image processing by the Sobel algorithm
Представленные коэффициенты оператора Собеля имеют форму матрицы, как показано в формуле (1). В центре матрицы находится коэффициент для данного пикселя, в правом нижнем углу - правый нижний коэффициент и так далее. Наконец, метод Виола-Джонса (рис. 9) непосредственно применяется к обработанному изображению. Выбор метода Виолы-Джонса для распознавания контуров человека обоснован оптимальным соотношением эффективности распознавания и скорости работы.
4. Реализация модифицированного метода распознавания контура человека
Модифицированный метод распознавания контуров человека на изображениях реализован с использованием библиотеки OpenCV и языка программирования C++. Процесс начинается с захвата изображения с видеокамеры, затем выполняется размытие и выделение контуров для повышения чувствительности системы. Затем к обработанному изображению применяется алгоритм распознавания контуров человека. Если контуры человека обнаружены, на изображении появляется зеленый прямоугольник, указывающий на их местоположение. Для оценки точности предложенного метода было проведено сравнение результатов обнаружения модифицированного алгоритма и метода Виолы-Джонса на 40 изображениях. Результаты, представленные в табл. 1, показывают, что модифицированный алгоритм имеет более низкий коэффициент ошибок типа II, что означает, что большая доля объектов была обнаружена, и более низкий коэффициент ошибок типа I, что означает меньшее количество ложных тревог. Хотя метод Виолы-Джонса имеет более короткое время обработки, он все еще отстает от модифицированного алгоритма по точности.
Рис. 9. Результат работы системы распознавания контуров человека Fig. 9. The result of the human contour recognition system
Табл. 1. Сравнительный анализ результатов детектирования контуров человека Table 1. Comparative analysis of the results of detection of human contours
Количество ложных срабатываний Доля обнаруженных объектов Время на обработку изображения (сек)
Метод Виолы- Джонса 14 79,5% 0,187
Модифицированный алгоритм 8 95,9% 0,154
5. Заключение
Модифицированный метод распознавания контуров человека с помощью компьютерного зрения является экономически эффективным, визуально воспринимаемым и адаптируемым путем усовершенствования программного обеспечения. Система состоит из компьютера, видеокамеры и набора алгоритмов для обработки изображений и распознавания контуров. Алгоритм, используемый для обработки, включает фильтр Кувахара для размытия, фильтр Собеля для выделения контуров и метод Виолы-Джонса для распознавания контуров. Результаты сравнительного анализа между предложенным методом и методом Виола-Джонса показывают, что модифицированный метод имеет меньшее количество ложных срабатываний и большую долю обнаруженных объектов.
Несмотря на свои преимущества, предложенный метод также имеет ограничения, такие как необходимость использования высококачественной видеокамеры и определенный процент ошибок. Однако преимущества использования технического зрения делают этот метод жизнеспособной альтернативой традиционным методам обнаружения человека, особенно в таких отраслях, как безопасность, медицина, реклама и развлечения. При дальнейшем совершенствовании модифицированный метод может быть интегрирован в различные приложения и достичь еще большего успеха.
Список литературы / References
[1] Gregor K., Besse F. Self-Organizing Intelligent Matter: A blueprint for an AI generating algorithm. arXiv2101.07627, 2021, 13 p.
[2] Yun J., Lee S. Human Movement Detection and Identification Using Pyroelectric Infrared Sensors. Sensors. vol. 14, issue 5, 2014, pp. 8057-8081
[3] Imano W., Kameyama K. et al. Non-Contact Respiratory Measurement Using a Depth Camera for Elderly People. Sensors, vol. 20, issue 23, 2020, pp. 1-12
[4] Бершадская Е.Г., Маркин Е.И., Мартышкин А.И. Методы идентификации личности по изображению лица. XXI век итоги прошлого и проблемы настоящего плюс, том 9, вып. 1, стр. 4953 / Bershadskaya E.G., Markin E.I., Martyshkin A.I. Methods for personal image identification. XXI Century: Resumes of the Past and Challenges of the Present plus, vol. 9, issue 1, pp. 49-53 (in Russian).
[5] Mittal M., Verma A. et al. An Efficient Edge Detection Approach to Provide Better Edge Connectivity for Image Analysis. IEEE Access, vol. 7, pp. 33240-33255
[6] Jain A., Gupta R. Gaussian filter threshold modulation for filtering flat and texture area of an image. In Proc. of the International Conference on Advances in Computer Engineering and Applications, 2015, pp. 760-763
[7] Ramadhan A., Mahmood F., Elci A. Image denoising by median filter in wavelet domain. International Journal of Multimedia & Its Applications (IJMA), vol.9, issue 1, 2017, pp. 31-40.
[8] Xu Z., Baojie X., Guoxin W. Canny edge detection based on Open CV. In Proc. of the 13th IEEE International Conference on Electronic Measurement & Instruments (ICEMI), 2017, pp. 53-56.
[9] Vliet L.J., Young I.T., Beckers G.L. A nonlinear laplace operator as edge detector in noisy images. Computer Vision, Graphics, and Image Processing, vol. 45, issue 2, 1989, pp. 167-195
[10] Bansal R., Raj G., Choudhury T. Blur image detection using Laplacian operator and Open-CV. In Proc. of the International Conference on System Modeling & Advancement in Research Trends (SMART), Moradabad, India, 2016, pp. 63-67
[11] Damanik R.R., Sitanggang D. et al. An application of viola jones method for face recognition for absence process efficiency. Journal of Physics: Conference Series, vol. 1007, 2018, article id. 012013, 8 p.
[12] Shakil S., Lee C., Keilholz S.D. Evaluation of sliding window correlation performance for characterizing dynamic functional connectivity and brain states. Neurolmage, vol. 133, 2016, pp. 111-128.
[13] Ma S. Bai L. A face detection algorithm based on Adaboost and new Haar-Like feature. In Proc. of the 7th IEEE International Conference on Software Engineering and Service Science (ICSESS), 2016, pp. 651654.
[14] Sun X., Wu P., Hoi C.H. Face detection using deep learning: An improved faster RCNN approach. Neurocomputing, vol. 299, 2018, pp. 42-50.
[15] Singh A., Herunde H., Furtado F. Modified Haar-cascade model for face detection issues. International Journal of Research in Industrial Engineering, vol. 9, issue 2, 2022, pp.143-171.
[16] Eng S. K., Ali H. et al. Facial expression recognition in JAFFE and KDEF Datasets using histogram of oriented gradients and support vector machine. IOP Conference Series: Materials Science and Engineering, vol. 705, 2019, article id. 012031, 7 p.
[17] Biswas S., Ghoshal D. A model of noise reduction using Gabor Kuwahara filter. In Proc. of the 4th International Conference on Advanced Computing and Communication Systems (ICACCS), 2017, pp. 15
[18] Lang Y., Zheng D. An Improved Sobel Edge Detection Operator. In Proc. of the 2016 6th International Conference on Mechatronics, Computer and Education Informationization (MCEI 2016), 2016, pp. 590593.
Информация об авторах / Information about authors
Алексей Иванович МАРТЫШКИН - кандидат технических наук, доцент, заведующий кафедрой «Программирование». Сфера научных интересов: обработка данных, моделирование вычислительных систем, исследование высокопроизводительных систем, распределенные вычислительные системы.
Alexey Ivanovich MARTYSHKIN - Candidate of Technical Sciences, Associate Professor, Head of the Department "Programming". Research interests: data processing, modeling of computing systems, research of high-performance systems, distributed computing systems. Елена Григорьевна БЕРШАДСКАЯ - кандидат технических наук, профессор, профессор кафедры «Программирование». Сфера научных интересов: системы массового обслуживания, большие данные, распределенные вычислительные системы.
Elena Grigorievna BERSHADSKAYA - Candidate of Technical Sciences, Professor, Professor of the Department of Programming, Penza State Technological University. Research interests: queuing systems, big data, distributed computing systems.
Евгений Игоревич МАРКИН - кандидат технических наук, ассистент кафедры «Программирование». Сфера научных интересов: распознавание образов, обработка цифровых изображений, системы компьютерного зрения, машинное обучение и нейронные сети.
Evgeny Igorevich MARKIN - Candidate of Technical Sciences, Assistant of the Department "Programming". Research interests: pattern recognition, digital image processing, computer vision systems, machine learning and neural networks.
Валентина Владимировна ЗУПАРОВА - аспирант кафедры «Программирование». Сфера научных интересов: обработка данных, распознавание образов, распределенные вычислительные системы.
Valentina Vladimirovna ZUPAROVA - Postgraduate Student of the Department of Programming. Research interests: data processing, pattern recognition, distributed computing systems.
