CC BY
20
Использование нейросетевых детекторов для предотвращения несчастных случаев на производстве
В.А. Егунов, П.Д. Кравченя, Е.И. Большакова, З.Ш. Сутенова Волгоградский государственный технический университет
Аннотация: В данной статье рассматриваются особенности использования нейросетевых детекторов в задачах распознавания защитных шлемов и касок. В наши дни безопасность на рабочем месте становится все более актуальной темой, в особенности, в отраслях с высоким уровнем травматизма. Наблюдаются несчастные случаи, вызванные нарушением правил и норм на рабочих площадках, среди них случаи, связанные с несоблюдением правил ношения защитных касок. В статье исследуются методы и алгоритмы для распознавания защитных шлемов и касок, оценивается их эффективность. Ключевые слова: свёрточная нейронная сеть, распознавание объектов, защитные шлемы, каски, машинное обучение, глубокое обучение, классификация изображений.
Введение. Безопасность на рабочем месте становится все более актуальной темой, в особенности, в отраслях с высоким уровнем травматизма. К сожалению, в настоящее время все еще наблюдаются несчастные случаи, вызванные нарушением правил и норм на рабочих площадках. Среди них случаи, связанные с несоблюдением правил ношения защитных касок. Неэффективный надзор и низкая осведомленность рабочих часто приводит к непредотвратимым последствиям.
В настоящее время существует множество подходов к решению данной проблемы. Большинство из них используют методы компьютерного зрения, такие как обнаружение объектов, сегментация изображений и анализ текстур. Но, с развитием технологий машинного обучения, все большее количество исследований сосредотачивается на использовании нейросетевых методов [1].
Исследование методов и алгоритмов для распознавания защитных шлемов и касок. Анализ источников литературы в сфере современных подходов к процессу распознавания защитных шлемов и касок позволил выделить основные направления исследования в данной области.
и
Необходимо отметить, что исследователи часто применяют следующие архитектуры нейросетевых детекторов: Single Shot MultiBox Detector (SSD -одноэтапный многопозиционный детектор) (рис.1) [2], You Only Look Once(YOLO - одноэтапный детектор «ты смотришь только один раз») (рис.2) [3] и Faster Region-based Convolutional Neural Network (Faster R-CNN -«быстрая сверточная нейронная сеть, основанная на регионах») (рис.3) [4].
Рис. 1. - Архитектура SSD [2]
Рис. 2. - Архитектура YOLO [2]
Рис. 3. - Архитектура Faster R-CNN [4]
Отдельно стоит сказать о том, что к области нашего исследования можно отнести работы, посвященные распознаванию защитных мотоциклетных шлемов [5 - 7]. Как и каски, используемые в качестве средств индивидуальной защиты, мотоциклетные шлемы уменьшают количество несчастных случаев. Объектом обнаружения во всех этих работах является защитный шлем для мотоциклистов и их пассажиров, при этом авторы работ предлагают разные пути решения этой задачи.
В публикации [5] предлагают систему, состоящую из следующих модулей: сбора видео и изображений, обучения, обнаружения шлема и дополнительной функциональности (фиксирование номерных знаков мотоциклистов без шлема). Авторы применяют архитектуры SSD и YOLO.
В системе в каждом видеокадре обрезается область с мотоциклом и ее водителем. Далее, из полученных изображений вырезается область головы и сохраняется отдельно. На части этих данных создается пользовательская модель обучения, а другая часть непосредственно используется для тестирования. Наконец, модель YOLO используется для обнаружения номерных знаков мотоциклистов без шлемов.
В работе [6] предлагается автоматическая система наблюдения, которая включает камеры для захвата водителя и номерного знака; функцию, похожую на функцию Хаара, для обнаружения лица мотоциклиста; метод кругового преобразования Хафа для определения того, в шлеме мотоциклист или нет. Для эффективной работы системы функция, подобная функции Хаара, и круговое преобразование Хафа должны работать согласованно. Отказ одного из них может привести к ошибочным результатам системы. Например, преобразование Хафа может спутать любые другие похожие (круглые) объекты со шлемом, если функция Хаара не может обнаружить лицо.
Большинство других литературных источников можно разделить на две группы. Одна из них посвящена алгоритмам распознавания касок с помощью уже ранее упомянутого метода YOLO разных версий, в том числе, улучшенные алгоритмы на основе того же метода, другая - на основе SSD. Подробнее рассмотрим идею этих алгоритмов.
Традиционное распознавание ношения защитного шлема основано только на цвете, форме, текстуре и других характеристиках изображения, на которое сильно влияет внешняя среда, к тому же скорость распознавания нестабильна. Ввиду этих проблем в работе [8] исследуется метод распознавания защитных касок на основе искусственного интеллекта. После предварительной обработки изображения, а именно, преобразования изображения в серый цвет и шумоподавления, непосредственно находятся люди, положение головы каждого из них, и наконец, определяется наличие каски. Распознавание каски реализовано с использованием алгоритма YOLO. Результаты моделирования показывают, что средняя точность распознавания составляет 95, 2%.
В статье [9] представлено исследование усовершенствованного метода на основе YOLOv5, в котором решаются проблемы, вызванные сложным фоном строительной среды, плотными объектами и неправильной формой защитных касок. Извлечение признаков в большей степени основано на форме цели с помощью деформируемой свёрточной нейронной сети вместо обычной свёртки; введен модуль для ослабления влияния признаков сложного фона при определении цели, а для преодоления проблемы ошибочного определения при скоплении людей обобщенное пересечение классов объектов заменено на пересечение с учетом расстояния между головой и каской. Улучшенная модель имеет точность обнаружения 91,6%, что на 2,3% больше по сравнению с исходной сетевой моделью, и скорость
обнаружения 29 кадров в секунду, что соответствует частоте кадров захвата большинства камер видеонаблюдения.
Алгоритм [10] также позволяет обнаружить более мелкие цели благодаря замене алгоритма немаксимального подавления (Non-Maximum Suppression - NMS) на алгоритм немаксимального подавления, использующий меру точности с нормализованным расстоянием между предсказанным и целевым блоками (Distance Intersection over Union NMS -DIoU-NMS). Последний алгоритм учитывает площадь перекрытия и расстояние между центрами двух рамок, он дает более точные прогнозы. Экспериментальные результаты показывают, что предложенный алгоритм значительно повышает точность по сравнению с исходной моделью YOLOv5, при этом скорость обнаружения составляет 98 кадров в секунду.
Для решения проблемы низкой точности и низкой надежности традиционных методов обнаружения в работе [7] предлагается метод, основанный на SSD. Многослойная структура описанного метода, с учетом неглубокой и глубокой семантической информации, повышает чувствительность сети к обнаружению мелких целей, а облегченная сетевая структура уменьшает количество параметров модели. Результаты показывают, что точность обнаружения модели составляет 86,75%, что совпадает с точностью SSD, при этом значительно улучшена скорость обнаружения. Это говорит о том, что улучшенная сетевая модель может значительно повысить скорость обнаружения, обеспечивая при этом точность обнаружения в реальном времени. Результаты экспериментов показывают, что модель на основе глубокого обучения с использованием улучшенного алгоритма SSD способна обнаруживать нарушителей на строительной площадке с удовлетворительной точностью и эффективностью.
Ряд научных работ посвящен вопросам проектирования аналогичных систем с помощью сверточной нейронной сети CNN и алгоритма Faster-R-
CNN. В качестве вспомогательных средств здесь используется фильтр Калмана для отслеживания цели на видео и решения проблемы окклюзии на видеоизображении. Точность распознавания цели достигает 85,7%, а скорость - 87,5%. В свою очередь, область головы можно точно определить с помощью перекрестной проверки распознавания черт лица и головы, что решает проблему определения положения головы человека, который находится в сложной позе. YOLOv3 в данной работе используется для обнаружения износа шлема, а также для определения соотношения положения шлема и человеческого тела. К значительному минусу предлагаемой системы можно отнести ее неспособность работать в режиме реального времени.
Также предлагаются системы для обнаружения шлемов, основанные на алгоритме YOLOv4 в сочетании с сетью MobileNet, которые достигли хороших результатов с точки зрения точности и скорости обнаружения. Значения средней точность (mean average precision - mAP) и числа кадров в секунду (Frames per Second - FPS), вычисленные в данной работе превосходят результаты некоторых подобных статей.
Довольно неплохую точность показывает алгоритм, основанный на сочетании двухканальной свёрточной нейронной сети (Deep Convolutional Neural Network - DCNN) и метода случайного леса. Экспериментальные результаты показывают, что глубокое обучение тесно связано с традиционными методами машинного обучения. Кроме того, предлагаемый метод позволяет эффективно устранять проблемы, связанные с положением объектов на сложном фоне.
В ряде других исследований представлены результаты сравнения систем, позволяющих распознать защитные шлемы и каски. Благодаря таким работам, можно выделить слабые и сильные стороны существующих систем. Так, к примеру, предлагаются новые алгоритмы обнаружения на основе
YOLOv3, которые повышают скорость и точность обнаружения сети. Немалую роль в этом сыграли замена модуля, отвечающего за избежание исчезновения уклона (градиента), а также улучшение разрешающей способности входного изображения с целью дальнейшего повышения эффективности обнаружения мелких целей. Экспериментальные результаты показывают, что по сравнению с исходным алгоритмом улучшенная его версия повышает точность с 88,4% до 92,3%, а FPS - с 13,8 до 28,9.
Заключение. Таким образом, наиболее эффективным методом для определения наличия каски на голове рабочего являются методы, основанные на свёрточных нейронных сетях, благодаря их способности к автоматическому извлечению признаков из изображений и высокой точности обнаружения объектов.
Однако существующие системы имеют свои ограничения и требуют дополнительной настройки для повышения эффективности определения наличия каски на головах рабочих в условиях, подвергаемых изменению освещения или наличия фонового шума.
Литература
1. Гушанский С.М., Буглов В.Е. Разработка гибридной нейросети для классификации изображений. Инженерный вестник Дона, 2023. №1. URL: ivdon.ru/ru/magazine/archive/n1y2023/8150.
2. Mirkhan A. YOLO Algorithm: Real-Time Object Detection from A to Z. Kili. URL: kili-technology.com/data-labeling/machine-learning/yolo-algorithm-real-time-object-detection-from-a-to-z.
3. Никитин Д.В., Тараненко И.С., Катаев А. В. Детектирование дорожных знаков на основе нейросетевой модели YOLO. Инженерный вестник Дона, 2023. №7. URL:
ivdon.ru/uploads/article/pdf/IVD_8_6_y23_Nikitin_Taranenko_Kataev.pdf_59e3
bb3462.pdf.
4. Barba-Guaman, L., Naranjo, J.E., Ortiz, A., Gonzalez, J.G.P. Object Detection in Rural Roads Through SSD and YOLO Framework. Trends and Applications in Information Systems and Technologies.Advances in Intelligent Systems and Computing, vol 1365. Springer, 2021. pp. 176-185.
5. Noel C., Yashaswini A., Shanta B. Automatic Helmet Detection System on Motorcyclists Using YOLOv3. International Journal for Research in Applied Science & Engineering Technology. 2020. № 5. pp. 2763-2766.
6. Nikhita C., Chaithanya S., Deeksha P., Shyma Z. Helmet Detection on Two-Wheelers and Number Plate Recognition using Image Processing. International Journal of Recent Technology and Engineering. 2019. № 28. pp. 1822-1824.
7. Santhosh A., Augusthy J,, Sunil L., Madhusudhanan N., Sivankutty S. Real-Time Helmet Detection of Motorcyclists without Helmet using Convolutional Neural Network. International Journal for Research in Applied Science & Engineering Technology. 2020. № 7. pp. 1112-1116.
8. Yan G., Sun Q., Huang J., Chen Y. Helmet Detection Based on Deep Learning and Random Forest on UAV for Power Construction Safety. Journal of Advanced Computational Intelligence and Intelligent Informatics. 2020. № 28. pp. 40-49.
9. Li Y., Wei H., Han Z., Huang J., Wang W. Deep Learning-Based Safety Helmet Detection in Engineering Management Based on Convolutional Neural Networks. Hindawi. 2020. № 21. pp. 182 -191.
10. Sun Y., Fu J., Ma Q., Yu X., Fan G. Research on Wear Recognition of Electric Worker's Helmet Based on Neural Network. Journal of Physics. 2020. № 1449. pp. 22-31.
References
1. Gushanskij S.M., Buglov V.E. Inzhenernyj vestnik Dona, 2023, №1. URL: ivdon.ru/ru/magazine/archive/n1y2023/8150
2. Mirkhan A. Kili. URL: kili-technology.com/data-labeling/machine-learning/yolo-algorithm-real-time-object-detection-from-a-to-z.
3. Nikitin D.V., Taranenko I.S., Kataev A. V. Inzhenernyj vestnik Dona, 2023, №7. URL:
ivdon.ru/uploads/article/pdf/IVD_8_6_y23_Nikitin_Taranenko_Kataev.pdf_59e3
bb3462.pdf.
4. Barba-Guaman, L., Naranjo, J.E., Ortiz, A., Gonzalez, J.G.P. Trends and Applications in Information Systems and Technologies.Advances in Intelligent Systems and Computing, vol 1365. Springer, 2021. pp. 176-185.
5. Noel C., Yashaswini A., Shanta B. International Journal for Research in Applied Science & Engineering Technology. .2020. № 5. pp. 2763-2766.
6. Nikhita C., Chaithanya S., Deeksha P., Shyma Z. International Journal of Recent Technology and Engineering. 2019. № 28. pp. 1822-1824.
7. Santhosh A., Augusthy J,, Sunil L., Madhusudhanan N., Sivankutty S. International Journal for Research in Applied Science & Engineering Technology. 2020. № 7. pp. 1112-1116.
8. Yan G., Sun Q., Huang J., Chen Y. Journal of Advanced Computational Intelligence and Intelligent Informatics. 2020. № 28. pp. 40-49.
9. Li Y., Wei H., Han Z., Huang J., Wang W. Hindawi. 2020. № 21. pp. 182 -191.
10. Sun Y., Fu J., Ma Q., Yu X., Fan G. Journal of Physics. 2020. № 1449. pp. 22-31
