CC BY
20
МАШИНЫ, АГРЕГАТЫ И ТЕХНОЛОГИЧЕСКИЕ ПРОЦЕССЫ
УДК 621.778.1
DOI: 10.24412/2071-6168-2023-4-643-649
ДЕТЕКЦИЯ И КЛАССИФИКАЦИЯ ДЕФЕКТОВ СТАЛЬНЫХ КАНАТОВ ЛИФТОВ С ИСПОЛЬЗОВАНИЕМ КОМПЬЮТЕРНОГО ЗРЕНИЯ
А.А. Короткий, А.В. Панфилов, А.Р. Юсупов
Рассмотрена возможность применения глубоких нейронных сетей для обнаружения поверхностных дефектов стальных канатов, а именно износ (wear), обрыв наружных проволок (break) и температурное воздействие (thunderbolt). Подготовлена и размечена база данных дефектов, которая использовалась для обучения нейросетевой модели. Проведена оценка качества работы нейронной сети.
Ключевые слова: стальной канат, компьютерное зрение, нейронная сеть, распознавание дефектов.
На территории Российской Федерации эксплуатируется более 450 тысяч лифтов. Анализ аварийности и травматизма на пассажирских лифтах показал [1], что наиболее вероятной аварией, инцидентом или несчастным случаем являются возникающие дефекты в стальных канатах, которые развиваются во времени и влекут за собой падение кабины до момента ее остановки в ловителях.
Дефекты стальных канатов могут привести к авариям на лифтах, поскольку канаты являются ключевым элементом, обеспечивающим безопасность пассажиров. Дефекты на канатах могут привести к обрыву каната, который может вызвать падение кабины лифта и серьезные травмы или смерть пассажиров [2-3].
Работы на лифтах регламентированы [5, 6] и предусматривают проведение персоналом с периодичностью примерно один раз в месяц визуального и измерительного контроля (далее ВИК) [7] стальных канатов с целью выявления дефектов, что не позволяет в полной мере оценить реальные риски из-за отсутствия у персонала современных и надежных средств контроля.
Следует отметить, что у лифтов, в зависимости от высоты подъема и его грузоподъемности, используется от 3 до 12 и более параллельно расположенных канатов со сложной системой уравновешивания. Работы по оценке технического состояния канатов в соответствии с регламентом проводятся персоналом визуальным осмотром человеческим глазом и связаны с работой на высоте, в сложных стесненных условиях и при ограниченной освещенности. Из практики работы по обслуживанию лифтов известно, что после наблюдения за движущимся стальным канатом более 10 минут человеческий глаз устает, перестает воспринимать дефекты, которые характеризуются более чем 6-ю различными браковочными параметрами.
Дефекты в стальных кантах возникают при длительной эксплуатации от знакопеременных нагрузок, соприкосновения с механическим оборудованием или внешней средой в шахте лифта, в том числе из-за электрического дугового разряда; ненадлежащего качества поставляемого стального каната; неисправностями механических частей лифта и пр.
Дефекты «обрывы наружных проволок», представленные на рис. 1, являются наиболее частыми дефектами стальных канатов прядевой конструкции, их возникновение обусловлено суммированием знакопеременных напряжений, вызванных изгибом каната на отклоняющих роликах и шкивах, с напряжениями растяжения от изменяющейся во времени циклической нагрузки. Многократное воздействие суммарных переменных напряжений приводит к усталости металла, излому и обрыву проволок.
Повреждение каната в результате «электрического дугового разряда» определяется по изменению цвета и наличию на поверхности каната сажи, обгорелости, характерного изменения цвета. Характерный дефект из-за температурного воздействия на канат представлен на рис. 2.
Дефект типа поверхностный износ представлен на рис. 3. Процесс обнаружения дефектов, находящихся в движении стальных канатов на лифтовых установках, является сложной и исключительно важной задачей, обеспечивающей безопасность всей лифтовой установки.
Рис. 1. Обрывы проволок стальных канатов
Рис. 2. Дефект из-за температурного воздействия на стальной канат
Рис. 3. Износ наружных проволок
Для решения задачи повышения безопасности лифтов авторами статьи предложен программно-аппаратный комплекс визуально-измерительного контроля (далее ПАК ВИК), имитирующий когнитивные функции человека по обнаружению дефектов в стальных канатах, такие как зрение и самообучение, что позволяет значительно уменьшить риск возникновения аварии и инцидентов [8, 9].
Предлагаемый ПАК ВИК позволяет заменить когнитивные функции человека, связанные с визуальным контролем персоналом стальных канатов, который зависит от их психофизического состояния: длительное наблюдение движущегося каната притупляет внимание и повышает вероятность пропуска дефектов.
Многочисленные работы [10-13], где проведен сравнительный анализ актуальных нейросете-вых детекторов показывают, что на данном этапе модель YOLO является одной из самый быстрых и точных. Целью данной работы является попытка применить этот алгоритм к вышеизложенной задаче.
В данной статье рассмотрен алгоритм поиска дефектов при помощи компьютерного зрения, позволяющий определять дефекты стального каната в виде «обрывов наружных проволок», «поверхностного износа» и повреждения поверхности в результате «электрического дугового разряда».
Для поиска и классификации дефектов используется модифицированная версия нейросетевой модели YOLOv5 [14-16]. Алгоритм YOLO эффективно показывает себя в задачах обнаружения и классификации объектов. Изменения коснулись гиперпараметров при обучении и тестировании модели с использованием подготовленного датасета поверхностных дефектов стальных канатов.
В общем виде процесс создания нестроевой модели содержит 4 основных этапа: подготовка и загрузка датасета; аннотация датасета (разметка); обучение нейронной сети; развертывание модели.
Модель работает следующим образом: на вход подаются изображения дефектов, далее создается карта признаков с помощью глубокой нейронной сети, затем эти признаки анализируются, выдавая на выходе позиции и размеры ограничивающих рамки для трех классов дефектов. На рис. 4 представлены алгоритмы создания датасета, обучения модели и работы нейросети.
В рассмотренном алгоритме используется известный «индекс достоверности», выражающий вероятность успешного обнаружения объекта в ограничивающей рамке и вероятности того, что обнаруженный дефект имеет соответствующий класс.
Обучение нейронной сети сводится к трем операциям:
- изображения датасета [17] преобразуются под размер 640x640 пикселей;
- изображение делятся на якорные прямоугольники;
- детасет с дефектами пропускается через созданную нейронную сеть, в которой уже определены классы и размеры якорных прямоугольников с дефектами.
При обучении нейронной сети устанавливался порог достоверности для метрики IoU [18]. Порог достоверности необходим для установления факта, что дефект расположен внутри предсказанного прямоугольника c заданной вероятностью.
Для фильтрации ограничивающих рамок используется алгоритм NMS (non-max suppression) (см. рис. 5 [19]).
Создание датасета
Обучение модели
Детектор дефектов каната
Начало
Получение и подготовка изображений канат он с дофсиатми для обучения
Аннотация данных
Содонив длгасета (получение обучающей.
тестовой выборки]
i
Конец
■--->1 Загрузка датасета
Выбор параметров и инициализация
Модель определения дефектов стальных канатов
Конец
1
J
Получение
камер ПАК ВИК
Загрузка модели
I
Предсказание класса и положения дефекта
Вывод результатов
Конец
J
Рис. 4. Алгоритм создания и обучения нейросетевой модели YOLO
Рис. 5. Применение фильтра non-max suppression
Для разметки (аннотации) датасета использовалась утилита Computer Vision Annotation Tool [20]. Было размечено 2384 фотографий с тремя дефектами: обрыв проволоки, поверхностный износ и температурное воздействие. На каждом изображении может присутствовать несколько дефектов разного класса (рис. 6).
Для расширения исходного датасета была проведена аугментация данных, в итоге обучающая выборка была увеличена до 3588 изображений. Далее в соотношении 70 %, 20 % и 10 % датасет был разбит на обучающую, валидационную и тестовую выборки соответственно.
Для обучения нейросетевой модели использовалась модель YOLOv5s, которая имеет 7M параметров и способна распознавать до 80 классов. Обучение модели заняло около 3 часов на видеокарте RTX 3090 Ti.
В результате работы нейросети получаются изображения, представленные на рис. 7 с обозначением детектированных дефектов стальных канатов «обрывы проволок» и «температурное воздействие» со значениями достоверности.
1 э
е
Рис. 6. Количество экземпляров дефектов каждого класса в обучающей выборке
Рис. 7. Пример детекции дефектов в виде ограничивающих рамок
Алгоритм обнаруживает, локализует и классифицирует каждый из трех дефектов, создавая ограничительную рамку вокруг него с указанием процента достоверности. Обработка одного кадра в среднем занимает 2,7-3 мс.
Для оценки качества работы нейросети были выбраны следующие метрики: mAP - среднее значение точности по всем классам (рис. 8, 9); AP - средняя точность по каждому отдельному классу (рис. 9); Precision Recall - кривая точности и полноты (рис. 8); матрица ошибок (рис. 10).
Precision-Recall Curve
break 0.768 thunderbolt 0.906 wear 0.760
all classes 0.B11 mAP@0.5
0.4 0.6
Recall
Рис. 8. Кривая precision-recall
На рис. 9 представлена информация о результатах обучения. В столбцах P, R, mAP@.5 - записаны значения метрик precision, recall и mAP соответственно. По окончании обучения приводятся значения этих метрик по каждому классу для модели с наилучшими весами.
Class Images Instances P R ГЧДР50
all 306 513 0. .776 0.776 0.811 0.326
break 390 260 0, .813 0,719 0.768 0.28
thunderbolt 300 152 0. .862 0.895 0.906 0.397
wear 300 161 0. .653 0.714 0.76 0.3
Рис. 9. Результат обучения нейронной сети
После испытаний и изменения гиперпараметров, удалось достичь следующих показателей: mAP - 81 %, точность (Precision) - 77 %, полнота (recall) - 77 %.
Проведенные эксперименты показали, что использование ПАК ВИК с алгоритмом YOLOv5 позволяет определять дефекты на стальных канатах с достаточной точностью. YOLOv5 успешно выполнила обнаружение и классификацию дефектов на предоставленных тестовых изображениях, причем каждое обнаружение занимало в среднем 3 мс.
Следует также отметить, что результаты в данной работе получены на относительно небольшой обучающей выборке, что накладывает ограничения на качество работы сети. Дальнейшая работа включает более серьезные модификации гиперпараметров и, возможно, добавления или удаления определенных слоев. Точность также может быть улучшена в случае увеличения обучающей выборки.
Список литературы
1. Информация по аварийности и травматизму на лифтах, подъемных платформах для инвалидов и эскалаторах в 2022 году. [Электронный ресурс]. URL: http://priok.gosnadzor.ru/activity/control/building/lift/avarii (дата обращения: 27.04.2023).
2. Сероштан В.И., Витчук П.В. Факторы, влияющие на техническое состояние и диагностирование канатов лифтовых установок // Известия Тульского государственного университета. Технические науки. 2013 Вып. 7. Ч. 1. С. 199-208.
3. Анцев В.Ю., Витчук П.В., Плахова Е.А. Взаимосвязь характеристик пассажиропотока здания и износа лифтовых канатоведущих шкивов // Механика и физика процессов на поверхности и в контакте твердых тел, деталей технологического и энергетического оборудования: межвуз. сб. науч. тр. / Под ред. В.В. Измайлова. Тверь: ТвГТУ, 2013. Вып. 6. С. 110-114.
4. Будрин С.Б. Ресурс стальных канатов грузоподъемных машин // Проблемы транспорта Дальнего Востока. 2019. Т. 1. С. 66-71.
5. ГОСТ Р 55964-2014. Лифты. Общие требования безопасности при эксплуатации. М.: Стан-дартинформ, 2014. 14 с.
6. ГОСТ Р 54999-2012. Лифты. Общие требования к инструкции по техническому обслуживанию лифтов. М.: Стандартинформ, 2013. 14 с.
7. ГОСТ Р EN 13018-2014. Контроль визуальный. Общие положения. М.: Стандартинформ,
2015. 6 с.
8. Патент 2775348 РФ. Способ визуально-измерительного контроля стального каната / А.А. Короткий, А.В. Панфилов, И.А. Панфилов, А.Р. Юсупов, В.И. Марчук. Опубл. 29.06.2022. Бюл. № 19.
9. Интегральная оценка риска при диагностике стальных канатов с использованием компьютерного зрения / А.В. Панфилов, Н.Н. Николаев, А.Р. Юсупов, А.А. Короткий // Безопасность техногенных и природных систем. 2023. № 1. С. 56-69.
10. On the suitability of different features for anomaly detection in wire ropes. In computer vision, imaging and computer graphics / E.-S. Platzer, H. Süße, J. Nägele [et al.] // Theory and Applications. 2010. P. 296-308.
11. Haythem Bahri, David Krcmarik, Jan Koci. Accurate object detection system on hololens using YOLO algorithm // Conference: 2019 International Conference on Control, Artificial Intelligence, Robotics & Optimization (ICCAIRO) At: Greece. December 2019. D0I:10.1109/ICCAIR047923.2019.00042.
12. Rachala R.R., Panicker M.R. Hand-drawn electrical circuit recognition using object detection and node recognition // SN Computer Science. 2022. 3:244. DOI: 10.1007/s42979-022-01159-0.
13. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement // Computer Vision and Pattern Recognition (cs.CV). [Электронный ресурс]. 2018. 8. Apr URL: https://doi.org/10.48550/arXiv.1804.02767 (дата обращения: 27.04.2023).
14. Zhong-Qiu Zhao, Peng Zheng, Shou-tao Xu, Xindong Wu. Object Detection with Deep Learning: A Review // arXiv:1807.05511v2 [cs.CV] 16 Apr 2019. [Электронный ресурс] URL: https://doi.org/10.48550/arXiv.1807.05511 (дата обращения: 27.04.2023).
15. YOLO model. [Электронный ресурс] URL: https://github.com/ultralytics/yolov5 (дата обращения: 27.04.2023).
16. Васильев П.В., Сеничев А.В. Применение нейросетевых технологий в задаче контроля поверхностных дефектов // Известия высших учебных заведений. Северо-кавказский регион. Технические науки. 2020. № 1. С. 33-40. DOI: 10.17213/1560-3644-2020-1-33-40.
17. База данных 2022622779 РФ. Видеопотоки типовых дефектов стальных канатов / А.А. Короткий, А.В. Панфилов, Р.Б. Бондаренко, И.А. Садртдинов, А.Р. Юсупов. Опубл. 08.11.2022.
18. Сичкар В.Н., Колюбин С.А. Детектирование и классификация дорожных знаков в реальном времени на основе алгоритма YOLO версии 3 // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 3. С. 418-424.
19. Non Maximum Suppression. [Электронный ресурс] URL: https://paperswithcode.com/method/non-maximum-suppression (дата обращения: 27.04.2023).
20. Computer Vision Annotation Tool. [Электронный ресурс] URL: https://github.com/opencv/cvat (дата обращения: 27.04.2023).
Короткий Анатолий Аркадьевич, д-р техн. наук, профессор, заведующий кафедрой, korot@novoch. ru, Россия, Ростов-на-Дону, Донской государственный технический университет,
Панфилов Алексей Викторович, канд. техн. наук, доцент, panfilov@ikcmysl. ru, Россия, Ростов-на-Дону, Донской государственный технический университет,
Юсупов Александр Рашидович, старший преподаватель, temple _black@mail.ru, Россия, Ростов-на-Дону, Донской государственный технический университет
DETECTION AND CLASSIFICATION OF DEFECTS IN STEEL ROPES OF ELEVATORS USING
COMPUTER VISION
A.A. Korotkiy, A.V. Panfilov, A.R. Yusupov
The possibility of using deep neural networks to detect surface defects of steel ropes, namely wear (wear), breakage of outer wires (break) and temperature effects (thunderbolt) is considered. A database of defects was prepared and marked up, which was used to train the neural network model. An assessment of the quality of the neural network was carried out.
Key words: steel rope, computer vision, neural network, defect recognition.
Korotky Anatoly Arkadevich, doctor of technical science, professor, manager of department, ko-rot@novoch.ru, Russia, Rostov-on-Don, Don State Technical University,
Panfilov Aleksey Viktorovich, candidate of technical science, docent, panfilov@jkcmysl.ru, Russia, Rostov-on-Don, Don State Technical University,
Yusupov Aleksandr Rashidovich, senior lecturer, temple_black@mail.ru, Russia, Rostov-on-Don, Don State Technical University
