Научная статья на тему 'АЛГОРИТМИЗАЦИЯ ЗАДАЧИ ВИДЕОСКОПИЧЕСКОГО КОНТРОЛЯ СОСТОЯНИЯ СТАЛЬНЫХ КАНАТОВ'

АЛГОРИТМИЗАЦИЯ ЗАДАЧИ ВИДЕОСКОПИЧЕСКОГО КОНТРОЛЯ СОСТОЯНИЯ СТАЛЬНЫХ КАНАТОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
51
18
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ДЕФЕКТЫ КАНАТОВ / КОНТРОЛЬ ИНСТРУМЕНТАЛЬНЫЙ / КОМПЬЮТЕРНОЕ ЗРЕНИЕ / ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Панфилов А. В., Юсупов А. Р., Гавриков М. М., Синецкий Р. М.

В работе рассмотрена задача автоматизации контроля технического состояния стальных канатов, которые являются элементами многих промышленных и гражданских установок и машин, таких как лифты, канатные дороги, подъемники и т.д. На сегодняшний день оценка состояния стальных канатов и безопасности их эксплуатации выполняется преимущественно посредством визуального и инструментального контроля, занимающего много времени и подверженного влиянию человеческого фактора, что обуславливает актуальность задачи автоматизации данного процесса с использованием средств вычислительной техники и методов искусственного интеллекта. В статье предложены два подхода к алгоритмизации задачи видеоскопического контроля состояния стальных канатов с использованием технологий компьютерного зрения, основанных на программном моделировании логики визуального анализа и функции самообучения, с применением искусственных нейронных сетей глубокого обучения. Авторами разработаны алгоритмы автоматического обнаружения основных типов дефектов в изображениях поверхности стальных канатов: увеличение/уменьшение диаметра, деформации в виде волнистости, обрывов наружных проволок, повреждений в результате температурного воздействия или электрического дугового разряда. В работе приведены результаты предварительной апробации разработанных алгоритмов и программ, предложены состав и способы определения основных показателей для оценки их эффективности.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Панфилов А. В., Юсупов А. Р., Гавриков М. М., Синецкий Р. М.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

ALGORITHMIZATION OF THE PROBLEM OF VIDEOSCOPIC EVALUATION OF THE STEEL ROPES STATE

The paper considers the problem of monitoring the technical state of steel ropes used in industrial and civil installations, such as elevators, cable cars, lifts, etc. To date, the assessment of the state of steel ropes and the safety of their operation is carried out mainly through visual-instrumental control, which is long in time and subject to the influence of the human factor, which determines the relevance of the task of automating this process using computer technology and artificial intelligence methods in order to improve the quality of the assessment, reducing the check interval, detecting defects in steel ropes at an early stage. The article proposes two approaches to the algorithmizing of the problem of videoscopic control of the state of steel ropes using computer vision technologies, based on software modeling of the logic of visual analysis and machine learning methods, such as deep learning artificial neural networks. The authors have developed algorithms for automatic detection of the main types of defects in images of the surface of steel ropes: increase/decrease in diameter, deformation in the form of rope, breaks in the outer wires, thermal and electric damage. The paper presents the results of preliminary testing of the developed algorithms and programs, the composition and methods for determining the main indicators for evaluating their effectiveness are proposed.

Текст научной работы на тему «АЛГОРИТМИЗАЦИЯ ЗАДАЧИ ВИДЕОСКОПИЧЕСКОГО КОНТРОЛЯ СОСТОЯНИЯ СТАЛЬНЫХ КАНАТОВ»

УДК 629.1.05

АЛГОРИТМИЗАЦИЯ ЗАДАЧИ ВИДЕОСКОПИЧЕСКОГО КОНТРОЛЯ СОСТОЯНИЯ СТАЛЬНЫХ КАНАТОВ

ALGORITHMIZATION OF THE PROBLEM OF VIDEOSCOPIC EVALUATION OF THE

STEEL ROPES STATE

11 9 9

Панфилов А.В.1, Юсупов А.Р.1, Гавриков М.М.2, Синецкий Р.М.2 Panfilov A.V.1, Yusupov A.R.1, Gavrikov M.M2, Sinetsky R.M2

1 - Донской государственный технический университет (Ростов-на-Дону, Россия) 2 - Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова (Новочеркасск, Россия) 1 - Don State Technical University (Rostov-on-Don, Russian Federation) 2 - South-Russian State Polytechnic University (NPI) named after MI Platov (Novocherkassk, Russian Federation)

Аннотация. В работе рассмотрена задача автоматизации контроля технического состояния стальных канатов, которые являются элементами многих промышленных и гражданских установок и машин, таких как лифты, канатные дороги, подъемники и т.д. На сегодняшний день оценка состояния стальных канатов и безопасности их эксплуатации выполняется преимущественно посредством визуального и инструментального контроля, занимающего много времени и подверженного влиянию человеческого фактора, что обуславливает актуальность задачи автоматизации данного процесса с использованием средств вычислительной техники и методов искусственного интеллекта. В статье предложены два подхода к алгоритмизации задачи видеоскопического контроля состояния стальных канатов с использованием технологий компьютерного зрения, основанных на программном моделировании логики визуального анализа и функции самообучения, с применением искусственных нейронных сетей глубокого обучения. Авторами разработаны алгоритмы автоматического обнаружения основных типов дефектов в изображениях поверхности стальных канатов: увеличение/уменьшение диаметра, деформации в виде волнистости, обрывов наружных проволок, повреждений в результате температурного воздействия или электрического дугового разряда. В работе приведены результаты предварительной апробации разработанных алгоритмов и программ, предложены состав и способы определения основных показателей для оценки их эффективности.

Ключевые слова: дефекты канатов, контроль инструментальный, компьютерное зрение, искусственные нейронные сети.

Дата принятия к публикации: Дата публикации:

07.03.2023 25.03.2023

Сведения об авторах:

Панфилов Алексей Викторович - кандидат технических наук, доцент, доцент кафедры «Экс-

Abstract. The paper considers the problem of monitoring the technical state of steel ropes used in industrial and civil installations, such as elevators, cable cars, lifts, etc. To date, the assessment of the state of steel ropes and the safety of their operation is carried out mainly through visual-instrumental control, which is long in time and subject to the influence of the human factor, which determines the relevance of the task of automating this process using computer technology and artificial intelligence methods in order to improve the quality of the assessment, reducing the check interval, detecting defects in steel ropes at an early stage. The article proposes two approaches to the algorithmizing of the problem of videoscopic control of the state of steel ropes using computer vision technologies, based on software modeling of the logic of visual analysis and machine learning methods, such as deep learning artificial neural networks. The authors have developed algorithms for automatic detection of the main types of defects in images of the surface of steel ropes: increase/decrease in diameter, deformation in the form of rope, breaks in the outer wires, thermal and electric damage. The paper presents the results of preliminary testing of the developed algorithms and programs, the composition and methods for determining the main indicators for evaluating their effectiveness are proposed.

Keywords: rope defects, instrumental control, computer vision, artificial neural networks.

Date of acceptance for publication: 07.03.2023

Date of publication: 25.03.2023

Authors' information:

Aleksey V. Panfilov - Cand. Sci. (Eng.), associate professor, associate professor of the Operation of

плуатация транспортных систем и логистика» {

ФГБОУ ВО «Донской государственный техниче- {

ский университет», e-mail: [email protected]. {

ORCID: 0000-0001-7211-1824 }

Юсупов Александр Рашидович - старший {

преподаватель кафедры «Робототехника и мехатро- {

ника» ФГБОУ ВО «Донской государственный тех- {

нический университет», {

e-mail: [email protected]. {

ORCID: 0000-0003-2179-616X }

Гавриков Михаил Михайлович - кандидат {

технических наук, доцент, доцент кафедры «Про- {

граммное обеспечение вычислительной техники» {

ФГБОУ ВО «Южно-Российский государственный {

политехнический университет (НПИ) имени М.И. {

Платова», e-mail: [email protected]. {

ORCID: 0000-0002-5286-0403 }

Синецкий Роман Михайлович - кандидат тех- {

нических наук, доцент кафедры «Программное {

обеспечение вычислительной техники» ФГБОУ ВО {

«Южно-Российский государственный политехниче- {

ский университет (НПИ) имени М.И. Платова», {

e-mail: [email protected]. {

ORCID: 0000-0001-6810-6109 }

transport systems and logistics Department at Don State Technical University, e-mail: [email protected]. ORCID: 0000-0001-7211-1824

Aleksandr R. Yusupov - Senior Lecturer of the Department of Robotics and Mechatronics at the Don State Technical University,

e-mail: [email protected]. ORCID: 0000-0003-2179-616X

Mikhail M. Gavrikov - Cand. Sci. (Eng.), associate professor, associate professor of the Software Engineering Department at South-Russian State Polytechnic University (NPI), e-mail: [email protected]. ORCID: 0000-0002-5286-0403

Roman M. Sinetsky - Cand. Sci. (Eng.), associate professor of the Software Engineering Department at South-Russian State Polytechnic University (NPI), e-mail: [email protected].

ORCID: 0000-0001-6810-6109

1. Введение

Во многих отраслях производства и других сферах человеческой деятельности широко применяются машины и оборудование, использующие тягу стальных канатов. Примерами такого оборудования являются грузовые и пассажирские лифты, канатные дороги, шахтные и буровые подъемные установки и т.д. В настоящее время число вышеперечисленных машин, находящихся в эксплуатации на территории России, составляет более 1 млн. единиц и в обозримом будущем вследствие развития жилищного строительства, это число существенно возрастет. В механизме функционирования подобных машин стальные канаты являются важнейшими элементами, а техническое состояние стальных канатов является важнейшим фактором обеспечения безопасности их эксплуатации. Наиболее распространенным способом обнаружения дефектов стальных канатов является визуальный и измерительный контроль [1 - 3]. Его применяют повсеместно при техническом обслуживании, диагностике, контрольной и надзорной деятельности [4 - 8].

В процессе выполнения контроля выявляются признаки наличия или отсутствия

определенных типов дефектов каната и принимается решение о возможности или невозможности его дальнейшей эксплуатации [9 - 13]. Вследствие большого количества стальных канатов, находящихся в эксплуатации, высокой трудоемкостью и стоимостью выполняемых операций, связанных с выявлением дефектов, обеспечение требований безопасности невозможно без решения задачи автоматизации контроля.

В настоящее время для решения этой задачи предложено использовать технологию и поддерживающий ее программно-аппаратный комплекс. Комплекс предназначен для автоматизированного фото- и видеоконтроля поверхности стальных канатов с применением методов компьютерного зрения и искусственных нейронных сетей, обеспечивающих автоматическое обнаружение и идентификацию поверхностных дефектов с последующей интегральной оценкой браковочных показателей [14].

2. Постановка задачи

Целью настоящей работы является разработка и изложение основных подходов к алгоритмизации задач видеоскопического кон-

троля состояния стальных канатов, сложившихся в процессе разработки и реализации проекта программно-аппаратного комплекса, оценке его эффективности и результатов апробации основных алгоритмов.

Для достижения цели в работе решены следующие задачи:

- обоснован состав математического обеспечения задач контроля

- разработаны, программно реализованы и апробированы алгоритмы обнаружения основных типов дефектов;

- определен состав основных показателей для оценки эффективности программ обнаружения дефектов.

3. Математическое обеспечение задачи обнаружения дефектов в изображениях стальных канатов

Основными дефектами стальных канатов и связанными с ними нормами браковки являются следующие:

- обрывы наружных проволок на фиксированной длине 6d, 30d (где d - диаметр стального каната);

- поверхностный износ, связанный с уменьшением диаметра наружных проволок на 40% и более;

- местное увеличение или уменьшение диаметра каната на 7%;

- деформация в виде волнистости при dв > 1.08dк (где dв и dк диаметр волнистости и диаметр каната);

- повреждения в результате температурного воздействия или электрического дугового разряда (в т.ч. удара молнии), определяемые по изменению цвета поверхности каната в месте разряда.

Предлагаемый состав алгоритмов, входящих в математическое обеспечение задачи обнаружения дефектов канатов, схематично показан на рис. 1. В состав математического обеспечения входят две группы алгоритмов: алгоритмы обнаружения дефектов; вспомогательные алгоритмы настройки и обучения.

Группа алгоритмов обнаружения дефектов решает основные функциональные задачи контроля и включает:

- алгоритм обнаружения дефектов геометрии каната, состоящий из двух блоков: увеличения/уменьшение диаметра, деформации в виде волнистости;

- группу алгоритмов обнаружения аномальных структурных деформаций поверхности каната, включающих алгоритмы: обнаружения обрывов наружных проволок, поверхностного износа и повреждений в результате температурного воздействия или электрического дугового разряда.

Рис. 1. Математическое обеспечение задачи обнаружения дефектов

Рис. 2. Схема алгоритма обнаружения дефектов геометрии каната

Группа вспомогательных алгоритмов включает:

- настроечные алгоритмы, предназначенные для расчета и построения различных математических объектов - пороговых значений параметров, функций и т.п., которые используются в качестве параметров в алгоритмах обнаружения дефектов;

- набор функций, реализующих типовые операции и преобразования методов цифровой обработки изображений (эти функции входят в состав программных библиотек);

- алгоритмы библиотек, предназначенные для построения искусственных нейронных

сетей, их обучения и применения при детектировании дефектов стальных канатов.

При разработке алгоритмов обнаружения аномальных структурных деформаций поверхности каната рассматривалось два основных подхода:

- моделирование зрительной функций человека и логики визуального анализа, используемых при обнаружении дефектов в стальных канатах;

- моделирование функции самообучения обнаружению и классификации дефектов с применение искусственных нейронных сетей.

Алгоритмы, основанные на реализации первого подхода, представляют собой ком-

плекс оригинальных эвристических процедур морфологического анализа контуров поверхности каната. Процедуры моделируют процессы технического (компьютерного) зрения с применением широкого набора типовых операций, преобразований и методов цифровой обработки изображений, операций, преобразований и методов аналитической геометрии на плоскости и ряда других численных методов.

Алгоритмы, основанные на втором подходе, кроме указанных эвристических процедур моделирования компьютерного зрения, используют многослойную сверточную нейронную сеть.

Рассмотрим логику функционирования ключевых алгоритмов обнаружения дефектов.

4. Алгоритмы видеоскопического контроля состояния стальных канатов

4.1. Алгоритм обнаружения дефектов геометрии каната. Укрупненная схема алгоритма обнаружения дефектов геометрии каната представлена на рис. 2. Алгоритм имеет следующую логику функционирования.

Исходное трехканальное изображение текущего кадра преобразуется в одноканальное изображение I в оттенках серого и выделяются контуры краев каната.

При помощи отдельной процедуры формируются проекции динамической и статической осей каната на плоскость изображения.

Динамическая ось не является прямой линией и проходит через центры тяжести сечения каната вдоль оси У, т.е. имеет вероятностный характер смещений относительно поперечных сечений, которые зависят от многочисленных отклонений параметров технологии его изготовления и эксплуатационных факторов при навеске и эксплуатации.

Видеоаналитика каната при его движении позволила установить зависимость изменения диаметра каната по его длине и шагом колебания динамической оси, приблизительно, равным длине интервала между вершинами соседних прядей по его контуру. На рис. 3 представлена 3D модель шестирядно-го каната с поперечными и продольными разрезами, на которых показана статическая

и динамическая оси. Динамическая ось проходит через центры масс поперечных сечений по длине с учетом наличия технологических эксплуатационных отклонений. Статическая ось на рис. 3 является усредненной прямой точек центра тяжести всех сечений по длине каната.

Проекция динамической оси строится в форме последовательности точек о(x , y), (x , У) e X x Y для каждого изображения видеоряда. Проекция статической оси строится путем линейной аппроксимации проекций динамических осей всех изображений видеоряда, в результате которой каждой точке о(x , У ) проекции динамической оси любого изображения каната ставится в соответствие точка s( x*, y ) проекции статической оси.

При наличии дефекта типа «волнистость» имеет место выраженное одностороннее смещение динамической оси относительно статической. При наличии дефекта типа «местное увеличение/уменьшение диаметра», динамическая ось не имеет выраженного одностороннего смещения.

После построения осей алгоритм определяет границы интервалов смещений динамической оси слева и справа от статической оси, имеющих характер выпуклостей. Затем анализирует ширину «выпуклых интервалов» и величину смещений (амплитуды выпуклостей). По совокупности признаков определяется тип дефекта.

В качестве признака наличия волны используются условия:

- сопоставимость ширины Ие выпуклого

интервала d* = [а, b] с шагом свивки каната Hr:

Д<min{H,HK}/max{H ,H }< 1, где Де[0.5, 0.99] - эмпирически подбираемое значение;

- превышение амплитуды выпуклого интервала допустимой величины de / dK > 1.08,

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

ds = d + S , S = max{ x*-xi },

Xed*

где d - диаметр каната в области вершины выпуклого интервала d* = [а, b], dK - номинальный диаметр каната.

РР!: 10.22281/2413-9920-2023-09-01-87-100

Рис. 3. Модель шестирядного каната с наличием технологических и эксплуатационных

отклонений

Для определения признаков наличия или отсутствия дефекта типа «местное увеличение/уменьшение диаметра» вычисляется 3 допустимых коридора - слева, справа от статической оси и средний коридор между ними:

С0Глев = [ХГ- К1Гном > Х'- К2Гном ]

С0Гправ = [Х + К2Гном , Х + К1Гном ] К > К

сог

средний

= [Х'- К2Гном , Хг + К2Гном ]

где кх, к2 - коэффициенты, значения которых выбираются в зависимости от номинального диаметра и точности изготовления каната [3].

Дефект типа «местное утолщение» фиксируется, если контурные точки Сл = С (хл, у), С = С(х,", Уп ) левого и/или правого краев каната выходят из левого/правого коридоров соответственно. Это означает выполнение условия:

(^ < у* - ^ном ) V (> у* + Vом .

Дефект типа «местное утоньшение» фиксируется, если контурные точки сл, С краев каната попадают в средний коридор. Это означает выполнение условия:

(ул > у* - ) V (хп < X + k,г .

^ ] ] 2 ном ' к г г 2 ном'

Если дефекты обнаружены, то само изображение, идентификатор типа дефекта и дополнительные параметры сохраняются в отдельном файле.

4.2. Алгоритм обнаружения дефекта типа «обрыв внешних проволок». Схема алгоритма обнаружения дефектов типа «обрыв внешних проволок» приведена на рис. 4. Алгоритм имеет следующую логику функционирования.

В изображении I выделяется полный контур поверхности каната. Полный контур поверхности включает контурные линии краев каната, линии прядей, множество ложных контурных линий, наличие которых связано с оптическими помехами и другими фактора-

92

Рис. 4. Схема алгоритма обнаружения

ми, сопровождающими процесс видеорегистрации.

Затем при помощи вспомогательного алгоритма сегментации (разметки) на изображении поверхности выделяются «зоны свивки». Под зоной свивки понимается замкнутая область изображения, ограниченная двумя

контурными линиями соседних волокон каната.

Пример результата разметки показан на рис. 5, а, пример полного контура одной зоны свивки - на рис. 5, б. Для каждой зоны свивки выполняются следующие операции.

В полном контуре р каждой зоны анализа (/ - индекс зоны) выделяются следующие контурные линии:

- линии, которые могут соответствовать контурным линиям проволок, для этого используются заданные условия и ограничения пространственной ориентации этих линий на плоскости и их длины;

- ложные контурные линии, длина которых меньше минимально возможной длины линии проволок.

Совокупность этих линий определяет контур (множество) ^. Путем удаления

контура ^ из контура Р формируется остаточный контур Е = Р \ ^ .

В остаточном контуре Е. выделяется подмножество В1 с Е1 характерных контуров (В может быть пустым), интерпретируемых как контуры обрывов. Признаки характерных контуров были выбраны в результате визуального анализа большого числа изображений полных контуров поверхности каната и локализации областей обрывов на этих контурах.

К характерным контурам относятся:

- короткие линии, для которых длина и пространственная ориентация на плоскости удовлетворяют заданным условиям и ограничениям;

- замкнутые контуры, площадь которых сопоставима с номинальной площадью сечения проволок.

Описанная процедура анализа применяется ко всем зонам свивки. В результате формируется множество характерных конту-ровС = иД всего изображения I. Если

у

G , то это изображение и его идентификационные данные сохраняются в отдельном файле «дефектных кадров».

4.3. Алгоритм обнаружения дефекта типа «температурное воздействие». Темпе-

а)

б)

Рис. 5. Результаты разметки: а) разметка зон свивки на изображении каната; б) полный контур одной зоны свивки

ратурное воздействие обычно возникает в результате электрического разряда потенциалов, возникающих на расположенных вблизи кабелях, или удара молнии. Визуально температурное воздействие проявляется на поверхности каната в виде характерных следов оплавления внешних проволок. Для обнаружения подобных следов на изображении была использована многослойная последовательная сверточная нейронная сеть глубокого обучения [15]. Схема алгоритма обнаружения дефекта представлена на рис. 6, а структура нейросети - на рис. 7.

Исходное изображение кадра видеоряда разрешением 1920 строк на 1080 столбцов с тремя 8-битными каналами цвета (красный, зеленый, синий) преобразуется к однока-нальному 8-битному изображению в оттенках серого цвета того же разрешения, а затем к изображению с одним каналом 32-битных значений с плавающей точкой в диапазоне значений [0, 1]. Данное изображение преобразуется к формату входного тензора нейронной сети и подается на первый слой.

Первый слой С1 нейронной сети состоит из 32 сверточных фильтров размером 5*5 с шагом (5, 5) и повторяющимся заполнением

при обработке граничных элементов. В качестве функции активации выбран блок линейной ректификации [16]. Входной тензор слоя и нейронной сети имеет размерность (Ы, 1920, 1080, 1), где N - размер пакета нейронной сети. Выходной тензор слоя С1 имеет размер (Ы, 384, 216, 1).

Второй слой С2 нейронной сети состоит из 8 сверточных фильтров размером 2*2 с шагом (1, 1), повторяющимся заполнением при обработке граничных элементов и блоком линейной ректификации в качестве функции активации. Выходной тензор слоя С2 имеет размер (Ы, 384, 216, 1).

Третий слой Р1 нейронной сети представляет собой слой субдискретизации с функцией максимума и размером 2*2. Выходной тензор слоя Р1 имеет размер (Ы, 192, 108, 1).

Четвертый слой С3 нейронной сети состоит из одного сверточного фильтра, аналогичного используемому в слое С2. Выходной тензор слоя С3 имеет размер (Ы, 192, 108, 1). Пятый слой Р2 по структуре аналогичен слою Р1 . Выходной тензор слоя Р2 имеет размер (Ы, 96, 54, 1). После пятого слоя нейронной сети выполняется конвертация размерности из тензора (Ы, 96, 54, 1) в тензор

Рис. 6. Схема алгоритма обнаружения

дефектов типа «температурное воздействие»

размерности (Ы, 5184, 1), который подается на вход шестого слоя.

Шестой слой П1 нейронной сети представляет собой полносвязный слой из 5184 персептронов с блоком линейной ректификации в качестве функции активации. Выходной тензор слоя имеет размер (Ы, 5184, 1).

Седьмой слой нейронной сети аналогичен шестому, выходной тензор слоя также имеет размер (Ы, 5184, 1).

Для снижения влияния эффекта переобучения после слоев С1, Р1, Р2 и П1 выполняется прореживание выходных функций нейронов с вероятностью 0.2.

Выход слоя В2 с размерностью (Ы, 5184, 1) преобразуется в тензор размерностью (Ы, 96, 54, 1), который является выходом О нейронной сети.

Элемент Oi выходного тензора O, i=0..N можно интерпретировать как матрицу размером 96x54:

°l = [°lx,y]'x = 0..53,у = 0..95,о1ху 6 R. Элемент матрицы соответствует

квадрату 20x20 пикселей входного изображения Ii, что составляет примерно 1x1 мм. Значение о1ху тем выше, чем больше отклик нейронной сети на нахождение дефекта термического воздействия в соответствующем квадрате. Значения пикселей изображения нормализуются к диапазону [0,1]: . _ olx,y ~ min(Ot) °х'у ~ max(Oj) - min(Oj)' х = 0. .53,у = 0. .95. Наличие дефекта типа «термическое воздействие» фиксируется при выполнении условия:

о1х,у ^ <5,

где 8 Е [ 0 , 1 ] - эмпирически подобранный порог. Координаты ( х,у) определяют зону обнаруженного дефекта.

При обучении нейросети использовалась функция потерь категориальной перекрестной энтропии, метрика оценки - точность, оптимизация в алгоритме обратного распространения ошибки методом адаптивной оценки моментов [17]. Размер пакета обучения нейронной сети N=10. Обучение выполнялось в течение 1000 эпох. Величина метрики точности по окончанию обучения достигла 0.996.

На рис. 8 показан результат оценки ней-росетью кадра видеопотока, содержащего дефект термического воздействия. В левой части рисунка показано изображение Oi размером 96x54, на котором видны две точки отклика нейросети на нахождение дефекта. В правой части рисунка показано изображение каната, на котором красными окружностями выделены соответствующие найденные места дефектов.

4.4. Результаты предварительной апробации программ видеоскопического анализа стальных канатов. Рассмотренные алгоритмы реализованы в виде программных модулей, вызываемых из модуля управления. Программные модули написаны на языке Python 3. Нейронная сеть была реализована с

x32 x8

Рис. 7. Структура нейронной сети

а) б)

Рис. 8. Результат работы алгоритма обнаружения дефектов типа «температурное воздействие»: а) отклик нейросети; б) выделение мест дефектов

использованием библиотек TensorFlow [18] и Keras [19] . Для обработки изображений применена библиотека OpenCV 4 [20, 21]. В качестве исходных данных для отладки, настройки параметров и апробации алгоритмов использовалась заранее сформированная база данных «Видеопотоки типовых дефектов стальных канатов» для канатов диаметром 9.1 мм [22].

На рис. 9 показано по одному выборочному примеру, иллюстрирующему результаты программного обнаружения дефектов.

5. Показатели эффективности алгоритмов и программ обнаружения дефектов

В дальнейшем, для апробации разработанных алгоритмов и программ в натурных экспериментах, в качестве показателей их эффективности, предполагается использовались следующие показатели:

- оценка вероятности Р правильного

(безошибочного) обнаружения дефекта каждого типа:

-г-» * * / -\ Т *

Р = П / ,

где Ы - количество «дефектных» изображений в видеоряде, содержащих дефект *-го типа, п* - количество изображений из состава «дефектных» изображений, в которых обнаружен дефект *-го типа;

- время Т = Т • Ь, затрачиваемое на обработку видеоряда из Ь кадров (здесь Т -

время, затрачиваемое на обработку одного кадра видеоряда).

Кроме указанного основного вероятностного показателя Р , определяющего надежность обнаружения дефектов, можно использовать дополнительный показатель р -оценку вероятности ложного обнаружения дефекта любого типа (вероятности «ложной тревоги»):

Рис. 9. Иллюстрация работы программного обеспечения обнаружения дефектов стальных канатов: а) дефект волнистости; б) дефект локального увеличения диаметра; в) дефект локального уменьшения диаметра

р = к / N,

где к - количество ошибочных обнаружений дефектов любого типа в изображениях, не со-

держащих дефектов поверхности каната, N -количество изображений во всем видеоряде, не содержащих дефектов поверхности.

В настоящее время программное обеспечение для решения задачи обнаружения дефектов находится в стадии отладки. Время обработки одного изображения размерностью 1920^1080 составляет T ~ 3 с. В процессе контрольной видеорегистрации каната длиной 0.5 м формируется видеоряд, состоящий из 700.. .900 кадров. Таким образом, приблизительное время обработки T видеоряда составляет TL « 4 ^ 5 мин. Обработка

выполнялась на ПК с процессором Intel Core i5-12600K с частотой 3.70 ГГц.

6. Заключение

Разработанные алгоритмы и программы автоматического обнаружения дефектов в

изображениях стальных канатов и результаты их предварительной апробации свидетельствуют о конструктивности и эффективности обоих предложенных подходов к алгоритмизации задачи контроля.

С использованием первого подхода, основанного на машинном моделировании логики визуального анализа изображений, получены работоспособные алгоритмы и программы обнаружения дефектов геометрии каната. На основе второго подхода с применением искусственных нейронных сетей получены работоспособные алгоритмы и программы обнаружения аномальных структурных дефектов поверхности. В процессе отладки программного обеспечения определены направления совершенствования алгоритмов. В основном, эти направления связаны с разработкой процедур предварительной обработки изображений и обучения - фильтрации оптических помех, удаления ложных контуров, настройки параметров нейросети.

Список литературы

1. ГОСТ Р EN 13018-2014 «Контроль визуальный. Общие положения». Москва, Стандартинформ, 2015.

2. Канаты стальные. Контроль и нормы браковки. РД РОСЭК 012-97 // Короткий А.А., Хальфин М.Н., Иванов Б.Ф., Котельников В.С. - 52 с.

3. ГОСТ Р 3241-91 Канаты стальные. Технические условия. Москва, Стандар-тинформ, 1993.

4. Панфилов А.В., Короткий А.А., Иванов Б.Ф., Юсупов А.Р. Контроль канатов при эксплуатации машин с канатной тягой // Научно-технический вестник Брянского государственного университета. 2022. №4. С. 330-338. DOI: 10.22281/2413-99202022-08-04-330-338

5. Панфилов А.В., Короткий А.А., Иванов Б.Ф., Панфилова Э.А. О критериях и нормах браковки канатов пассажирских канатных дорог // Научно-технический вестник Брянского государственного университета. 2021. №1. С. 53-65.

6. Gavrikov M.M., Sinetsky R.M., Mezentseva A.Y. Structural approximation algorithms for one-dimensional analysis of 3D-images in the problem of metrological control of surfaces of large industrial products // 2019 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Sochi, Russia, 25-29 March 2019, IEEE. DOI: 10.1109/ICIEAM.2019.8743054.

7. Gavrikov M., Sinetsky R., Knyazev D. Technology and software of system of the metrological analysis of cellular cylindrical surfaces of large-size products // 2nd International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Chelyabinsk, Russia, 19-20 May 2016, IEEE - p. 4 - DOI: 10.1109/ICIEAM.2016.7911603

8. Гавриков М.М., Синецкий Р.М., Мезенцева А.Ю., Захаров М. А., Петров М. С. Алгоритмическая реализация структурно-аппроксимационного подхода к метрологическому 3D-контролю ячеистых поверхностей промышленных изделий. // Технология машиностроения. 2017. №10. С. 5058.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

lice) © ® I

t References

t

J 1. GOST R EN 13018-2014. Visual con-

t trol. General provisions. Moscow,

t Standartinform, 2015. (In Russian) t 2. Korotkij A.A., Halfin M.N., Ivanov

t B.F., Kotelnikov V.S. Kanaty stalnye. Kontrol

t i normy brakovki. Moscow, RD ROSEK 012-

t 97. 52 p. (In Russian)

t 3. GOST R 3241-91. Kanaty stalnye.

t Tehnicheskie usloviya. Moscow,

t Standartinform, 1993. (In Russian) t 4. Panfilov A.V., Korotkiy A.A, Ivanov

t B.F., Yusupov A.R. Control of ropes during

t the operation of machines with rope traction.

t Nauchno-tekhnicheskiy vestnik Bryanskogo

t gosudarstvennogo universiteta, 2022, No.4

t DOI: 10.22281/2413-9920-2022-08-04-330-

t 338 (In Russian)

t 5. Panfilov A.V., Korotkiy A.A, Ivanov t B.F., Panfilova E.A. About the criteria and t standards for the rejection of ropes of passent ger cable cars. Nauchno-tekhnicheskiy vestnik t Bryanskogo gosudarstvennogo universiteta, t 2021, No. 1, pp. 53-65. (In Russian) t 6. Mikhail M. Gavrikov, Roman M. t Sinetsky, Anna Y. Mezentseva. Structural apt proximation algorithms for one-dimensional t analysis of 3D-images in the problem of met-t rological control of surfaces of large industrial t products. In: 2019 International Conference on t Industrial Engineering, Applications and t Manufacturing (ICIEAM), Sochi, Russia, 25-t 29 March 2019, IEEE. DOI: t 10.1109/ICIEAM.2019.8743054. t 7. M. Gavrikov, R. Sinetsky, D. Knyazev. t Technology and software of system of the t metrological analysis of cellular cylindrical t surfaces of large-size product. In: 2nd Internat tional Conference on Industrial Engineering, t Applications and Manufacturing (ICIEAM), t Chelyabinsk, Russia, 19-20 May 2016, IEEE -t p. 4 - DOI: 10.1109/ICIEAM.2016.7911603 t 8. MM. Gavrikov, R.M. Sinetsky, A.Y. t Mezentseva, Zakharov M. A., Petrov M. S. t Algorithmic realization of structural-t approximation approach to metrological 3d t control of cellular surfaces of industrial prod-t ucts. Tehnologiya mashonostoeniya, 2017, t No.10, pp. 50-58. (In Russian)

98

9. Приказ Федеральной службы по экологическому, технологическому и атомному надзору от 13 ноября 2020 года № 441 «Об утверждении федеральных норм и правил в области промышленной безопасности «Правила безопасности пассажирских канатных дорог и фуникулеров». [Электронный ресурс] - Режим доступа: https://docs.cntd.ru/document/5731913737ma rker=6520IM.

10. Приказ Федеральной службы по экологическому, технологическому и атомному надзору от 13.04.2022. № 120. 13.04.2022 № 120 «О внесении изменений в федеральные нормы и правила в области промышленной безопасности «Правила проведения экспертизы промышленной безопасности», утверждённые приказом Федеральной службы по экологическому, технологическому и атомному надзору от 20 октября 2020 г. № 420» (Зарегистрирован 06.06.2022 № 68752) [Электронный ресурс] - Режим доступа: http://publication.pravo.gov.ru/Document/Vie w/0001202206070009.

11. Федеральные нормы и правила в области промышленной безопасности «Правила безопасности опасных производственных объектов, на которых используются подъемные сооружения». Утв. Приказом Федеральной службы по экологическому, технологическому и атомному надзору от 26.11.2020 г. № 461.

12. ГОСТ Р 55964-2014 Лифты. Общие требования безопасности при эксплуатации. Москва, Стандартинформ, 2014.

13. ГОСТ Р 54999-2012 Лифты. Общие требования к инструкции по техническому обслуживанию лифтов. Москва, Стандартинформ, 2014.

14. Пат. 2775348 D07^, В66В, G05В, Рос. Федерация. Способ визуально-измерительного контроля стального каната / Короткий A.A., Панфилов А.В. Заявл. 23.03.2021; опубл. 29.06.2022

15. Шолле Ф. Глубокое обучение на Python. Питер, 2018. 400 с.

16. Glorot X., Bordes A., Bengio Y. Deep sparse rectifier neural networks. In AISTATS'2011.

Ii«) © ® I

J 9. Prikaz Federalnoj sluzhby po jekolo-

J gicheskomu, tehnologicheskomu i atomnomu

J nadzoru ot 13 nojabrja 2020 goda № 441 «Ob

J utverzhdenii federal'nyh norm i pravil v

J oblasti promyshlennoj bezopasnosti «Pravila

J bezopasnosti passazhirskih ka-natnyh dorog i

J funikulerov». Available at:

J https://docs.cntd.ru/document/5731913737mar

J ker=6520IM. (In Russian)

J 10. Prikaz Federalnoj sluzhby po

J jekologicheskomu, tehnologicheskomu i

J atomnomu nadzoru ot 13.04.2022. № 120.

J 13.04.2022 № 120 «O vnesenii izmenenij v

J federal'nye normy i pravila v oblasti pro-

J myshlennoj bezopasnosti «Pravila provedenija

J jekspertizy promyshlennoj bezopasnosti»,

J utverzhdjonnye prikazom Federalnoj sluzhby

J po jekologicheskomu, tehnologicheskomu i

J atomnomu nadzoru ot 20 oktjabrja 2020 g. №

J 420» (Zaregistrirovan 06.06.2022 № 68752)

J Available at: http://publication.pravo.gov.ru/

J Document/View/0001202206070009. (In Rus-

J sian)

J 11. Federalnye normy i pravila v oblasti

J promyshlennoj bezopasnosti «Pravila

J bezopasnosti opasnyh proizvodstvennyh

J obektov, na kotoryh ispolzujutsja podemnye

J sooruzhenija». Utv. Prikazom Federalnoj

J sluzhby po jekologicheskomu, tehnologiches-

J komu i atomnomu nadzoru ot 26.11.2020 g. №

J 461. (In Russian)

J 12. GOST R 55964-2014. Elevators. Gen-

J eral safety requirements during operation.

J Moscow, Standartinform, 2014. (In Russian)

J 13. GOST R 54999-2012. Elevators. Gen-

J eral requirements for elevator maintenance

J instructions. Moscow, Standartinform, 2012.

J (In Russian)

J 14. Patent RU 2775348. Sposob

J vizualnoizmeritelnogo kontrolya stalnogo

J kanata [Method of visual and measuring con-

J trol of steel rope]. Korotkiy A.A., Panfilov

J A.V. Declared 23.03.2021. Published

J 29.06.2022. (In Russian)

J 15. F. Chollet. Deep Learning with Python.

J Manning, 2018. 386 p.

J 16. Glorot, X., Bordes, A., and Bengio, Y.

J Deep sparse rectifier neural networks. In

J AISTATS'2011.

J 17. Ian Goodfellow, Yoshua Bengio, Aa-

99

17. Гудфеллоу Я., Бенджио И., Кур- J вилль А. Глубокое обучение. М.: ДМК J Пресс, 2018. 652 с. J

18. Dean J., Monga R., Ghemawat S. J TensorFlow: Large-scale machine learning on J heterogeneous systems. - URL: J http://download.tensorflow.org/paper/whitepa J per2015.pdf (Дата обращения: 27.01.2023) J

19. Джулли А., Пал С. Библиотека J Keras - инструмент глубокого обучения. J ДМК Пресс, 2018. 294 с. J

20. Буэно, Суарес, Эспиноса. Обработ- J ка изображений с помощью OpenCV. М.: J ДМК-Пресс, 2016. 210 с. J

21. Joseph H., Joe M. Learning OpenCV 4 J Computer Vision with Python 3. Packt Pub- J lishing, 2020. 372 p. J

22. Свидетельство о государственной J регистрации базы данных «Видеопотоки J типовых дефектов стальных канатов» J №2022622779, дата регистрации J

08.11.2022 г. J

ron Courville. Deep Learning. Available at: https://www.deeplearningbook.org/

18. Dean Jeff, Monga Rajat, Ghemawat Sanjay. TensorFlow: Large-scale machine learning on heterogeneous systems. Available at: http://download.tensorflow.org/paper/ whitepaper2015 .pdf

19. Джулли А., Пал С. Библиотека Keras - инструмент глубокого обучения. ДМК Пресс, 2018. 294 с.

20. Bueno Suarez, Espinosa. Learning Image Processing with OpenCV. Packt Publishing, 2015. 232 p.

21. Joseph Howse, Joe Minichino. Learning OpenCV 4 Computer Vision with Python 3. 3rd Edition. Packt Publishing, 2020. 372 p.

22. Videopotoki tipovyh defektov stal'nyh kanatov. Svidetelstvo o gosudarstvennoy registratsii programm dlya EVM [Video streams of typical defects in steel ropes. The Certificate on official registration of the computer program] No. 2022622779, 08.11.2022. (In Russian)

i Надоели баннеры? Вы всегда можете отключить рекламу.