CC BY
0
УДК 004.932
DOI: 10.14529/mmph240405
РАЗРАБОТКА АЛГОРИТМА ОБНАРУЖЕНИЯ ДЕФЕКТОВ В СТЕКЛЯННЫХ ИЗОЛЯТОРАХ НА ОСНОВЕ КОМПЬЮТЕРНОГО ЗРЕНИЯ С ИСПОЛЬЗОВАНИЕМ НЕЙРОСЕТЕВОГО ПОДХОДА
А.В. Коржов, В.А. Сурин, М.А. Ческидова, П.В. Лонзингер, В.И. Сафонов, К.Н. Белов
Южно-Уральский государственный университет, г. Челябинск, Российская Федерация E-mail: [email protected]
Аннотация. Представлен алгоритм обнаружения дефектов в стеклянных изоляторах с помощью компьютерного зрения. Изоляторы, являющиеся ключевыми элементами электрических сетей, подвержены различным дефектам, таким как пузыри, сколы и деформации. Подобные повреждения могут значительно снижать срок эксплуатации изоляторов. В традиционных производственных условиях данные дефекты выявляются вручную, что снижает производительность и увеличивает вероятность ошибок из-за человеческого фактора.
Для решения проблемы, связанной с ограничениями ручного контроля, был разработан алгоритм, основанный на применении нейронной сети. Основная задача алгоритма заключается в автоматическом выявлении дефектов, оказывающих существенное влияние на механические и электроизоляционные свойства изделий.
Был собран набор данных для обучения нейронной сети и дополнен сгенерированными изображениями для увеличения выборки расположения и формы рассматриваемых дефектов. В работе подробно описаны шаги предобработки данных, включающие повышение контрастности для увеличения обнаружения дефектов и уменьшение шумов. Для обработки дефектов различной площади и формы, описывается процесс разбиения на фрагменты. Представленное в работе разбиение позволяет обнаруживать дефекты различных размеров по отношению к размеру изолятора.
Ключевые слова: обнаружение дефектов; компьютерное зрение; ОМНМ; обобщенный метод наименьших модулей.
Введение
Изоляторы являются одной из важнейших частей электрических сетей. Любой дефект, расположенный внутри или на поверхности изделия, может повлиять на механические и электроизоляционные качества этого изделия. В настоящее время для определения наличия дефектов, включающих пузыри, сколы, складки, нарушение формы, используется визуальный осмотр человеком. В условиях конвейерного производства такой способ вносит определенные ограничения на производительность линии ввиду большого объема операций, выполняемых персоналом при осмотре заготовки, и температуры заготовки после закалки.
Для увеличения производительности при осмотре обнаруживают и фиксируют только первый дефект, по которому заготовку можно отнести к браку. Соответственно, полной картины дефектов в заготовках в таких условиях получить невозможно. Дополнительно влияет человеческий фактор, к которому можно отнести, например, усталость глаз. Добиться постоянно высокого уровня внимательности сотрудника, осуществляющего проверку заготовок, невозможно.
Автоматизация процесса контроля качества на основе компьютерного зрения обладает рядом преимуществ перед ручной проверкой [1]. Теоретически такой подход позволит увеличить скорость проверки дефектов. Отсутствие в процессе проверки человеческого фактора решает ряд ранее указанных проблем. Все обнаруженные компьютерным зрением дефекты будут фиксироваться, что позволит получать более полную картину о дефектах в заготовках, возникающих во время процесса отливки, формовки и закалки изоляторов.
Задачи обнаружения объектов на изображении в настоящее время наиболее эффективно решаются с помощью нейронных сетей [2]. Стандартный метод действий для детекции объектов
при обучении нейронных сетей заключается в сборе исходных данных и их разметки. Однако рассматриваемые в данной статье объекты являются прозрачными. При получении цифрового изображения прозрачного объекта возникает ряд проблем, которые требуется учитывать.
Особую роль играет освещение, которое, отражаясь от объекта съемки, проходит через объектив цифровой камеры и формирует изображение на светочувствительной матрице. Прозрачные объекты отражают свет не полностью, остальной свет проходит сквозь прозрачный объект. Поэтому снимки прозрачных объектов будут характеризоваться низкой контрастностью. Контрастность характеризует степень отличимости некоторого объекта от фона и является одной из основных характеристик изображений [3]. Чем выше контрастность, тем проще отличить дефект на фоне окружающей его области прозрачного объекта, соответственно, задача обнаружения упрощается. Следовательно, требуется подбирать вариант освещения, при котором контрастность прозрачного объекта и деталей этого объекта на получаемом изображении будет высокой. При этом стоит избегать засвеченных участков изображения (бликов), яркость которых выше предела чувствительности цифровой матрицы при выбранных вручную или автоматически камерой параметров съемки. Блики появляются вследствие отражения поверхностью объекта света от источника прямо в объектив камеры.
Появление бликов можно избежать, правильно выстроив свет при съемке изображения, но другие помехи также могут стать проблемой при последующем анализе изображений. К помехам, которые могут стать препятствием к поиску и идентификации дефектов, можно отнести цифровой шум, низкую контрастность, геометрические искажения и низкое качество изображений. Их исправление в некоторых случаях является необходимостью перед использованием методов и алгоритмов поиска и идентификации дефектов.
Таким образом, наличие шумов может существенно ухудшить качество анализа, а недостаточная контрастность, особенно при работе с прозрачными объектами, усложняет процесс обнаружения дефектов [4]. Одним из способов повышения контрастности изображений является применение методов компьютерной обработки. Тем не менее увеличение контрастности может привести к росту уровня шумов, что создает необходимость в использовании методов шумоподавления [5]. Следовательно, процесс улучшения изображений для обнаружения дефектов требует сбалансированного подхода: с одной стороны, необходимо усилить контраст для более точного выявления дефектов, а с другой стороны, минимизировать возникающие при этом шумы, чтобы избежать ошибок анализа.
Сбор данных и предобработка
Данные представляют собой набор изображений изоляторов с Так как расположение и форма дефектов могут отличаться, то для увеличения набора данных кроме реальных изображений использовались сгенерированные данные [6], а также применялась аугментация с поворотом изображений. Растяжение и сжатие использовать недопустимо, так как геометрия заготовки меняться не должна.
Перед обучением нейронной сети каждое изображение обрабатывалось в несколько этапов для уменьшения шумов и увеличения контрастности (рис. 1). Полученные фотографии преобразовывались из формата RGB в формат HSV, который состоит из тона, насыщенности и яркости
(yhsv =Ы,где(i J)[Уи = (h,sy ,vy)Л^v■ ■]). Преимуществом
модели HSV является возможность раздельной работы с каналами яркости и цвета, что позволяет отдельно работать с каждым из них. Канал яркости представляет собой двумерную матрицу, элементами которой являются числа в пределах от 0 до 255.
Существующие методы шумоподавления чаще всего применяются для изображений в градациях серого или RGB-изображений. Однако сигнал, поступающий с цифровых матриц,
дефектами различного типа.
Рис. 1. Основной алгоритм обучения нейронной сети с предобработкой изображений
Коржов А.В., Сурин В.А., Ческидова М.А., Лонзингер П.В., Сафонов В.И., Белов К.Н.
Разработка алгоритма обнаружения дефектов в стеклянных изоляторах...
имеет иную структуру и отличается от стандартных форматов хранения изображений в компьютерах. Получаемые изображения на цифровой матрице называются RAW-изображениями. При работе с необработанными изображениями, получаемыми напрямую с матрицы камеры, каждое изображение содержит большее количество бит, выделенных на кодирование цвета. Это позволяет получить больше информации об объекте, что может положительно сказаться на эффективности методов борьбы с шумом и повышения контраста.
Для повышения контрастности изображений использовался метод фильтрации изображений на основе обобщенного метода наименьших модулей (ОМНМ) [6], который рассчитывается по следующей формуле:
yl} = argmin £ Ромнм(| Уш -a IX1 =[1: «L j = [1,,
(1)
(l,k )eU j
где у у - сглаженные с помощью ОМНМ-фильтра значения яркостей пикселей изображения размером пикселей; и у - окрестность сглаживаемой точки у у ; I и к - координаты пикселя в области и у ; у1к - фактические значения яркости пикселя; а - искомый сигнал; ^ОМНМ (х) =
агс^ х |"/Д), а> 0 и /3> 0 - параметры на основе характеристик изображения и перепада, вычисляемые по формулам (2)-(3):
0,7, А = 0,
а =
0,7
3а - A 3а
-1,6 1 -
3а-A
р = 10k
3а
1,6, A > 3а, ah
0 < A < 3а,
100k
(2)
(3)
где а - среднеквадратическое отклонение (уровень) шума в выбранной области изображения; A - нижняя граница уровня яркости перепада; k = 64 - умножающий коэффициент для максимально допустимой 14-битной глубины яркости цвета. На производствах чаще всего используется 10- или 12-битные матрицы, для них коэффициент k будет равен 4 или 16 соответственно.
Для нормализации гистограммы изображения применялся алгоритм CLAHE (Contrast Limited Adaptive Histogram Equalization) при помощи функции cv.createCLAHE, содержащейся в библиотеке OpenCV. Подбор оптимального размера блока для работы алгоритма CLAHE может быть сложной задачей в случае произвольных изображений. Однако для анализа изображений определенных объектов можно зафиксировать параметры съемки, такие как освещение, светочувствительность и выдержка. Поскольку исследуемые объекты являются однотипными, был подобран наиболее подходящий размер блока для алгоритма и применялся ко всем последующим изображениям данного типа с одинаковыми параметрами. В результате применения алгоритма CLAHE контрастность изображения увеличивается, что значительно упрощает дальнейшую обработку (рис. 2).
Собранный набор реальных данных был обработан для повышения контрастности и составил 236 изображений размером 2048 х 2048 пикселей. В наборе данных имелись изоляторы с дефектами типа скол, пузырь, вкрапление. Также имелось незначительное количество дефектов других типов, но их количество было сильно меньше. В дальнейшем проводилась разметка реальных данных. Все дефекты
были помечены как единый класс. Рис- 2 СРавнение к°трастн°с™ и^р^-
ний после применения алгоритма CLAHE
Алгоритм обучения и работы нейронной сети
В результате разметки собранного набора данных были созданы маски, содержащие дефекты. Для проверки структурной целостности объекта и выявления дефектов типа скол, пузырь, вкрапление был разработан нейросетевой алгоритм на основе нейронной сети YOLOv8.
a
Традиционный подход при обнаружении объектов в изображении заключается в свертке изображения до оптимального разрешения используемой нейронный сети. При этом при понижении разрешения теряется информация, что не подходит для обнаружения дефектов малых размеров. Предлагаемый алгоритм позволяет избежать потери информации при работе нейронной сети, но при этом значительно увеличивает время обработки одного изображения.
Каждое изображение и соответствующая маска разбиваются на фрагменты следующим образом. Задается окно, вырезающее фрагмент размером 1024 х 1024. Данные фрагменты вырезаются с шагом 512 и преобразуются к размеру 64 х 64 пикселей. Затем размер окна и шага уменьшается в два раза. Данный процесс повторяется до тех пор, пока размер окна не достигнет необходимого размера фрагментов 64 х 64 пикселей, так как дефекты могут иметь небольшой размер относительно всего объекта (рис. 3).
а) б) в)
Рис. 3. Процесс разбиения изображений: а) исходное изображение; б) полученные фрагменты; в) детекция дефекта
На каждом фрагменте маски подсчитывается количество пикселей, содержащих дефект. Если их количество не превышает 70 % от общего количества дефекта, расположенного в этих координатах, то фрагмент оригинального изображения удаляется. На рис. 4 показан пример разбиения, в котором в первый фрагмент не сохранится, так как содержит малую часть определяемого дефекта. В результате каждое изображение разбивается на фрагменты, содержащие от 70 % дефекта, либо фрагменты, не содержащие дефекта вовсе.
Рис. 4. Пример разбиения на фрагменты
Для увеличения обучающей выборки использовались изображения, сгенерированные по чертежам при помощи программы В1еМег3Б [7]. Было сгенерировано 60 изображений стеклянных изоляторов. Такой подход позволил расширить местоположение и форму рассматриваемых дефектов в собранном наборе данных. Полученные изображения разбивались на обучающую, тес-
Коржов А.В., Сурин В.А., Ческидова М.А., Лонзингер П.В., Сафонов В.И., Белов К.Н.
Разработка алгоритма обнаружения дефектов в стеклянных изоляторах...
товую и валидационную выборки в соотношении 70:20:10 и подавались на вход нейронной сети для обучения. В валидационной выборке смоделированные изображения отсутствуют.
Процесс обнаружения дефектов с помощью обученной нейронной сети также включает разбиение на фрагменты исходного изображения и не требует наличия маски (рис. 5).
Рис. 5. Алгоритм нахождения дефектов при помощи нейронной сети
Результатом работы нейронной сети становится набор кандидатов на дефекты, каждому из которых соответствует уровень уверенности нейронной сети и координаты в пикселях этого кандидата на изображении. Уверенность о наличии дефекта измеряется в диапазоне от 0 до 1. При уверенности, достигающей некоторого порога, который был выбран равным 0,8, алгоритм считает кандидата за дефект и отображает на изображении. На валидационной выборке при указанном пороге точность обнаружения дефектов составила 96 %.
Разработанный алгоритм позволяет обнаруживать дефекты в стеклянных изоляторах размером от 1,8 мм при исходном разрешении изображения 2048 х 2048 пикселей и физическом диаметре стеклодетали 255 мм, что составляет примерно 8 пикселей/мм. Таким образом, наименьший обнаруженный дефект составил 15 пикселей в диаметре. При увеличении соотношения разрешения к реальному размеру исследуемого объекта могут быть обнаружены дефекты меньшего размера.
Увеличение разрешения при неизменных размерах исследуемого объекта позволит обнаруживать дефекты малого размера, при этом вычислительная сложность алгоритма увеличится пропорционально увеличению количеству пикселей изображения. Скорость вычисления для изображения размером 2048 х 2048 пикселей составила 7 сек на 1 изображение при выполнении алгоритма на CPU с пиковой производительностью 2,15 TFlops. Перевод вычислений на GPU сократит время выполнения.
Заключение
В статье представлен алгоритм поиска дефектов в стеклянных изоляторах на основе нейронной сети. Использованы алгоритмы предварительной обработки изображения для повышения контрастности и уменьшения шумов перед подачей его на вход нейронной сети. Предложен вариант разбиения исходного изображения на более мелкие участки, который позволил не терять полезную информацию, присутствующую на изображении исследуемого объекта. Это дало возможность обучить нейронную сеть, которая легла в основу алгоритма обнаружения дефектов.
Обучение происходило на реальных и смоделированных данных. Расширение обучающей выборки за счет синтетических данных дало положительный результат, и в дальнейшем планируется увеличивать количество синтетических данных в обучающей выборке.
Благодаря разбиению на фрагменты разработанный алгоритм позволяет обнаруживать дефекты различной формы и размеров. Минимальный обнаруженный на изображении дефект имеет размер 15 пикселей по длинной стороне. Физический размер обнаруживаемых дефектов зависит от соотношения разрешения и реального размера исследуемого объекта. Дальнейшее развитие алгоритма состоит в разбиении единого класса дефектов на несколько классов, что позволит не только их обнаруживать, но и классифицировать.
Исследование выполнено при финансовой поддержке Министерства науки и высшего образования Российской Федерации (государственное задание на выполнение фундаментальных научных исследований № FENU-2023-0025 (2023025ГЗ)).
Литература
1. Diers J. A Survey of Methods for Automated Quality Control Based on Images / J. Diers, C. Pigorsch // International Journal of Computer Vision. - 2023. - Vol. 131, no. 10. - С. 2553-2581.
2. Retracted: Object Detection and Recognition using Deep Learning-Based Techniques / P. Sharma, S. Gupta, S. Vyas, M. Shabaz // IET Communications. - 2023. - Vol. 17, Iss.13. - P. 15891599
3. Анисимов, Б.В. Распознавание и цифровая обработка изображений / Б.В. Анисимов, В.Д. Курганов, В.К. Злобин. - М.: Высш. шк., 1983. - 295 c.
4. Обработка изображений с помощью OpenCV / Г.Б. Гарсия, О.Д. Суарес, Х.Л.Э. Аранда и др. - М.: ДМК Пресс, 2016. - 408 с.
5. Блюштейн, Е.А. Применение нерезкого маскирования для повышения резкости изображения в компьютерной томографии / Е.А. Блюштейн, А.О. Мантуров // Вестник Саратовского государственного технического университета. - 2012. - Т. 1, № 2с (64). - С. 313-318.
6. Сурин, В.А. Математическое моделирование фильтрации контрастных изображений на основе обобщенного метода наименьших модулей: дис. ... канд. техн. наук / В.А. Сурин. - Челябинск: ЮУрГУ, 2023. - 150 с.
7. Коржов А.В. Получение данных для обучения системы технического зрения по выявлению газовых включений в стеклянной детали изолятора ПС-70Е / А.В. Коржов, П.В. Лонзингер, В.И. Сафонов и др. // Вестник Южно-Уральского государственного университета. Серия: Энергетика. - 2024. - Т. 24, № 2. - С. 27-36.
Поступила в редакцию 20 сентября 2024 г.
Сведения об авторах
Коржов Антон Вениаминович - доктор технических наук, доцент, профессор кафедры электрических станций, сетей и систем электроснабжения, первый проректор - проректор по научной работе, Южно-Уральский государственный университет, г. Челябинск, Российская Федерация, ORCID iD: https://orcid.org/0000-0002-8504-9668, e-mail: [email protected].
Сурин Владимир Анатольевич - кандидат физико-математических наук, старший преподаватель кафедры прикладной математики и программирования, Южно-Уральский государственный университет, г. Челябинск, Российская Федерация, ORCID iD: https://orcid.org/0000-0002-3091-5370, e-mail: [email protected].
Ческидова Мария Александровна - аспирант, преподаватель кафедры прикладной математики и программирования, Южно-Уральский государственный университет, г. Челябинск, Российская Федерация, ORCID iD: https://orcid.org/0009-0002-9400-9585, e-mail: [email protected].
Лонзингер Петр Владимирович - кандидат технических наук, доцент кафедры электрических станций, сетей и систем электроснабжения, Южно-Уральский государственный университет, г. Челябинск, Российская Федерация, ORCID iD: https://orcid.org/0009-0001-0961-926X, e-mail: [email protected].
Сафонов Валерий Иванович - кандидат физико-математических наук, доцент кафедры электрических станций, сетей и систем электроснабжения, Южно-Уральский государственный университет, г. Челябинск, Российская Федерация, ORCID iD: https://orcid.org/0000-0001-6452-9286, e-mail: [email protected].
Коржов А.В., Сурин В.А., Ческидова М.А., Разработка алгоритма обнаружения дефектов
Лонзингер П.В., Сафонов В.И., Белов К.Н. в стеклянных изоляторах...
Белов Кирилл Николаевич - аспирант, ассистент кафедры оптоинформатики, ЮжноУральский государственный университет, г. Челябинск, Российская Федерация, ORCID iD: https://orcid.org/0009-0003-1915-5061, e-mail: [email protected].
Bulletin of the South Ural State University Series "Mathematics. Mechanics. Physics" _2024, vol. 16, no. 4, pp. 35-42
DOI: 10.14529/mmph240405
DEVELOPMENT OF AN ALGORITHM FOR DETECTING DEFECTS IN GLASS INSULATORS BASED ON COMPUTER VISION USING A NEURAL NETWORK APPROACH
A.V. Korzhov, V.A. Surin, M.A. Cheskidova, P.V. Lonzinger, V.I. Safonov, K.N. Belov
South Ural State University, Chelyabinsk, Russian Federation E-mail: [email protected]
Abstract. The article presents an algorithm for detecting defects in glass insulators using computer vision. Insulators, which are key elements of electrical networks, are subject to various defects, such as bubbles, chips and deformations. Such damage can significantly reduce the service life of insulators. In traditional production conditions, these defects are detected manually, which reduces productivity and increases the likelihood of human factor-based errors.
To solve the problem related to manual control restraints, the authors developed an algorithm based on the use of a neural network. The main task of the algorithm is to automatically identify defects that have a significant impact on the mechanical and electrical insulation properties of products.
The authors collected a data set for training the neural network and supplemented it with generated images to increase the sample of the location and shape of the considered defects. The paper describes in detail the steps of data preprocessing, including augmenting the contrast to increase the detectability of defects and reducing noise. Fragmenting is described to process defects of various sizes and shapes. Such fragmenting allows detecting defects of different sizes relative to the insulator size.
Keywords: defect detection; computer vision; generalized method of least modules; GMLM.
References
1. Diers J., Pigorsch C. A Survey of Methods for Automated Quality Control Based on Images. Int. J. Comput. Vis., 2023, Vol. 131, pp. 2553-2581. DOI: 10.1007/s11263-023-01822-w
2. Sharma P., Gupta S., Vyas S., Shabaz M. Retracted: Object Detection and Recognition using Deep Learning-Based Techniques. IET Communications, 2023, Vol. 17, Iss.13, P. 1589-1599. DOI: 10.1049/cmu2.12513
3. Anisimov B.V., Kurganov V.D., Zlobin V.K. Raspoznavanie i tsifrovaya obrabotka izobrazheniy (Image Recognition and Digital Processing). Moscow, Vyssh. shk., 1983, 295 p. (in Russ.).
4. Garcia G.B., Suarez O.D., Aranda J.L.E., Tercero J.S., Gracia I.S., Enano N.V. Learning Image Processing with OpenCV. Packt Publishing, 2015, 232 p.
5. Blyushteyn E.A., Manturov A.O. Application of Unsharp Masking to Image Sharpness Increasing in Computerized Tomography. Vestnik Saratovskogo gosudarstvennogo tekhnicheskogo universiteta, 2012, Vol. 1, no. 2с (64), pp. 313-318. (in Russ.).
6. Surin, V.A. Matematicheskoe modelirovanie fil'tratsii kontrastnykh izobrazheniy na osnove obobshchennogo metoda naimen'shikh moduley: dis. ... kand. tekhn. nauk (Mathematical Modeling of Contrast Image Filtering Based on the Generalized Method of Least Modules: Cand. Engineering Sci. Diss.), Chelyabinsk: SUSU, 2023, 150 p. (in Russ.).
7. Korzhov A., Lonzinger P.V., Safonov V.I., Surin V.A., Cheskidova M.A., Belov K.N. Obtaining Data for Training the Vision System to Detect Gas Inclusions in the Glass Part of the PS-70E Insulator. Bulletin of the South Ural State University. Series "Power Engineering", 2024, Vol. 24, no. 2, pp. 2736. DOI: 10.14529/power240203.
Received September, 20, 2024
Information about the authors
Korzhov Anton Veniaminovich is Dr. Sc. (Engineering), Associate Professor, Professor of the Power Plants, Networks and Power Supply Systems Department, Vice-Rector for Research, South Ural State University, Chelyabinsk, Russian Federation Федерация, ORCID iD: https://orcid.org/0000-0002-8504-9668, e-mail: [email protected].
Surin Vladimir Anatol'evich is Cand. Sc. (Physics and Mathematics), Senior Lecturer, Mathematics and Programming Department, South Ural State University, Chelyabinsk, Russian Federation, ORCID iD: https://orcid.org/0000-0002-3091-5370, e-mail: [email protected].
Cheskidova Mariya Aleksandrovna is Post-graduate Student, Lecturer, Mathematics and Programming Department, South Ural State University, Chelyabinsk, Russian Federation, ORCID iD: https://orcid.org/0009-0002-9400-9585, e-mail: [email protected].
Lonzinger Petr Vladimirovich is Cand. Sc. (Engineering), Associate Professor, Power Plants, Networks and Power Supply Systems Department, South Ural State University, Chelyabinsk, Russian Federation, ORCID iD: https://orcid.org/0009-0001-0961-926X, e-mail: [email protected].
Safonov Valeriy Ivanovich is Cand. Sc. (Physics and Mathematics), Associate Professor, Power Plants, Networks and Power Supply Systems Department, South Ural State University, Chelyabinsk, Russian Federation, ORCID iD: https://orcid.org/0000-0001-6452-9286, e-mail: [email protected].
Belov Kirill Nikolaevich is Post-graduate Student, Assistant, Optoinformatics Department, South Ural State University, Chelyabinsk, Russian Federation, ORCID iD: https://orcid.org/0009-0003-1915-5061, e-mail: [email protected].
