Научная статья на тему 'АЛГОРИТМ ОПРЕДЕЛЕНИЯ НАКЛОНА ОПОР ЛЭП МЕТОДАМИ ГЛУБОКОГО ОБУЧЕНИЯ ПО ВИДЕОДАННЫМ'

АЛГОРИТМ ОПРЕДЕЛЕНИЯ НАКЛОНА ОПОР ЛЭП МЕТОДАМИ ГЛУБОКОГО ОБУЧЕНИЯ ПО ВИДЕОДАННЫМ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
413
37
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ / СЕГМЕНТАЦИЯ ИЗОБРАЖЕНИЙ / БЕСПИЛОТНЫЙ ЛЕТАТЕЛЬНЫЙ АППАРАТ / КОМПЛЕКС "КАНАТОХОД" / УГОЛ НАКЛОНА ОПОР ЛЭП / ARTIFICIAL NEURAL NETWORKS / IMAGE ANALYSIS / IMAGE EDGE DETECTION / IMAGE SEGMENTATION / CLASSIFICATION ALGORITHMS / TRANSMISSION LINES / UAV / CABLEWALKER COMPLEX / POWER TRANSMISSION TOWER ANGLE

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Лимановская Оксана Викторовна, Титов Евгений Александрович, Волкова Дарья Ивановна, Лемех Александр Викторович

Бесперебойная работа ЛЭП может быть обеспечена только постоянным контролем за состоянием ЛЭП. Наиболее перспективным направлением в автоматизации процесса диагностики ЛЭП являются роботехнические комплексы, такие как беспилотный летательный аппарат с установленными на них видеокамерами или ползающие по проводам роботы, используемые для детального анализа состояния элементов ЛЭП. Полученные ими видеоданные в дальнейшем анализируются методами машинного зрения и нейронных сетей. Одним из дефектов элементов ЛЭП является отклонение опор от вертикали. Несмотря на то, что в ряде известных работ определяется состояние опор ЛЭП (упавшие опоры или нет), угол наклона опор не рассчитывается. Целью данной работы является разработка алгоритма расчета угла наклона опор ЛЭП для модуля диагностической системы комплекса «Канатоход», представляющего собой беспилотную летательную платформу с возможностью посадки на провод и движения по нему. Для выделения объектов на изображениях использована нейронная сеть YOLO v3. Для идентификации наклона бетонных опор в полученных ограничивающих прямоугольниках использованы методы машинного зрения (алгоритм Canny, Hough Line, GrabCut). Разработан алгоритм расчета угла наклона опор ЛЭП, позволяющий идентифицировать объекты, имеющиеся на изображении, с помощью нейронной сети YOLO v3, и определять края опор, путем построения вдоль них прямых линий. Рассчитаны углы между найденными краями опоры и горизонтом (нижний край изображения) как арктангенс отношения координат точки на ребре опоры, а также угол отклонения опоры от вертикали. Алгоритм прошел лабораторные испытания, которые показали его пригодность к использованию в диагностической системе комплекса «Канатоход». Применение алгоритма сокращает время обработки изображений с нескольких дней (в случае работы эксперта) до нескольких минут и избавляет от ошибок, связанных с человеческим фактором.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Лимановская Оксана Викторовна, Титов Евгений Александрович, Волкова Дарья Ивановна, Лемех Александр Викторович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

ALGORITHM FOR DETERMINING THE TILT OF SUPPORT OF ELECTRIC POWER SUPPLIES BY METHODS OF DEEP LEARNING WITH VIDEO DATA

The uninterrupted operation of power lines can only be ensured by constant monitoring of the state of power lines. The most promising direction in the automation of the diagnostics of power transmission lines are robotic systems, such as UAVs with video cameras mounted on them or robots crawling through wires, used for a detailed analysis of the state of power transmission line elements. The video data received by them is further analyzed by the methods of machine vision and neural networks. One of the defects of power line elements is the deviation of the supports from the vertical. Despite the fact that in a number of works the state of power transmission line supports was determined (fallen supports or not), the angle of inclination of the supports was not calculated. The goal of this work is to develop an algorithm for calculating the angle of inclination of power transmission line supports for the module of the diagnostic system of the CableWalker complex, which is an unmanned aerial platform with the ability to land on a wire and move along it. The YOLO v3 neural network was used to select objects in images. To identify the slope of concrete supports in the obtained bounding rectangles, machine vision methods (Canny, Hough Line, GrabCut algorithm) were used. The algorithm has been developed to identify the objects contained in the image using the YOLO v3 neural network and determine the edges of the supports by building straight lines along them. The angles between the found edges of the support and the horizon (the lower edge of the image) have been calculated as the arctangent of the ratio of the coordinates of the point on the edge of the support. The algorithm has passed laboratory tests which have shown its suitability for use in the diagnostic system of the CableWalker complex. The application of the algorithm reduces the image processing time from several days (in the case of an expert) to several minutes and eliminates the error associated with the human factor.

Текст научной работы на тему «АЛГОРИТМ ОПРЕДЕЛЕНИЯ НАКЛОНА ОПОР ЛЭП МЕТОДАМИ ГЛУБОКОГО ОБУЧЕНИЯ ПО ВИДЕОДАННЫМ»

ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

УДК 621.311+004.032

АЛГОРИТМ ОПРЕДЕЛЕНИЯ НАКЛОНА ОПОР ЛЭП МЕТОДАМИ ГЛУБОКОГО ОБУЧЕНИЯ ПО ВИДЕОДАННЫМ

О.В. ЛИМАНОВСКАЯ1,2, Е.А. ТИТОВ2, Д.И. ВОЛКОВА2, А.В. ЛЕМЕХ2 1ФГАОУВО «Уральский федеральный университет имени первого Президента России Б.Н. Ельцина»,

г. Екатеринбург, Российская Федерация, 2ООО «Лаборатория Будущего», г. Екатеринбург, Российская Федерация, E-mail: o.v.limanovskaia@urfu.ru

Авторское резюме

Состояние вопроса. Бесперебойная работа ЛЭП может быть обеспечена только постоянным контролем за состоянием ЛЭП. Наиболее перспективным направлением в автоматизации процесса диагностики ЛЭП являются роботехнические комплексы, такие как беспилотный летательный аппарат с установленными на них видеокамерами или ползающие по проводам роботы, используемые для детального анализа состояния элементов ЛЭП. Полученные ими видеоданные в дальнейшем анализируются методами машинного зрения и нейронных сетей. Одним из дефектов элементов ЛЭП является отклонение опор от вертикали. Несмотря на то, что в ряде известных работ определяется состояние опор ЛЭП (упавшие опоры или нет), угол наклона опор не рассчитывается. Целью данной работы является разработка алгоритма расчета угла наклона опор ЛЭП для модуля диагностической системы комплекса «Канатоход», представляющего собой беспилотную летательную платформу с возможностью посадки на провод и движения по нему.

Материалы и методы. Для выделения объектов на изображениях использована нейронная сеть YOLO v3. Для идентификации наклона бетонных опор в полученных ограничивающих прямоугольниках использованы методы машинного зрения (алгоритм Canny, Hough Line, GrabCut).

Результаты. Разработан алгоритм расчета угла наклона опор ЛЭП, позволяющий идентифицировать объекты, имеющиеся на изображении, с помощью нейронной сети YOLO v3, и определять края опор, путем построения вдоль них прямых линий. Рассчитаны углы между найденными краями опоры и горизонтом (нижний край изображения) как арктангенс отношения координат точки на ребре опоры, а также угол отклонения опоры от вертикали.

Выводы. Алгоритм прошел лабораторные испытания, которые показали его пригодность к использованию в диагностической системе комплекса «Канатоход». Применение алгоритма сокращает время обработки изображений с нескольких дней (в случае работы эксперта) до нескольких минут и избавляет от ошибок, связанных с человеческим фактором.

Ключевые слова: искусственные нейронные сети, сегментация изображений, беспилотный летательный аппарат, комплекс «Канатоход», угол наклона опор ЛЭП

ALGORITHM FOR DETERMINING THE TILT OF SUPPORT OF ELECTRIC POWER SUPPLIES BY METHODS OF DEEP LEARNING WITH VIDEO DATA

O.V. LIMANOVSKAYA1,2, E.A. TITOV2, D.I. VOLKOVA2, A.V. LEMEKH2 Ural Federal University, Yekaterinburg, Russian Federation 2 FutureLab LLC, Yekaterinburg, Russian Federation E-mail: o.v.limanovskaia@urfu.ru

Abstract

Background. The uninterrupted operation of power lines can only be ensured by constant monitoring of the state of power lines. The most promising direction in the automation of the diagnostics of power transmission lines are robotic systems, such as UAVs with video cameras mounted on them or robots crawling through wires, used for a detailed analysis of the state of power transmission line elements. The video data received by them is further analyzed by the methods of machine vision and neural networks. One of the defects of power line elements is the deviation of the supports from the vertical. Despite the fact that in a number of works the state of power transmission line supports was determined (fallen supports or not), the angle of inclination of the supports was not calculated. The goal of this work is to develop an algorithm for calculating the angle of inclination of power transmission line supports for the module of the diagnostic system of the CableWalker complex, which is an unmanned aerial platform with the ability to land on a wire and move along it. Materials and methods. The YOLO v3 neural network was used to select objects in images. To identify the slope of concrete supports in the obtained bounding rectangles, machine vision methods (Canny, Hough Line, GrabCut algorithm) were used.

Results. The algorithm has been developed to identify the objects contained in the image using the YOLO v3 neural network and determine the edges of the supports by building straight lines along them. The angles between the found edges of the support and the horizon (the lower edge of the image) have been calculated as the arctangent of the ratio of the coordinates of the point on the edge of the support. Conclusions. The algorithm has passed laboratory tests which have shown its suitability for use in the diagnostic system of the CableWalker complex. The application of the algorithm reduces the image processing time from several days (in the case of an expert) to several minutes and eliminates the error associated with the human factor.

Key words: Artificial neural networks, image analysis, image edge detection, image segmentation, classification algorithms, transmission lines, UAV, CableWalker complex, power transmission tower angle

DOI: 10.17588/2072-2672.2020.2.072-080

Введение. В настоящее время бесперебойное электроснабжение является неотъемлемым требованием современного общества, без которого невозможно его нормальное существование. Ежегодно в мире происходят сотни отключений, которые приводят к серьезным экономическим и социальным последствиям. В то время как прямые экономические потери каждого отключения электроэнергии составляют миллионы долларов, социальные последствия неизмеримы [1]. Н.Н. Alhelou и его коллеги проанализировали наиболее серьезные отключения электроэнергии во всем мире за это десятилетие [2]. Согласно их результатам, продолжительность этих отключений изменяется от 1 до 24 часов и число людей, затронутых этим, составляет миллионы для каждого события. Наиболее распространенными причинами перебоев в подаче электроэнергии являются погодные условия,

каскадные сбои и неисправности линий электропередачи. В то время как погодные условия не поддаются контролю, то состояния линий электропередачи возможно отслеживать. Постоянный мониторинг состояния линий электропередачи может обеспечить бесперебойную работу энергосистемы.

В настоящее время наиболее популярным методом осмотра является пеший патруль. В этом случае группа экспертов прибывает на линию электропередачи и выполняет все меры контроля (делает снимки, измерения и т. д.). Этот подход эффективен, поскольку специалисты могут получить всю информацию о неисправностях линии электропередачи, однако это дорого и опасно. Для доступа к труднодоступным местам используется инспекция на вертолете. В этом случае группа специалистов проводит онлайн-инспекцию и получает данные для автономной инспекции

во время полета на вертолете. Этот метод имеет много недостатков: он дорогой; имеет низкую точность из-за высокой скорости; качество определения дефектов зависит от навыков экспертов; является опасным из-за риска контакта с линиями под напряжением и гибели людей [3].

Поэтому идея автоматизации диагностики линии электропередачи набирает популярность в последние десятилетия. Ро-бототехнические системы являются наиболее перспективным способом автоматизации процесса. Существует два типа робо-тотехнических систем, способных решать эти задачи [4]. Первый - это скалолазный робот. Этот тип робота цепляется за провод, движется по нему и выполняет различные меры контроля - снимает фотографии, видео, проводит лазерное сканирование и прочие измерения. Второй тип роботизированной системы - это беспилотные летательные аппараты (БПЛА). Эти системы представляют собой беспилотные летательные аппараты, оснащенные специальными полезными нагрузками, такими как видео и фотокамеры, лазерные сканеры, тепловизионные камеры и другие устройства для контроля состояния элементов линий электропередачи. В настоящее время использование БПЛА является наиболее перспективным способом контроля состояния линии электропередачи благодаря их низкой стоимости и высокой гибкости в плане сбора данных.

Данные БПЛА используются как для обнаружения линии электропередачи, так и для проверки компонентов линии электропередачи. В обзоре [4] авторы представили современное положение дел в области контроля линии электропередачи и предложили подход для обнаружения линии электропередачи на основе изображений БПЛА. Этот подход состоит из шести основных этапов. На первом этапе изображения БПЛА улучшаются за счет удаления шума. Затем на втором этапе из этих изображений удаляется фон. На третьем этапе находятся края объектов на изображении. На следующем этапе строятся прямые на основе набора полученных контуров объектов изображений. На пятом этапе с помощью алгоритмов кластеризации выбираются прямые, принадлежащие линии электропередачи. На заключительном этапе строятся обнаруженные линии электропередачи. Подобный подход обнаружения

и проверки линии электропередачи был предложен в [6]. Chen B. и его коллеги предложили систематическую основу для семантической сегментации элементов линии электропередачи. Их метод состоит из четырех этапов. На первом этапе из изображений БПЛА извлекаются полные контурные сегменты с помощью алгоритма детектора линейных сегментов (LSD) и алгоритма связанного сегмента на основе матрицы, предложенного авторами. На втором этапе выбираются сегменты, содержащие линии электропередачи и отдельно области, содержащие опоры ЛЭП. На третьем этапе выявляются гасители вибрации. Для улучшения процесса их обнаружения используется алгоритм удаления фона. На четвертом этапе обнаруживаются инородные тела и разорванные нити. Таким образом алгоритм, представленный авторами [6], за четыре этапа может не только найти саму линию электропередачи, но и обнаружить элементы линий электропередачи (опоры, гасители вибраций) и дефекты ЛЭП, такие как наличие посторонних предметов на линии. Используемый авторами комплексный подход показал свою эффективность для обработки снимков БПЛА.

В настоящее время наиболее перспективным методом анализа снимков БПЛА в целях обнаружения неисправностей элементов линии электропередачи является глубокое обучение. Авторы [5] представили способность сверточных нейронных сетей проверять общие неисправности компонентов линии электропередачи. Задача проверки неисправностей линии электропередачи требует выделения элементов линии электропередачи на фотографиях или видеорядах для дальнейшего анализа каждого элемента на наличие дефектов в нем. Современная вариация сверточных нейронных сетей с архитектурой Mask R-CNN успешно решает задачу изоляции объекта. Эти нейронные сети генерируют ограничивающие рамки, чтобы изолировать объекты на изображениях. Среди них YOLO (You Only Look Once) v3 - один из наиболее подходящих способов идентификации элементов линии электропередачи в видеопотоке благодаря оптимальному балансу между скоростью и точностью. Авторы [6] использовали сети YOLO и Faster R-CNN для проверки линий электропередачи после стихийных бедствий в целях обнаружения упавших полюсов. Алгоритм, предложенный авторами,

строит ограничивающие рамки, чтобы различать башни на изображениях, а затем классифицирует башни как упавшие или прямые. Точность классификации для Faster R-CNN составила 75 %, в то время как точность YOLO v3 составила 90 %. Таким образом, анализ литературных данных показывает, что наиболее оптимальным подходом для автоматизации процесса поиска дефектов элементов линий электропередачи по снимкам с БПЛА является использование комплексного подхода на основе нейронных сетей.

В настоящее время в ООО «Лаборатория Будущего» (г. Екатеринбург РФ) разрабатывается комплекс «Канатоход», который представляет собой набор БПЛА с возможностью посадки на провод линии электропередачи и движения вдоль него [7]. В комплекс входит диагностическая платформа, на которую устанавливается оборудование, в том числе и видеокамера. Комплексом в настоящее время управляет оператор с наземной станции. Беспилотная летательная платформа комплекса взлетает и садится на провод и по мере движения вдоль него производит съемку элементов линии электропередачи. Полученные видеоданные обрабатываются экспертом на предмет выявления дефектов элементов линии электропередачи. Такой метод анализа данных занимает много времени и дорогостоящ, поэтому сейчас ведется разработка диагностической системы для автоматизации процесса анализа данных, полученных с комплекса «Канатоход».

Ниже представлен комплексный подход определения угла наклона бетонных столбов и идентификации полюсов с опасно большими углами отклонения, основанный на поэтапной обработке изображений, полученных с комплекса «Канатоход». На первом этапе алгоритма ограничивающие блоки компонентов линии электропередачи обнаруживаются с использованием YOLO v3. На втором этапе бетонные столбы сохраняются отдельно от других элементов и определяется угол их наклона.

Для этого необходима разработка алгоритма определения угла наклона бетонных опор ЛЭП по фотографиям, полученным с комплекса «Канатоход».

Методы исследования. Архитектура приложения. Согласно вышеупомянутым литературным данным, системы модульной архитектуры являются наиболее

перспективным и эффективным способом обнаружения линии электропередачи и выявления дефектов ее элементов. Учитывая этот факт, мы разработали модульную систему из трех модулей. Мы представили подробную схему этой архитектуры на конференции Sibiricon (г. Екатеринбург, Россия, 2019) [8].

Первый модуль нашей системы выполняет обнаружение опор и их классификацию с использованием нейронной сети YOLO v3. Выходной информацией этого модуля является тип опоры (бетонная или железная) и ее координаты на изображениях. Нейронная сеть классифицирует опоры как бетонные или металлические. Эта информация сохраняется в словаре Python и отправляется во второй модуль системы.

Второй модуль обнаруживает компоненты линии электропередачи в пределах участка изображения, в котором была обнаружена опора (изоляторы и гасители вибрации). Каждый обнаруженный элемент представлен в виде отдельного объекта класса с именем класса и координатами в качестве его параметров. В конце модуль рисует ограничивающие рамки для всех обнаруженных полюсов и компонентов. Все элементы (объекты класса с их параметрами) затем отправляются в третий модуль системы. В этом модуле используется специальная дополнительная нейронная сеть для точного обнаружения полюсов.

Ниже в качестве примера представим только один подмодуль обнаружения дефектов, предназначенный для оценки угла наклона бетонных опор.

Инструментарий. Нейронная сеть YOLO v3. Мы использовали нейронную сеть YOLO v3 в первом и втором модулях нашей системы. Предложенный Джозефом Ред-моном [9] алгоритм YOLO представляет собой единую нейронную сеть, которая применяется непосредственно ко всему изображению. Он одновременно отбирает и прогнозирует ограничивающие рамки и вероятности нахождения в них объектов различных классов. Использование этих систем позволяет всего лишь один раз передать изображение через нейронную сеть, чтобы предсказать объекты и их местоположение. Это обеспечивает высокую скорость YOLO по сравнению с другими методами обнаружения объектов, такими как R-CNN, Fast R -CNN и Faster R-CNN [10]. Начиная с YOLO v2, якорные блоки являют-

ся основой алгоритма. Якорные блоки - это блоки стандартных размеров, полученные из входного изображения в процессе кластеризации с использованием алгоритма k-средних. Входное изображение делится на ячейки заданного размера, а затем каждая ячейка сетки сопоставляется с пятью якорными ячейками разных размеров. Сеть определяет отклонения от наиболее подходящего объекта якорного ящика и вычисляет вероятность координат центра объекта в этом якорном ящике. Каждый анкерный блок имеет 5 параметров: координаты его центра, ширины и высоты, а также вероятность того, что координаты центра объекта находятся в этом анкерном поле. Для якорных ящиков, которые не центрируют какой-либо объект, вероятность попадания центра объекта в анкерное поле равена нулю. Таким образом, размер ядра обнаружения в YOLO v3 равен (Bx (5 + C)), где B - количество якорей привязки, которые ячейка может предсказать; 5 - количество параметров якорей ячеек; C - количество классов. Всего система YOLO v3 использует 9 якорных ящиков, по 3 на каждую шкалу. Чтобы избавиться от нескольких ограничивающих рамок, предсказанных для одного и того же объекта, YOLO v3 использует концепции немаксимального подавления и пересечения по объединению (IoU).

Чтобы получить пользовательские веса для обнаружения и классификации полюсов линий электропередачи, мы использовали сборку Darknet от AlexeyAB и взяли веса, предварительно обученные в наборе данных COCO. Поскольку мы должны классифицировать полюса по двум классам (бетонный и железный), мы изменили топологию нейронной сети. Для каждого слоя результатов вывода слоя YOLO v3 количество обнаруженных классов было изменено на два. Размер пакета был установлен равным 32, ширина и высота входных изображений была установлена на стандарт 416 х 416. Количество фильтров в слоях, предшествующих слоям YOLO v3, было пересчитано на основе количества обнаруженных классов. Кроме того, якоря были пересчитаны и обновлены в файле конфигурации системы, чтобы расширить обучающие способности нейронной сети.

Алгоритм извлечения переднего плана. Мы использовали алгоритм GrabCut для извлечения переднего плана. Алгоритм GrabCut был разработан Кар-

стеном Ротером, Владимиром Колмогоровым и Эндрю Блейком из Microsoft Research (Кембридж, Великобритания) [11]. Этот алгоритм основан на алгоритмах k-средних и CraphCut. Алгоритм k-средних используется для обучения моделей гауссовой смеси: одна модель - для объекта, другая модель - для фона. После обучения модели гауссовой смеси создают новое распределение пикселей. Строится граф на основе распределения пикселей. Узлы на графе являются пикселями. Добавляются еще два дополнительных узла: узел-источник и узел-приемник. Каждый пиксель переднего плана связан с узлом источника, а каждый фоновый пиксель связан с узлом приемника. Веса ребер, соединяющих пиксели с исходным узлом или конечным узлом, определяются вероятностью того, что пиксель является передним планом или фоном. Веса между пикселями определяются информацией о контурах или сходством пикселей. Если есть большая разница в цвете пикселей, ребро между ними будет иметь малый вес, и наоборот. Затем используется алгоритм сегментации для сегментирования графа. Он разрезает граф на два графа, разделяющих узел-источник и узел-приемник. После обрезки все пиксели, подключенные к узлу источника, становятся передним планом, а пиксели, подключенные к узлу приемника, становятся фоном.

Алгоритм выделения контуров. Мы использовали алгоритм Canny [12] для обнаружения контуров на изображениях. Этот алгоритм состоит из четырех этапов.

На первом этапе используется фильтр Гаусса для сглаживания изображения и удаления шума.

На втором этапе определяются градиенты яркости для каждого пикселя. Будучи двумерным вектором, градиент яркости в каждой точке характеризуется длиной и направлением. Направление градиента -это направление максимального увеличения функции. Это основа для процедуры подавления немаксимумов. В этой процедуре для каждой точки рассматривается сегмент из нескольких пикселей, ориентированный в направлении градиента и центрированный в рассматриваемом пикселе.

На третьем этапе производится определение максимальных пикселей. Пиксель считается максимальным тогда и только тогда, когда длина градиента в нем макси-

мальна среди всех длин градиентов пикселей в сегменте. Все максимальные пиксели с длиной градиента, превышающей порог, могут быть распознаны как граница.

На последнем этапе производится гистерезисная фильтрация максимальных пикселей. Градиент яркости в каждой точке перпендикулярен границе. Перпендикулярность градиента яркости к границе можно использовать для трассировки границы начиная с некоторого граничного пикселя. Это отслеживание используется при гистерезисной фильтрации максимальных пикселей. При проведении гисте-резисной фильтрации вводятся не одно, а два пороговых значения. Меньшее значение соответствует минимальной длине градиента, при которой пиксель может быть распознан как граница. Большее значение соответствует минимальной длине градиента, при которой пиксель может инициализировать контур. После того как контур инициализируется в максимальном пикселе P с длиной градиента, большей р, рассматривается каждый соседний максимальный пиксель Q. Если пиксель Q имеет градиентную длину, большую а, и угол между векторами PQ близок 90 градусам, то рассматриваемый пиксель Q добавляется к контуру и алгоритм переходит к следующему пикселю.

Алгоритм нахождения прямых линий на изображениях опор. Мы использовали алгоритм Hough Lines [13] для обнаружения линий. Алгоритм основан на представлении линии в параметрической форме:

p = X • cos(e) + Y • sin(0),

(1)

где р - перпендикулярное расстояние от начала координат до линии; 9 - угол, образованный искомой прямой линией и горизонтальной осью, измеренный против часовой стрелки.

Для каждой точки входного массива делается предположение, что она принадлежит искомой линии, и для нее рассчитываются параметры р и 9. Параметры хранятся в массиве. На следующем этапе пространство Хофа обходится с заданным шагом в 9 и учитывается количество точек в каждом наборе значений параметров. Наборы параметров, которые собрали количество точек выше заданного порога, считаются параметрами прямой линии, которые становятся выходом алгоритма.

Алгоритм расчета угла наклона опор. Алгоритм определения наклона опор состоит из семи этапов.

На первом этапе удаляется фон из изображения по алгоритму GrabCut.

На втором этапе изображение преобразуется в двоичный вид для предотвращения опознавания стыков и трещин опор как контуров края опор.

На третьем этапе применяется алгоритм Canny для обнаружения краев.

На четвертом этапе применяется алгоритм Hough Lines для обнаружения прямых линий. После его применения получается большое количество обнаруженных линий разной длины и углов. Эти линии необходимо отфильтровать так, чтобы найти только те, которые нам нужны, а именно те, которые представляют края опор. Чтобы сделать это, удаляются все линии, которые не находятся в пределах 40-градусного вертикального конуса. Затем, учитывая углы и направления линий, линии объединяются, где это возможно, чтобы уменьшить общее количество линий. Все остальные линии разделяются на принадлежащие левой стороне изображения и правой. Это сделано для того, чтобы избежать выбора двух линий с одной стороны, которые явно не могут быть краями опоры. Как только это будет сделано, определяются две наиболее параллельные линии, которые оказываются краями бетонной опоры.

На последнем этапе, используя найденные линии, рассчитываем угол наклона относительно вертикали для каждой линии и принимаем их среднее значение как окончательное значение угла наклона опоры.

Угол рассчитывается как арктангенс отношения координат точки, относящейся к краю опоры (рис. 1), а поскольку считается угол от вертикали, то его значение определяется как разница между 90° и рассчитанным углом:

р = 90 - arctg

(2)

Результаты исследования. Нахождение опор на изображениях и их классификация с помощью нейронной сети YOLO v3. Результатом работы YOLO v3 в первом модуле системы стали изображения с ограничивающими рамками, содержащими опору с меткого ее типа (бетонная

или металлическая). Эти результаты представлены на рис. 2.

х

Рис. 1. Определение угла наклона

а) б)

Рис. 2. Ограничивающие рамки: а - с бетонной опорой; б - с металлической опорой

Для обучения этой нейронной сети мы использовали 5200 изображений, 85 % из которых были использованы для ее обучения и 15 % - для оценки результатов. Значения точности классификации металлических и бетонных столбов составили 91,11 и 91,08 % соответственно с относительно небольшим количеством ошибочных классификаций.

Далее полученные после первой нейронной сети фрагменты изображения с опорами отправляются во вторую нейронную сеть YOLO v3 для обнаружения компонентов линии электропередачи для поиска компонентов ЛЭП, а именно подвесок и гасителей вибраций. Результаты для опор обоих типов (металлических и бетонных) показаны на рис. 3. Эти результаты явля-

ются выходными данными первого блока системы.

и А/>

IFX I

И

а) б)

Рис. 3. Результаты обнаружения элементов ЛЭП: а - возле металлической опоры; б - бетонной опоры

Изображения, полученные из первого модуля, являются входными изображениями второго модуля. Изображения обрабатываются для определения наклона опор в соответствии с алгоритмом определения угла наклона, описанным ранее. На рис. 4,а показано входное изображение второго модуля. На первом этапе использована маска для удаления фона с изображения, результаты этого этапа представлены на рис. 4,б. Затем изображение преобразовано в двоичный тип, как показано на рис. 4,в. На следующем этапе края найдены и линии связаны, как показано на рис. 4,г.

Поскольку камера БПЛА автоматически стабилизируется, нижний край изображений был взят за горизонт для расчета угла. Алгоритм был протестирован на 99 изображениях БПЛА. Алгоритм хорошо соответствует экспертным значениям. Средняя относительная погрешность алгоритма составила 11,5 %.

Выводы. Разработанный алгоритм обнаружения элементов линий электропередачи и расчета наклона бетонных опор находит элементы линии электропередачи (вышка, изоляторы и виброгаситель) по данным с видеокамеры, полученным с комплекса «Канатоход», и рассчитывает наклон бетонной опоры. Алгоритм, протестированный на изображениях, в которых наклон был рассчитан экспертом, показал хорошее совпадение с экспертными значениями. Алгоритм можно использовать

в составе экспертной системы для обнаружения дефектов элементов линий электропередачи.

а) б) в) г)

Рис. 4. Результаты алгоритма определения угла наклона опоры по этапам: а - входное изображение; б - изображение без фона; в - двоичное изображение; г - изображение с вычисленными краями

Алгоритм прошел лабораторное тестирование и результаты показали, что его можно использовать в разрабатываемой диагностической системе комплекса «Канатоход».

Список литературы

1. Review on economic loss assessment of power outages / M. Shuai, W. Chengzhi, Yu Shiwen, et. al. // Procedia Computer Science. -

2018. - Vol. 130. - P. 1158-1163.

2. A survey on power system blackout and cascading events: Research motivations and challenges / H.H. Alhelou, M.E. Hamedani-Golshan, T.C. Njenda, P. Siano // Energies. -

2019. - Vol. 12. - P. 682-710.

3. Nguyen V.N., Jenssen R., Roverso D. Automatic autonomous vision-based power line inspection: A review of current status and the potential role of deep learning // Electrical Power and Energy Systems. - 2018. - Vol. 99. - P. 107-120.

4. Semantic segmentation of transmission lines and their accessories based on UAV-taken images / L. Wang, Z. Chen, D. Hua, Z. Zheng // IEEE Access. - 2019. - Vol. 7. - P. 80829- 80839.

5. Weiner D., Scholz-Reiter B., Shpitalni M. Design of deep convolutional neural network architectures for automated feature extraction in industrial inspection // CIRP Annals -Manufacturing Technology. - 2016. - Vol. 65, No. 1. - P. 417-420.

6. Chen B., Miao X. Distribution line pole detection and counting based on YOLO using UAV

inspection line video // Journal of Electrical Engineering & Technology. - 2019. - Vol. 15, No. 1. - P. 441-448.

7. Пат. 2558002 Российская Федерация. Устройство для диагностики воздушных линий электропередач / А.Г. Шастин, Л.О. Виноградова, А.В. Лемех, В.А. Криворотов, В.А. Третьяков; опубл. 03.02.2014. Бюл. № 33.

8. The deep learning based power line defect detection system built on data collected by the Cablewalker drone / E.A. Titov, D.I. Volkova, O.V. Limanovskaya, A.V. Lemech // Тезисы докладов 2019 International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON) Новосибирск. - 2019. - Т. 1. -С.0700-0704.

9. You Only Look Once: Unified, Real-Time Object Detection / J. Redmon, S.K. Divvala, R.B. Girshick, A. Farhadi // CoRR. - 2015. -Vol. abs/1506.02640. - P. 1-10.

10. Зотов С.С., Яковлев А.А., Колчинцев Д.А. Обнаружение объектов в реальном времени с помощью алгоритмов распознования // Международный научный журнал «Синергия наук». - 2018. - № 26. -С. 388-404.

11. Rother C., Kolmogorov V., Blake A. «GrabCut» -- interactive foreground extraction using iterated graph cuts // ACM Trans Graph. -2004. - Vol. 5. - P. 309-314.

12. Canny J. A Computational Approach to Edge Detection // IEEE Transactions on pattern analysis and machine intelligence. - 1986. -Vol. PAMI-8, No. 6. - P. 679-698.

13. Ballard D.H. Generalizing the hough transform to detect arbitrary shapes // Pattern Recoqnition. - 1981. - Vol. 13, No. 2. - P. 111-122.

References

1. Shuai, M., Chengzhi, W., Shiwen, Yu, Hao, G., Jufang, Yu, Hui, H. Review on economic loss assessment of power outages. Procedia Computer Science, 2018, vol. 130, pp. 1158-1163.

2. Alhelou, H.H., Hamedani-Golshan, M.E., Njenda, T.C., Siano, P. A survey on power system blackout and cascading events: Research motivations and challenges. Energies, 2019, vol. 12, pp. 682-710.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

3. Nguyen, V.N., Jenssen, R., Roverso, D. Automatic autonomous vision-based power line inspection: A review of current status and the potential role of deep learning. Electrical Power and Energy Systems, 2018, vol. 99, pp. 107-120.

4. Wang, L., Chen, Z., Hua, D., Zheng, Z. Semantic segmentation of transmission lines and their accessories based on UAV-taken images. IEEE Access, 2019, vol. 7, pp. 80829-80839.

5. Weiner, D., Scholz-Reiter, B., Shpitalni, M. Design of deep convolutional neural network architectures for automated feature extraction in

industrial inspection. CIRP Annals - Manufacturing Technology, 2016, vol. 65, no. 1, pp. 417-420.

6. Chen, B., Miao, X. Distribution line pole detection and counting based on YOLO using UAV inspection line video. Journal of Electrical Engineering & Technology, 2019, vol. 15, no. 1, pp. 441-448.

7. Shastin, A.G., Vinogradova, L.O., Lemekh, A.V., Krivorotov, V.A., Tret'yakov, V.A. Ustroystvo dlya diagnostiki vozdushnykh liniy elektroperedach [Device for diagnosing overhead transmission lines]. Patent RF, no. 2558002, 2014.

8. Titov, E.A., Volkova, D.I., Limanov-skaya, O.V., Lemech, A.V. The deep learning based power line defect detection system built on data collected by the Cablewalker drone. Proceedings of 2019 International MultiConference on Engineering, Computer and Information Sciences (SIBIRCON), 2019, vol. 1, pp. 0700-0704.

9. Redmon, J., Divvala, S.K., Girshick, R.B., Farhadi, A. You Only Look Once: Unified, Real-

Time Object Detection. CoRR, 2015, vol. abs/1506.02640, pp. 1-10.

10. Zotov, S.S., Yakovlev, A.A., Kolchin-tsev, D.A. Obnaruzhenie ob"ektov v real'nom vremeni s pomoshch'yu algoritmov raspoznovaniya [YOLO object detection in real time with the yolo recognation algorithms]. Mezhdunarodnyy nauchnyy zhurnal «Sinergiya nauk», 2018, no. 26, pp.388-404.

11. Rother, C., Kolmogorov, V., Blake, A. «GrabCut» - interactive foreground extraction using iterated graph cuts. ACM Trans Graph, 2004, vol. 5, pp. 309-314.

12. Canny, J. A Computational Approach to Edge Detection. IEEE Transactions on pattern analysis and machine intelligence, 1986, vol. PAMI-8, no. 6, pp. 679-698.

13. Ballard, D.H. Generalizing the hough transform to detect arbitrary shapes. Pattern Recoqnition, 1981, vol. 13, no. 2, pp. 111-122.

Лимановская Оксана Викторовна,

ФГАОУВО «Уральский федеральный университет имени первого Президента России Б.Н. Ельцина»; ООО «Лаборатория будущего», кандидат химических наук, доцент института фундаментального образования, кафедры интеллектуальных информационных технологий; руководитель ИТ отдела, e-mail: o.v.limanovskaia@urfu.ru; o.limanovskaya@cablewalker.com Limanovskaya Oksana Viktorovna,

Ural Federal University; FutureLab LLC, Candidate of Chemical Sciences (PhD), Associate Professor of the Institute of Fundamental Education, Associate Professor of the Department of Intelligent Information Technology; Head of IT Department, e-mail: o.v.limanovskaia@urfu.ru; o.limanovskaya@cablewalker.com

Титов Евгений Александрович,

ООО «Лаборатория будущего», программист ИТ отдела, e-mail: e.titov@cablewalker.com Titov Evgenij Aleksandrovich,

FutureLab LLC, programmer, e-mail: e.titov@cablewalker.com Волкова Дарья Ивановна,

ООО «Лаборатория будущего», программист ИТ отдела, e-mail: d.volkova@cablewalker.com Volkova Darya Ivanovna,

FutureLab LLC, programmer, e-mail: d.volkova@cablewalker.com Лемех Александр Викторович,

ООО «Лаборатория будущего», директор, e-mail: alexandr.lemekh@cablewalker.com Lemekh Aleksandr Viktorovich,

FutureLab LLC, diretor, e-mail: alexandr.lemekh@cablewalker.com

ВЕСТНИК ИВАНОВСКОГО ГОСУДАРСТВЕННОГО ЭНЕРГЕТИЧЕСКОГО УНИВЕРСИТЕТА

Выпуск 2

Издание зарегистрировано в Федеральной службе по надзору в сфере связи, информационных технологий

и массовых коммуникаций. Свидетельство о регистрации ПИ N 77-13527 от 20.09.02 г.

Подписано в печать 06.04.2020 г. Выход в свет 30.04.2020 г. Формат 60х84 1/8. Усл. печ. л. 9,3. Уч.-изд. л. 10,1. Тираж 100 экз. Цена свободная. Заказ

Ивановский государственный энергетический университет, 153003, г. Иваново, ул. Рабфаковская, 34. Типография ООО «ПресСто», 153025, г. Иваново, ул. Дзержинского, 39, оф. 307.

i Надоели баннеры? Вы всегда можете отключить рекламу.