УДК 004.9 10.15827/0236-235Х.142.474-485 2023. Т. 36. № 3. С. 474-485
Программное обеспечение для автоматизированного обнаружения и оценки разрушений соединительных швов зданий
В.В. Кабанова О.С. Логунова М.Ю. Наркевич В.Д. Корниенко
Ссылка для цитирования
Кабанова В.В., Логунова О.С., Наркевич М.Ю., Корниенко В.Д. Программное обеспечение для автоматизированного обнаружения и оценки разрушений соединительных швов зданий // Программные продукты и системы. 2023. Т. 36. № 3. С. 474-485. ао1: 10.15827/0236-235Х.142.474-485 Информация о статье
Поступила в редакцию: 20.01.23 После доработки: 14.04.23 Принята к публикации: 17.05.2023
Аннотация. В статье предложен метод обнаружения и оценки разрушений швов зданий, основанный на изменении контраста изображения, адаптивном пороге, алгоритме Хафа и нескольких дополняющих его алгоритмах обработки данных. Для исследования состояния фасадов здания промышленного предприятия осуществлена фото-и видеосъемка с помощью беспилотного летательного аппарата. Полученная коллекция изображений использовалась для отладки работы созданного программного модуля и метода обнаружения швов зданий и разрушений на них. Предложенный метод реализован в программном модуле и позволяет обрабатывать изображения разных размера и яркости пикселей. Предусмотрено применение данного метода с исключенными на изображении областями. В работе рассмотрены текущие способы визуального обследования здания, приведены примеры существующего ПО для контроля состояния объектов. Описан порядок выполнения исследования, представлены схемы работы реализованных в программном модуле процедур по обнаружению швов и их разрушений. Рассмотрены особенности работы метода, предложенного авторами данной статьи. Приведен пример градации текущих и прогнозируемых разрушений швов здания. Группа параметров, используемая в методе, подобрана в ходе исследования, изменение их значений позволяет эксперту корректировать обнаружение швов. Данная разработка позволила оценить состояние исследуемых зданий и сооружений. Приведены примеры изображений с выделенными швами и разрушениями, а также результаты процентных оценок разрушений соединительных швов зданий на изображении. Результаты исследования подтверждают работоспособность программного модуля и необходимость внедрения таких модулей для контроля состояния территорий и зданий предприятия.
Ключевые слова: распознавание образов, программный модуль, мониторинг состояния здания, оценка разрушений, алгоритм Хафа
Благодарности. Работа выполняется в МГТУ им. Г.И. Носова по договору № 247715 от 05.07.2021 г. «Разработка и применение методик контроля территорий, зданий и сооружений ПАО «ММК» с использованием беспилотных воздушных судов (БВС)»
Для бесперебойной работы предприятия требуется следить не только за технологиями производства и порядком выполнения работ, но и за состоянием сооружений, зданий, различных установок.
Целью данного исследования является разработка программного модуля по автоматизированному обнаружению и оценке разрушений соединительных швов панельных зданий. Разработанное ПО, в первую очередь, ориентировано на предприятия и компании, имеющие в материальном активе большое количество зданий и сооружений.
В соответствии с целью поставлены следующие задачи:
- определить способы оценки технического состояния зданий и сооружений;
- выполнить оценку существующего ПО, предназначенного для контроля за состоянием объектов промышленного предприятия;
- описать исходные и выходные данные, необходимые для работы программного модуля;
- разработать алгоритмы и схему работы программного модуля по обнаружению и оценке разрушений соединительных швов панельных зданий;
- разработать программную реализацию модуля для внедрения в систему экспертной оценки при принятии решений о техническом состоянии панельных зданий.
Авторами данной статьи предлагается методика обнаружения разрушений межпанельных швов здания, основанная на композиции алгоритмов изменения контраста изображения, адаптивного порога, яркости объекта разрушения, алгоритма Хафа и на нескольких других дополняющих его алгоритмах обработки данных.
Методы
Способы оценки состояния зданий и сооружений. Техническое обследование конструкций зданий и сооружений проводится в несколько этапов. На первом этапе осуществляется предварительное обследование конструкций сооружения, включающее осмотр здания, сбор общих сведений о сооружении, изучение ранее проводившихся обследований его строительных конструкций. На втором этапе выполняются инструментальное обследование зданий с визуальным обследованием конструкций и фотофиксацией видимых дефектов, а также обмерные работы. Инструментальное обследование сооружения назначается в случае недостаточности результатов визуального обследования для решения задач. Третий этап проводится в лабораторных условиях, определяются физико-технические характеристики материалов обследуемых конструкций. На четвертом этапе результаты обследования обобщаются, составляются технологический отчет и заключение [1].
В настоящее время в большинстве случаев оценкой технического состояния зданий занимаются эксперты и специалисты из строительной области, имеющие необходимую аппаратуру для замеров. Такой способ является затратным с точки зрения необходимых человеко-часов для обследования здания, особенно, если объекты расположены на большой площади. Кроме того, после визуального обследования и замеров требуется обработка полученных данных, а это длительный процесс. Результат работы зависит от группы экспертов, их навыков, физического состояния и опыта.
С развитием компьютерного зрения появилась возможность автоматизации процесса визуального контроля за состоянием зданий и сооружений. Для обнаружения трещин на бетонных и других конструкциях используются сверточные [2-4], а также генеративно-состязательные [5] нейронные сети и методы обработки изображений (алгоритм Canny [6], бинаризация Otsu [7, 8], удаление шума [9] и др.).
В работе [10] предлагается метод обнаружения трещин дорожного покрытия с использованием алгоритмов предварительной обработки (выравнивание гистограммы) и адаптивного порога. Авторы протестировали метод на 509 изображениях и получили результаты с точностью 0,82. В статье [11] описаны исследования с применением метода автоматического обнаружения трещин, основанного на совмещении
изображений и сегментации на уровне пикселей (улучшенный DeepLab_v3+). Утверждается, что метод значительно эффективнее других распространенных алгоритмов сегментации на уровне пикселей.
Внедрение прикладной цифровой платформы для контроля за состоянием объектов на металлургическом предприятии позволило сделать вывод, что использование платформы, состоящей из программных модулей, эффективно при экспертной оценке элементов производственных объектов [12, 13].
Существует трехэтапный метод автоматического обнаружения микротрещин в бетоне подводных сооружений (цветовая коррекция изображений, отправка в сверточную нейронную сеть для распознавания трещин, сегментация трещин с помощью алгоритма 018и) с экспериментальным результатом в 93,9 % [14].
Описанное ПО позволяет быстро провести визуальное обследование объектов (по сравнению с ручным методом) и получить результат в виде изображения с обнаруженными распознанными дефектами и процентной оценкой. На основе результата делается вывод о необходимости дополнительных инструментальных замеров, а также лабораторных исследований с применением аппаратуры. Алгоритмы обработки изображений также имеют погрешность, поэтому исследователю необходимо корректировать процесс выполнения обработки, например, через изменение параметров, использующихся в алгоритме, для улучшения результата исследования.
Описание исходные и выходнъIX данных для работы программного модуля. Для проведения исследования по обнаружению разрушений на швах здания проведена фото- и видеосъемка объектов на территории Магнитогорского металлургического комбината с использованием беспилотного летательного аппарата (БПЛА) [15]. Также допускается съемка на фотоаппарат с высоким разрешением для захвата детализированных изображений. Если исходными данными являются видеопотоки, то перед анализом изображений из них извлекаются кадры, которые затем загружаются в программный модуль. Во время съемки БПЛА или фотоаппарат следует располагать параллельно объекту исследования, то есть запрещается съемка под углом. Несоблюдение данного правила приводит к неверному обнаружению соединительных швов здания на изображении при применении серии алгоритмов, представленных в данной работе.
Для удобной и быстрой работы с программным модулем по обнаружению и оценке разрушений соединительных швов здания авторами данной статьи спроектировано и реализовано приложение с графическим интерфейсом пользователя. Однако поскольку модуль создан для использования в общей системе (веб-приложение), имеющей клиентскую часть и включающей в себя группу модулей, предусмотрена работа с модулем через командную строку посредством запуска скрипта и передачи требуемых аргументов и опций для возможности автоматического запуска.
При работе с модулем через командную строку требуется указать обязательные аргументы и опции: путь к скрипту (.sh), запускающему программный модуль, путь к исходному изображению здания и путь к директории для сохранения обработанных изображений и файла с результатом оценки разрушений в формате JSON. Кроме того, предусмотрена передача параметров для корректировки результата и исключения из области исследования фрагментов изображения. В результате выполнения скрипта в папку сохраняются обработанные изображения с постфиксами (имя изображе-ния_allSeams.png, имя изображения_Dama-geSeams.png) для их дальнейшей идентификации.
Программный модуль обрабатывает изображения с различными разрешениями и размерами. От размера изображения зависит время его обработки. Допускается загрузка следующих видов изображений в формате png или jpg: фрагменты панелей здания, фасад здания, склейка фрагментов здания.
Алгоритмы и схемы работы программного модуля по обнаружению и оценке разрушений соединительных швов панельных зданий. В программном модуле реализовано несколько процедур. Основу модуля составляют процедура обнаружения и подсчета площади всех соединительных швов здания на изображении, а также площади разрушений соединительных швов здания на изображении.
Для реализации программного кода каждой процедуры составлены алгоритмы, включающие применение функций из библиотеки OpenCV и использование дополнительных алгоритмов, необходимых для обработки данных после работы стандартных функций. На рисунке 1 представлена блок-схема алгоритма поиска площади швов и разрушений соединительных швов между панелями здания.
Рассмотрим работу алгоритма подробнее. В программный модуль загружается одно изображение здания в цветовой модели RGB. Далее копия исходного изображения приводится к полутоновому (процесс № 1) для применения функции адаптивного порога. Предварительно к изображению применяется функция размытия по методу Гаусса, чтобы уменьшить количество шумов, влияющих на поиск швов здания. После работы функции адаптивного порога применяется морфологическая операция «Замыкание» для частичного замыкания контуров. На этом этап предварительной обработки изображения завершается.
В процессе № 5 осуществляется поиск линий на бинарном изображении: вызывается функция HoughLinesP (HoughLines) [16] из библиотеки OpenCV, применяемая для обнаружения прямых линий на растровом изображении. Известно, что соединительные швы здания вертикальные или горизонтальные, поэтому другие линии не учитываются. Пример обнаружения линий на швах приведен на рисунке 2.
В результате выполнения процесса № 5 (рис. 1) находятся предварительные соединительные швы здания на изображении. На данном этапе возникают несколько проблем:
- подсчет площади швов (найденные линии накладываются друг на друга несколько раз или, наоборот, линии не покрывают весь шов);
- обнаружение ложных прямых, не лежащих на шве;
- поиск разрушений на швах (массив найденных прямых конкретно не определяет шов).
Следовательно, необходимо провести отбор линий, обнаруженных алгоритмом Хафа, и преобразовать отобранные группы линий в швы.
В процессе № 6 осуществляется группировка линий по следующим критериям:
- тип линии (горизонтальная или вертикальная);
- положение линии на изображении (для вертикальной - координатаX, для горизонтальной - Y).
На рисунке 3 приведена блок-схема процесса № 6 со следующими обозначениями: С1 - условие «Является ли линия вертикальной?», С2 - условие «Является ли линия горизонтальной?», С3 - условие «Входит ли текущая вертикальная линия в окрестность существующей группы вертикальных линий?», С4 - условие «Входит ли текущая горизонтальная линия в
Условие: если поиск швов произведен, то перейти к поиску разрушений
Конец JJ
0 © © © © © ©
Применение стандартной библиотеки для получения изображения в оттенках серого
Применение стандартной библиотеки для смягчения шумов на изображении методом Гаусса
Применение стандартной библиотеки для поиска адаптивного порога
Применение стандартной библиотеки для замыкания разорванных контуров
Применение стандартной библиотеки для метода Хафа
Группировка линий по алгоритму, представленному на рисунке 3
Построение прямоугольников по формулам
Подсчет площади прямоугольников
Применение стандартной библиотеки для увеличения контраста изображения
Объединение линий по алгоритму на рисунке 5
Рис. 1. Блок-схема алгоритма поиска площади швов и разрушений соединительных швов
между панелями здания
Fig. 1. Block diagram of the algorithm for searching for the area of seams and destruction of connecting seams between building panels
окрестность существующей группы горизонтальных линий?». Линии числятся в одной группе, если находятся в одной окрестности.
Далее происходит перебор сформированных групп линий (процесс № 7 на рисунке 1). Если численность группы меньше минимально требуемого количества линий, входящих в шов, то такая группа исключается.
Если группа линий удовлетворяет условию, то для нее строится ограничивающий прямоугольник в визуальной системе координат. Определяются верхний левый угол и правый нижний угол прямоугольника по формулам:
Xleft = Ущ = шт(Г), Xright = шах^,
Уbottom = шах(Г), где X = x„} - кортеж зна-
чений координат начальных и конечных точек линий по оси абсцисс; Y = {у1,..., Уп} - кортеж значений координат начальных и конечных точек линий по оси ординат.
Сформированные прямоугольники хранятся в векторе. Далее прямоугольники перебираются и в случае их пересечения объединяются. На рисунке 4 представлен пример изображения панелей здания с найденными швами после применения метода Хафа и нескольких алгоритмов обработки линий, найденных этим методом.
Рис. 2. Пример обнаружения линий на копии исходного изображения алгоритмом Хафа
Fig. 2. An example of detecting lines on a copy of the original image by the Hough algorithm
После распознавания швов найденные прямоугольники разделяются на фрагменты в соответствии с исключенными областями (окна, двери, лестницы). Особенности алгоритма не
предусматривают изначальное деление прямоугольников на фрагменты, поскольку при построении ограничивающего прямоугольника учитываются минимальные и максимальные значения координат группы линий, находящихся на одной координате и ее окрестности.
Далее отобранные и разделенные прямоугольники строятся на копии исходного изображения и подсчитывается площадь всех найденных швов с учетом вычитания площади пересечения вертикальных и горизонтальных швов.
После нахождения соединительных швов здания осуществляется поиск разрушений на них по алгоритму (другая ветка, рис. 1).
Рис. 3. Блок-схема алгоритма группировки линий, найденных методом Хафа Fig. 3. A block diagram of the line grouping algorithm found by the Hough method
1
i
Рис. 4. Пример группировки швов и их распознавания
Fig. 4. An example of grouping seams and their recognition
К копии исходного изображения применяются описанные выше этапы предварительной обработки. Если при процедуре поиска всех
швов на изображении контраст копии исходного изображения по умолчанию не изменяется, то при поиске разрушений контраст копии исходного изображения обязательно увеличивается для выделения темных участков с текущими и прогнозируемыми разрушениями.
В процессе № 5 также вызывается функция HoughLinesP для поиска линий на бинарном изображении. Далее происходит перебор найденных линий. Линии, принадлежащие исключенным областям, не рассматриваются. Если линия вертикальная или горизонтальная, то проверяется ее принадлежность к определенному ранее найденному шву (прямоугольнику), координаты линии записываются в конкретную группу в словаре GroupLinesDaшage.
Рис. 5. Блок-схема алгоритма объединения горизонтальных линий-разрушений,
найденных методом Хафа
Fig. 5. A block diagram of the algorithm for combining horizontal destruction lines
found by the Hough method
После перебора всех линий невозможно подсчитать площадь разрушений, так как линии могут накладываться друг на друга. В процессе № 10 (рис. 1) найденные линии объединяются с учетом их пересечения и наложения (алгоритм для горизонтальных линий изображен на рисунке 5). Алгоритм для вертикальных линий аналогичный, только удлинение линии происходит по оси OY.
Затем повторно перебираются группы швов-разрушений, и для каждой линии из группы швов строится индивидуальный ограничивающий прямоугольник (рис. 6), подсчи-тывается площадь разрушений.
Результаты
Общая схема системы по оценке технического состояния объектов. Программный модуль, описанный в данной работе, предназначен для решения одной из задач проекта построения системы по оценке технического состояния объектов на металлургическом предприятии (рис. 7). Прежде всего осуществляется видеосъемка объектов исследования на территории предприятия с помощью БПЛА. Далее извлекаются кадры из видеопотоков, каждый из кадров получает название в зависимости от задачи по определенному принципу. На следующем этапе полученные кадры проходят визуальный анализ качества и для каждого изображения строится гистограмма яркости. Построенные гистограммы сортируются, определяется пригодность изображения к обработке разработанными программными модулями. На основе вывода выбирается траектория обработки изображения в зависимости от находящегося на изображении объекта и качества кадра.
Программная реализация модуля для внедрения в систему экспертной оценки при
принятии решений о техническом состоянии панельных зданий. Программный модуль реализован на языке С++ и является динамически подключаемой библиотекой *.dll для Windows, *.so для Linux. Модуль разрабатывался с использованием кроссплатформенной среды разработки Qt Creator и фреймворка Qt. Модуль использует библиотеку OpenCV для обработки изображений, которая подключается динамически во время выполнения приложения, а также модуль QtCore для сборки. В программном коде (в заголовочном файле) определен класс BuildingDamageFinder.
Так как модуль предназначен для работы на Linux-сервере, разработано консольное приложение с парсером командной строки, чтобы при запуске исполняемого файла через терминал или функции языка программирования, которые работают с командной строкой, передавать опции и аргументы. Для считывания опций и аргументов из командной строки используются классы QApplication, QCom-mandLineParser, для установки опций и аргументов - QCommandLineOption. Для автоматического запуска исполняемого файла, к которому подключен программный модуль, сгенерирован bash-скрипт, настраивающий необходимые для работы exe-файла переменные окружения (пути к библиотекам и т.д.). Для развертывания С++ Qt приложения использовалась кроссплатформенная утилита CQtDeployer. Кроме двух изображений здания с выделенными швами и разрушениями, результатом работы модуля также является JSON-файл, поэтому в программном коде используются классы QJsonValue, QJsonObject, QJsonDocument.
Исследование результатов работы алгоритмов по обнаружению разрушения межпанельных швов здания. Наличие групп параметров позволяет градуировать уровень обнаруживаемых разрушений соединительных швов здания. В таблице 1 представлен пример градации уровня разрушений соединительных швов здания на изображении для некоторых значений. Выбор определенного уровня разрушений зависит от задач исследователя. По умолчанию разрушениями считаются затемнения на швах и отсутствие материала в шве. Затемнения на швах - их возможные будущие серьезные разрушения. Учет позволяет спрогнозировать долю разрушений соединительных швов здания через некоторое время. При увеличении значения параметра (изменение контраста) потенциальные будущие разрушения
Рис. 6. Пример обнаруженных разрушений швов
Fig. 6. An example of detected seam failures
Web - оболочка
Задача проекта 1 ) Разрушение шва
Разрушение ^^ кладки ч/^Л Лакокрасочное ^покрытие Обнаружение ^—^ типовых объектов
) Обнаружение обледения Обнаружение провалов Ууч Обнаружение
7 ржавчины Разрушение
8 дороги Обнаружение
мусора
Анализатор качества
Визуальный анализатор качества
Поточный анализатор гистограмм
Автоматизированный классификатор изображений
Выбор траектории
Л| TT
T3
CZ
Tn
Рис. 7. Общая схема системы по оценке технического состояния объектов: С1 - условие выбора траектории; Ti - вектор траекторий обработки; Mi - набор модулей для обработки изображений
Fig. 7. A general scheme of the system for assessing the technical condition of objects: C1 is a condition for choosing a trajectory; Ti is a vector of processing trajectories; Mi is a set of modules for image processing
постепенно перестают учитываться в процентной доле, и в расчетах участвуют фрагменты швов без материала, поэтому процент разрушений уменьшается. Изменение параметра постепенно увеличивает контраст копии исходного изображения для обработки.
На рисунке 8 представлены результаты градации уровня обнаруживаемых разрушений с помощью последовательного изменения параметра. Наблюдаются резкие изменения процентной доли разрушений при установке значения параметра с 4-го по 9-е. При значении параметра с 10-го по 15-е замечена стабилизация итогового результата. Таким образом, при начальном и близких к нему значениях параметра происходило отсекание затемнений на швах в быстром темпе. Поскольку упор в созданном алгоритме сделан именно на обнаружение серьезных разрушений швов, процентная доля разрушений также резко изменялась. Дальнейшее изменение значения параметра на итоговый результат не влияет, так как слабые разрушения уже не учитываются в расчетах, а оставшиеся дефекты не могут скрыться из-за серьезной степени разрушения шва.
Окна, двери, лестницы на фасаде и окружающая среда, попадающая в кадры, не представляют интереса для исследователя и мешают процессу обнаружения разрушений швов здания. Возможны два способа выбора областей исследования:
- пользователь выбирает только полезные области и самостоятельно не включает в иссле-
дование лишние объекты, получает общий и отдельный результаты для каждой области;
- пользователь сначала исключает некоторые области, а затем обрабатывает одну полезную область (с исключенными областями).
Таблица 1 Градация уровня обнаруживаемых разрушений соединительных швов здания
Table 1
A gradation of the level of detected destruction of the building connecting seams
Значение параметра
Выходное изображение с выделенными разрушениями
Доля разрушений
швов, %
82,67
61,19
42,42
21,37
13
16,21
15
13,34
4
6
7
9
Таблица 2 Сравнение двух способов работы с исходным изображением
Table 2
A comparison of two ways of working with an original image
100% 80% • 60% 40% 20% 0%
4 5 6 7 8 9 10 11 12 13 14 15 Значение параметра
Рис. 8. Диаграмма изменения процента разрушений швов при разных значениях параметра
Fig. 8. A diagram of a seams destruction changing percentage at different values of the parameter
Номер изображения
Исходное изображение фрагмента фасада здания
Результат оценки доли разрушений швов, %
Способ 1
16,48
93,63
65,32
31,73
5,8
Способ 2
18,15
91,47
64,11
31,89
6,18
1
2
3
4
5
Проведено сравнение этих способов (табл. 2). Перед сравнением изображений с фрагментом или фасадом здания отобраны образцы для исследования из существующей коллекции изображений.
Очевидно, что параметры обнаружения швов и разрушений одинаковы для обоих способов. По умолчанию разрушением считаются полное отсутствие материала в шве, а также затемнения на швах, поэтому доля разрушений на некоторых изображениях превышает 50 %.
Следует отметить, что при обработке образца № 5 двумя способами осуществлена корректировка параметров для обнаружения всех швов фрагмента здания и разрушений швов. Это связано с низкой средней интенсивностью пикселей изображения, если, например, сравнивать со средней интенсивностью пикселей образца № 3 и других образцов.
Иногда соединительные швы обнаруживаются неверно. В большинстве случаев эксперт может исправить ошибки обнаружения с помощью корректировки имеющихся параметров.
Время выполнения обработки изображения. Описанный в работе программный модуль создан для сокращения времени первичного осмотра здания на наличие разрушений. Время обработки зависит от архитектуры компьютера, операционной системы и характеристик, а также от операций, выполняемых в фоновом режиме во время процесса обработки изображения.
Визуальный осмотр исходных и выходных изображений показал, что разрушения выделяются верно и процентная доля разрушений сопоставима с количеством выделенных соединительных швов и разрушений на них.
Изучение алгоритмов и исследование результатов работы программного модуля позволяют выделить следующие отличительные особенности разработки:
- возможность обработки фасадов зданий, снятых БПЛА;
- исключение фрагментов изображения путем передачи координат в программный модуль для построения черного прямоугольника на изображении;
- обработка изображений с учетом исключенных фрагментов изображений;
- обязательное соблюдение параллельности камеры и объекта исследования для верного обнаружения швов;
- подсчет площади швов, текущих и потенциальных разрушений межпанельных швов здания;
- поиск разрушений на швах зданий с разной облицовкой панелей за счет наличия группы параметров;
- работа с изображениями, имеющими особенности: косметический ремонт, низкая интенсивность пикселей, ремонт на панелях;
- получение изображений с выделенными швами и разрушениями;
- получение процентной доли разрушений швов.
Заключение
Результаты проведенного исследования позволили сделать следующие выводы.
Представленная разработка может заменить работу экспертов по визуальному обследованию зданий, уменьшить срок получения результата, а также сэкономить средства за счет
отказа от услуг экспертной группы по первичному осмотру зданий.
Предложенным методом можно обрабатывать изображения разных размеров. Это условие важно для предприятий с большим количеством зданий в материальном активе, так как метод дает возможность обрабатывать фасады и склейки здания.
Комбинация нескольких параметров сильно влияет на результат обнаружения швов. Установка полей для изменения параметров на пользовательском интерфейсе позволит эксперту улучшить результат обнаружения разрушений и уменьшить зависимость результата от размера изображения, яркости пикселей и общего состояния блоков здания.
Внедрение такого рода программных модулей на крупных предприятиях позволит своевременно обнаруживать и оценивать разрушения соединительных швов панельных зданий.
Список литературы
1. Леденев В.В., Ярцев В.П. Обследование и мониторинг строительных конструкций зданий и сооружений. Тамбов: изд-во ТГТУ, 2017. 252 с.
2. Qu Z., Wang L. Gating attention convolutional networks with dense connection for pixel-level crack detection. Multimedia Systems, 2022, pp. 1-12. doi: 10.1007/s00530-022-01008-3.
3. Zhang Y., Li X., Qiu J., Zhai X., Wei M. GFU-Net: A deep learning approach for automatic metal crack detection. Proc. NCAA, 2021, pp. 375-388. doi: 10.1007/978-981-16-5188-5_27.
4. Munawar H.S., Hammad A.W.A., Waller S.T., Islam Md.R. Modern crack detection for bridge infrastructure maintenance using machine learning. Human-Centric Intelligent Systems, 2022, vol. 2, no. 3-4, pp. 95-112. doi: 10.1007/ s44230-022-00009-9.
5. Tian L., Wang Z., Liu W. et al. An improved generative adversarial network with modified loss function for crack detection in electromagnetic nondestructive testing. Complex Intell. Syst., 2022, vol. 8, no. 1, pp. 467-476. doi: 10.1007/ s40747-021 -00477-9.
6. Jiang F., Wang G., He P., Zheng C., Xiao Z., Wu Y. Application of canny operator thresh-old adaptive segmentation algorithm combined with digital image processing in tunnel face crevice extraction. The J. of Supercomput., 2022, vol. 78, no. 9, pp. 11601-11620. doi: 10.1007/s11227-022-04330-9.
7. Pansare D., Panchwadkar A. Crack detection using image processing. AIP Conf. Proc., 2022, vol. 2653, art. 030007. doi: 10.1063/5.0116894.
8. Attachie J., Owusu G. Utilization of image processing strategy to detect crack on walls. Proc. ICENCO, 2020, pp. 43-46. doi: 10.1109/ICENC049778.2020.9357395.
9. Li J., Li X., Liu K., Yao Z. Crack identification for bridge structures using an unmanned aerial vehicle (UAV) incorporating image geometric correction. Buildings, 2022, vol. 12, no. 11, art. 1869. doi: 10.3390/buildings12111869.
10. Cheng C., Seo H., Jun C., Zhao Y. A potential crack region method to detect crack using image processing of multiple thresholding. Signal, Image and Video Processing, 2022, vol. 16, no. 6, pp. 1673-1681. doi: 10.1007/s11760-021-02123-w.
11. Liu Z., Li X., Li J., Teng S. New approach to automatically calibrate and detect building cracks. Buildings, 2022, vol. 12, art. 1081. doi: 10.3390/buildings12081081.
12. Наркевич М.Ю., Логунова О.С., Аркулис М.Б. и др. Прикладная цифровая платформа для оценки динамики качества опасных производственных объектов на металлургическом предприятии: структура и алгоритмы // Вестн. ЧГУ. 2022. № 5. С. 29-48. doi: 10.23859/1994-0637-2022-5-110-3.
13. Гарбар Е.А., Логунова О.С. Экспресс детектор дефектов листового проката: Свид. о регистр. ПрЭВМ № 2022611184. Рос. Федерация, 2022.
14. Qi Z., Liu D., Zhang J., Chen J. Micro-concrete crack detection of underwater structures based on convolutional neural network. Machine Vision and Applications, 2022, vol. 33, art. 74. doi: 10.1007/s00138-022-01327-5.
15. Наркевич М.Ю., Логунова О.С., Корниенко В.Д. и др. Мониторинг состояния зданий и сооружений с помощью беспилотных летательных аппаратов: результаты пилотного эксперимента // Программное обеспечение для цифровизации предприятий и организаций: сб. тр. конф. 2021. С. 33-37.
16. Biao C., Bangfeng D., Jiangtao W. Application of an improved hough transform and image correction algorithm in ACC. JPCS, 2020, vol. 1621, art. 012044. doi: 10.1088/1742-6596/1621/1/012044.
Software & Systems doi: 10.15827/0236-235X.142.474-485 2023, vol. 36, no. 3, pp. 474-485
Software for automated detection and assessment of building seam failures
Veronika V. Kabanova Oksana S. Logunova Mikhail Yu. Narkevich Vladimir D. Kornienko
For citation
Kabanova, V.V., Logunova, O.S., Narkevich, M.Yu., Kornienko, V.D. (2023) 'Software for automated detection and assessment of building seam failures', Software & Systems, 36(3), pp. 474-485 (in Russ.). doi: 10.15827/0236-235X.142.474-485 Article info
Received: 20.01.23 After revision: 14.04.23 Accepted: 17.05.2023
Abstract. The aim of this study is to develop a software module for an automated detection and assessment of building seam failures in an industrial plant. A research involved implementing a software module and a graphical user interface for working with it. The paper proposes a method for detecting seams and assessing building seam failures based on image contrast variation, adaptive threshold, Hough algorithm and several data processing algorithms to complement the Hough algorithm. In order to investigate the condition of building facades of an industrial enterprise, a drone photography and video survey was carried out on the territory of PJSC Magnitogorsk Iron & Steel Works. The resulting collection of images was used to debug the work of the created software module and the method proposed in the article for detecting seams and damage at the building seams. The proposed method is implemented in a software module and allows processing images of different size and pixel brightness. The authors envisage the application of this method with excluded areas in the image. The paper considers current methods of visual inspection of buildings and gives examples of existing software for monitoring the condition of objects. It also describes the procedure of survey performance and presents schemes of joint and fracture detection procedures implemented in the software module. There are the features of the method proposed by the authors. The paper gives an example of gradation of the current and predicted damages of the building seams. The survey included selecting a group of parameters to use in the method; changing in the parameter values enables an expert to adjust joint detection. This development allows estimating the condition of buildings and constructions located at PJSC Magnitogorsk Iron & Steel Works. There are examples of images with separated seams and damages, as well as results of percentage estimations of building connection seams on the image. The results of the study confirm the software module efficiency and the need to implement software modules to monitor the condition of the enterprise territories and buildings. Keywords: damage detection, pattern recognition, software module, building condition monitoring, damage assessment, Hough algorithm
Acknowledgements. The work is carried out under contract No 247715 dated July 5, 2021 between PJSC Magnitogorsk Iron & Steel Works and the Nosov Magnitogorsk State Technical University6 called "Development and application of methods for monitoring territories, buildings and structures of PJSC Magnitogorsk Iron & Steel Works using unmanned aerial vehicles (UAV)"
Reference List
1. Ledenev, V.V., Yartsev, V.P. (2017) Survey and Monitoring of Building Structures of Buildings and Structures. Tambov, 252 p. (in Russ.).
2. Qu, Z., Wang, L. (2022) 'Gating attention convolutional networks with dense connection for pixel-level crack detection', Multimedia Systems, pp. 1-12. doi: 10.1007/s00530-022-01008-3.
3. Zhang, Y., Li, X., Qiu, J., Zhai, X., Wei, M. (2021) 'GFU-Net: A deep learning approach for automatic metal crack detection', Proc. NCAA, pp. 375-388. doi: 10.1007/978-981-16-5188-5_27.
4. Munawar, H.S., Hammad, A.W.A., Waller, S.T., Islam, Md.R. (2022) 'Modern crack detection for bridge infrastructure maintenance using machine learning', Human-Centric Intelligent Systems, 2(3-4), pp. 95-112. doi: 10.1007/ s44230-022-00009-9.
5. Tian, L., Wang, Z., Liu, W. et al. (2022) 'An improved generative adversarial network with modified loss function for crack detection in electromagnetic nondestructive testing', Complex Intell. Syst., 8(1), pp. 467-476. doi: 10.1007/ s40747-021 -00477-9.
6. Jiang, F., Wang, G., He, P., Zheng, C., Xiao, Z., Wu, Y. (2022) 'Application of canny operator thresh-old adaptive segmentation algorithm combined with digital image processing in tunnel face crevice extraction', The J. of Supercomput., 78(9), pp. 11601-11620. doi: 10.1007/s11227-022-04330-9.
7. Pansare, D., Panchwadkar, A. (2022) 'Crack detection using image processing', AIP Conf. Proc., 2653, art. 030007. doi: 10.1063/5.0116894.
8. Attachie, J., Owusu, G. (2020) 'Utilization of image processing strategy to detect crack on walls', Proc. ICENCO, pp. 43-46. doi: 10.1109/ICENC049778.2020.93573956.
9. Li, J., Li, X., Liu, K., Yao, Z. (2022) 'Crack identification for bridge structures using an unmanned aerial vehicle (UAV) incorporating image geometric correction', Buildings, 12(11), art. 1869. doi: 10.3390/buildings12111869.
10. Cheng, C., Seo, H., Jun, C., Zhao, Y. (2022) 'A potential crack region method to detect crack using image processing of multiple thresholding', Signal, Image and Video Processing, 16(6), pp. 1673-1681. doi: 10.1007/s11760-021-02123-w.
11. Liu, Z., Li, X., Li, J., Teng, S. (2022) 'New approach to automatically calibrate and detect building cracks', Buildings, 12, art. 1081. doi: 10.3390/buildings12081081.
12. Narkevich, M.Yu., Logunova, O.S., Arkulis, M.B. et al. (2022) 'Applied digital platform for assessing the dynamics of the quality of hazardous industrial facilities at a metallurgical enterprise: structure and algorithms', ChSUBull., (5), pp. 29-48 (in Russ.). doi: 10.23859/1994-0637-2022-5-110-3.
13. Garbar, E.A., Logunova, O.S. (2022) Express Detector of Sheet Metal Defects, Pat. RF, № 2022611184.
14. Qi, Z., Liu, D., Zhang, J., Chen, J. (2022) 'Micro-concrete crack detection of underwater structures based on con-volutional neural network', Machine Vision and Applications, 33, art. 74. doi: 10.1007/s00138-022-01327-5.
15. Narkevich, M.Yu., Logunova, O.S., Kornienko, V.D. et al. (2021) 'Monitoring the condition of buildings and structures using unmanned aerial vehicles: results of a pilot experiment', Proc. Software for Digitalization of Enterprises and Organizations, pp. 33-37 (in Russ.).
16. Biao, C., Bangfeng, D., Jiangtao, W. (2020) 'Application of an improved hough transform and image correction algorithm in ACC', JPCS, 1621, art. 012044. doi: 10.1088/1742-6596/1621/1/012044.
Авторы
Кабанова Вероника Валерьевна
студент, kabanova.v.v.nmstu@gmail.com Логунова Оксана Сергеевна ', д.т.н., профессор, logunova66@mail.ru
Наркевич Михаил Юрьевич ', к.т.н., доцент, narkevich_mu@mail.ru
Корниенко Владимир Дмитриевич ', эксперт, ведущий инженер, volodya.kornienko2319@yandex.ru
Authors
Veronika V. Kabanova Student, kabanova.v.v.nmstu@gmail.com Oksana S. Logunova ', Dr.Sc. (Engineering), Professor, logunova66@mail.ru Mikhail Yu. Narkevich ', Ph.D. (Engineering), Associate Professor, narkevich_mu@mail.ru Vladimir D. Kornienko ', Expert, Leading Engineer, volodya.kornienko2319@yandex.ru
1 Магнитогорский государственный технический университет им. Г.И. Носова, г. Магнитогорск, 455000, Россия
1 Nosov Magnitogorsk State Technical University Magnitogorsk, 455000, Russian Federation