CC BY
47DOI: 10.34031/article_5cb824d26344e7.45899508 1 *Наумов А.Е., 1Юдин Д.А., 1Долженко А.В.
1 Белгородский государственный технологический университет им. В.Г. Шухова Россия, 308012, г. Белгород, ул. Костюкова, 46 *E-mail: [email protected]
СОВЕРШЕНСТВОВАНИЕ ТЕХНОЛОГИИ ПРОВЕДЕНИЯ СТРОИТЕЛЬНО-ТЕХНИЧЕСКИХ ЭКСПЕРТИЗ С ИСПОЛЬЗОВАНИЕМ АППАРАТНО-ПРОГРАММНОГО КОМПЛЕКСА АВТОМАТИЗИРОВАННОЙ ДЕФЕКТОСКОПИИ
Аннотация. В составе строительно-технических экспертиз зданий и сооружений большое значение и ответственность в построении окончательных выводов о техническом состоянии объекта исследований возлагается на процесс дефектоскопии, осуществляемый визуально и инструментально с трактовкой результатов субъективными экспертными методами. В текущем исполнительском стандарте строительно-техническая дефектоскопия обладает рядом фундаментальных недостатков: существенной схематичностью алгоритмов сбора, упрощением диагностики и огрублением анализа результатов полевых исследований для геометрически протяженных или конструктивно сложных объектов недвижимости, вызванными негативным влиянием на процесс дефектоскопии человеческого фактора, погодных условий, недоступности объекта для осмотра, низкой информационной культуры документирования и архивации результатов обследований. Все вышеперечисленное затрудняет динамический мониторинг объектов и характеризуется существенным ростом стоимости и сроков производства ремонтно-восстановительных работ в связи с несвоевременностью диагностики дефектов и выборочностью объема экспертных исследований.
Способствовать повышению достоверности, объективности, унификации подходов и информационных потоков, связанных с производством строительно-технических экспертиз зданий и сооружений призвана предлагаемая система. Она основана на фото и видеосъемке протяженных и труднодоступных поверхностей зданий и сооружений с помощью беспилотных летательных аппаратов с последующей автоматизированной обработкой полученного фото и видео материала, его интеллектуальном анализе, автоматизированном распознавании, классификации, количественной оценке устанавливаемых дефектов, а также инновационной технологии документирования и автоматизации принятия рациональных организационно-технологических решений в практике технической эксплуатации и мониторинга функциональной надежности обследуемой недвижимости.
Ключевые слова: дефектоскопия, аэрофотосъемка, строительно-техническая экспертиза, нейросети, распознавание, сегментация, дефект, глубокое обучение, полностью сверточная сеть.
Введение. В современном производстве и жилищно-коммунальном хозяйстве важно своевременно осуществлять обслуживание и ремонт кровли зданий и сооружений, которая со временем разрушается под воздействием окружающей среды. Залогом успешной и эффективной деятельности предприятий службы технической эксплуатации зданий и сооружений является периодический, масштабный мониторинг параметров технического состояния кровель, основанный в том числе на методиках автоматизированной дефектоскопии, возможной при реализации инновационных методик получения, документирования и анализа исследовательской информации. Обследование технического состояния кровель, в большинстве случаев, существенно осложняется протяженностью, недоступностью участков для визуального осмотра, погодными условиями производства работ, большим объемом инструментальных измерений, сложностью и трудоемкостью его докумен-
тирования, архивирования, оперативной обработки и динамического анализа. Реализация большого потенциала совершенствования методики и качества проводимой дефектоскопии возможна при использовании оперативной технической аэрофотосъемки с последующей потоковой нейросетевой обработкой информации, выявлением и визуальной количественной акцентуацией наиболее значимых результатов проведенных исследований. В настоящее время отсутствуют надежные, достоверные, общепринятые технологии аэрофотодефектоскопии и распознавания дефектов кровель зданий и сооружений по её результатам.
Строительная дефектоскопия в процессе эксплуатации зданий неавтоматизирована, в связи с чем занимает нерационально большое время, крайне сезонна, непериодична, несистемна, в большинстве случаев экономически малоцелесообразна, и, как следствие, проводится на недостаточном профессиональном уровне без
определенных целей и увязки с технологией эксплуатации здания. Это не позволяет ни целесообразно планировать, ни экономически эффективно реализовывать технические мероприятия по профилактике и упреждению исчерпания кровлями функциональности, недопущению критического снижения потребительских качеств, рационализации ресурсоемкости сохранения и восстановления надлежащего технического кровель.
Оперативный мониторинг состояния кровли может эффективно осуществляться с помощью применения малых беспилотных летательных аппаратов, оснащенными видеокамерами. Полученные с их помощью аэрофотоснимки (ортофо-топланы) затем можно анализировать как вручную, так и методами компьютерного зрения.
В настоящее время сущестует большое разнообразие научных исследований, посвященных сегментации таких аэрофотоснимков для обнаружения крыш зданий, например, 1 и 2, или объектов на них расположенных 3. Однако основное назначение этих работ - вести мониторинг застройки территорий или имеющейся инфраструктуры. Анализ состояния кровли часто осуществляется с помощью распознавания инфракрасных изображений 4, полученных от тепло-визионной камеры и позволяющих оценивать потери тепла и мероприятия по их снижению. Сегментация областей кровли с различным углом наклона подробно исследуется в работе 5, в ней отмечается общее ограничение методов компьютерного зрения - необходимость учета теней, изменений освещенности наблюдаемых объектов, что требует существенного усложнения применяемых алгоритмов распознавания изображений.
Следует отметить, что существующие исследования не затрагивают такую важную задачу как распознавание дефектов различного типа, возникающих с течением времени на кровле и которые могут быть выявлены на цветном изображении ортофотоплана.
Постановка задачи. Подход, используемый в ходе нейросетевого обучения системы распознавания направлен на выявление следующих дефектов кровли:
• впадины, вызывающие застаивание воды после дождя,
• вздутие,
• растрескивание,
• разрывы ковра,
• отслаивание ковра,
• заплатки,
• отсутствие ковра,
• грибок/мох.
Структура подхода схематично показана на рис. 1. Цветные аэрофотоснимки (ортофотопла-ны) получаются с помощью беспилотного летательного аппарата -- квадрокоптера. Далее с помощью программы распознавания на них выявляются сегменты, содержащие дефекты. Для каждого из сегментов определяется площадь и периметр найденной области, которые сохраняются в xml-файлы, также в файл сохраняется и результат сегментации в виде полутонового изображения. Эти данные могут быть в дальнейшем использоваться для составления сметной документации для проведения требуемого ремонта кровли.
Для оценки качества работы алгоритмов сегментации применяется мера Dice, которая успешно использовалась в работах 6 и 7:
Dice =
2 • (Ygt , 7,) + £
(YGr, YGT ) + (Yp, Yp ) + £
(1)
В формуле (1) обозначение (YGT, YP) -скалярное произведение двух векторов - вектора YGT, содержащего «истинную» сегментацию изображения, представленного в виде одномерного массива, и вектора YP, содержащего результат сегментации с помощью применяемого алгоритма, представленный в виде одномерного массива. Каждый элемент массивов YGT, и YP принимает значения в диапазоне [0, 1], где 0 соответствует пикселю, не относящемуся к искомой области (дефекту), 1 соответствует пикселю, попадающему в область изображения с дефектом кровли. Таким образом, величина (YGT, YP) эквивалентна площади пересечения двух областей, (YGT, YGT,) - эквивалентна площади истинных областей, содержащих дефекты, (YP, YP) - эквивалентна площади областей с дефектами, найденных с помощью алгоритма, s - величина, равная единице (одному пикселю), необходимая для учета случая, когда на изображении нет ни истинных, ни найденных областей с дефектами кровли.
Сегментация дефектов на изображениях с помощью глубоких сверточных нейронных сетей.
Глубокие сверточные нейронные сети позволяют автоматически выявлять текстурные особенности и другие признаки областей изображений [9], что может быть использовано для рассматриваемой задачи. Выбор архитектуры нейронной сети, способной распознавать области аэрофотоснимка, содержащие дефекты кровли, можно сделать на основе подходов, показавших свою эффективность на задаче сегментации изображений на обучающей выборке размеченных изображений PASCAL VOC 9, содер-
жащей 21 различных типов пикселей. Одним из таких подходов является обучение полностью сверточных нейронных сетей (Fully Convolutional Networks, FCN) 10. Для задачи сегментации биомедицинских изображений в работе 11 изучено применение сверточной нейронной сети, подобной автоэнкодеру, в которой введены дополнительные объединения
входных и выходных слоев. В основе этих архитектур лежат три разновидности операции свёртки 12:
1) обычная операция свертки с ядром (kernel) размера 3^3 с шагом (strides) 1*1, в результате которой из изображения размером 4*4 получается карта признаков размером 2*2;
Аэрофотоснимки
Квадрокоптер
Сегментированные xмL-файлы с информацией о изображения площади, периметре и
местоположении каждого дефекта
Рис. 1. Структура подхода нейросетевого обучения системы распознавания дефектов кровли
2) операция свертки с ядром размера 3*3 с шагом 1*1, при которой исходное изображение дополнено нулевыми граничными пикселями (padding) 1*1 (по одному дополнительному пикселю с каждой стороны изображения), в результате которой из изображения размером 5*5 получается карта признаков того же размера 5*5;
3) операция обратной свертки, когда из изображения меньшего размера, например, 3*3 получается изображение размером 5*5. При этом в исходное изображение добавляются нулевые строки и столбцы (так называемая операция upsampling с шагом 2*2), и граничные пиксели (например, padding = 1 * 1). Ядро и шаг свертки соответственно 3*3 и 1*1.
В настоящей работе рассматривается две архитектуры глубоких полностью сверточных нейронных сетей, содержащих 13 и 17 сверточ-
ных слоев, соответственно FCN13, показанная на рис. 2, и FCN17, показанная на рис. 3.
Для обучения и проверки работоспособности сверточных нейронных сетей использовалось 35 изображений с размеченными на них дефектами кровли, из них к обучающей выборке отнесены 33 изображения, к валидационной —— 2 изображения. Размер каждого изображения: 464*825 пикселей.
Для обучения и тестирования сверточной нейронной сети для задачи сегментации применяется описанная выше мера качества Dice (1). Функция потерь, минимум которой должна обеспечить глубокая нейронная сеть, имеет вид (2).
Таким образом в ходе процесса обучения осуществляется максимизация степени пересе-
чения найденных и истинных областей, содержащих дефекты кровли.
Процесс обучения сверточной нейронной сети проведен с помощью оптимизатора Adam с
коэффициентом 0.00001.
скорости обучения, равным
Input color ¡mage
32 32 32
H*
Output
grayscale
¡mage
32 64 64
64 M 64
conv2D, 3*3, lxl, ReLU
Ж max pooling 2D, 2x2,2x2
д upsumpling2D, 2*2 + conv2D, 2*2, lxl, ReLU
upsamplingiD, 2*2 + ieropaddlng2D (0,0)х|0Д) + conv2D, 2>2, bl, ReLU
^ conv2D, bl, Ы, Sigmoid
Рис. 2. Архитектура глубокой сверточной нейронной сети для сегментации изображений с 13
сверточными слоями (БСШ3)
Результаты обучения выбранных архитектур полностью сверточных нейронных сетей на 80 эпохах показаны на рис. 4. Они показывают, что несмотря на относительно небольшой объем обучающей выборки нейронные сети обучаются до приемлемого
качества сегментации - мера Dice = 1 - Loss для FCN17 достигает около 0.78, для FCN13 - 0.76. Такие значения вполне позволяют применять полностью сверточную нейронную сеть в рассматриваемой задаче, что подтверждают примеры сегментации, показанные на рис. 5.
Рис. 3. Архитектура глубокой сверточной нейронной сети для сегментации изображений с 17 сверточными
слоями ^СМ7)
Для тестирования выбраны веса, получившиеся на 73 эпохе сети FCN17, функция потерь на обучающей выборке составляет 0,224, функция потерь на валидационной выборке равна 0,021.
Вычислительный эксперимент проведен с использованием технологии NVidia CUDA в 64-х битной операционной системе Windows 7, установленной на компьютер c центральным процессором Intel Core i-5-4570 (4 ядра) 3.2ГГц, оперативной памятью 8Гб и видеокартой NVidia GeForceGTX 960, имеющей графический процессор с частотой 1.253 ГГц и 1024 графических ядра (Shaders), а также 2 Гб встроенной памяти DDR5. Программная реализация глубокой пол-
ностью сверточной нейронной сети осуществлена с помощью библиотеки Keras 13 для интерпретатора python 3.5
Общее время обучения сверточной нейронной сети на 80 эпохах составляет около 20 минут (см. табл. 1), что позволяет быстро вносить изменения в архитектуру и параметры настройки сети для достижения наиболее эффективных результатов сегментации.
Обученная сеть позволяет осуществлять обнаружение дефектов кровли на аэрофотоснимках со скоростью около 6 кадров в секунду, что приемлемо для применения в реальных приложениях.
Временные результаты работы глубоких сверточных нейронных сетей
Таблица 1
Архитектура нейронной сети Время обучения на 80 эпохах, с Среднее время сегментации изображения в режиме тестирования, с
FCN17 1270.643 0,177 (5,65 fps)
FCN13 1072.485 0,151 (6,62 fps)
а)
б)
Рис. 4. Обучение глубокой сверточной нейронной сети в течение 80 эпох: а - функция потерь на обучающей
выборке, б - функция потерь на тестовой выборке
Программная реализация предлагаемого подхода.
Программная реализация нейросетевого подхода обнаружения дефектов кровли на изображениях осуществлена с помощью кроссплат-форменного языка программирования Python 3.5 и библиотек глубокого обучения keras и Tensorflow.
При работе программного комплекса основными этапами обнаружения дефектов кровли
на изображениях, полученных с беспилотного летательного аппарата являются:
1) Загрузка изображения;
2) Разметка изображения с помощью свер-точной нейронной сети с выделением сегментов дефектов кровли;
3) Определение площади и периметра найденных дефектов каждого из типов и сохранение результатов.
l
m
Рис. 5. Примеры распознавания дефектов с использование глубокой полностью сверточной нейронной сети: а, d, g, 1 - исходные изображения, Ь, е, ^ т - подготовленные бинарные маски, с, £ к, п - результаты работы
нейронной сети архитектуры FCN
Результат определения площади и периметра для каждого из дефектов отображается как с помощью графического интерфейса, так и сохраняется в файл. Для корректного пересчета размеров из пикселей изображения в миллиметры применяется масштабный коэффициент, определяемый на основе характеристик съемки кровли с помощью беспилотного летательного аппарата (высоты полета летательного аппарата над кровлей, размера изображения, получаемого бортовой камерой). Возможно задание мас-
штабного коэффициента для пересчета площади и периметра найденного дефекта вручную.
Программа также позволяет осуществлять предварительную разметку дефектов на изображении или осуществлять корректировку результатов работы сверточной нейронной сети. Модуль автоматизированной разметки размещен авторами в свободном доступе на сервисе Github.
Выводы. Предлагаемый подход к нейросе-тевому обучению системы распознавания и диа-
b
a
c
d
f
e
h
k
g
n
гностики установленных дефектов строительных конструкций позволяют выделить области дефектов плоских рулонных кровель с приемлемым качеством. В качестве одного из алгоритмов выбран ранее не применявшийся к рассматриваемой задаче подход на основе глубоких полностью сверточных нейронных сетей, который позволяет повысить инвариантность алгоритма к теням и изменениям типа кровли. Разработанное программное обеспечение автоматизирует процесс обнаружения дефектов кровли на аэрофотоснимках, определения их площади и периметра. Оно протестировано на наборе дан-
ных, состоящем из фотографий кровли с дефектами и из подготовленных для них бинарных масок. Подход на основе FCN показал приемлемые результаты сегментации изображений из обучающей и тестовой выборок в смысле средней величины меры качества Dice. Программное обеспечение может использоваться для автоматизации мониторинга состояния кровли зданий в промышленности или жилищно-коммунальном хозяйстве, а также составления сметной документации на ремонт и обслуживание в задачах экспертизы состояния зданий и сооружений различного назначения.
Рис. 6. Экраны, демонстрирующие этапы работы программы
Источник финансирования. Российский фонд фундаментальных исследований №18-47310009 р_а «Научно-теоретические основы автоматизации аэрофотодефектоскопии в
строительно-технической экспертизе зданий и сооружений».
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Benedek C., Descombes X., Zerubia J. Building Extraction and Change Detection in Multitemporal Aerial and Satellite Images in a Joint Stochastic Approach, RR-7143, INRIA. 2009.
2. Gombos A.D. 2010 Detection of roof boundaries using lidar data and aerial photography, University of Kentucky Master's Theses
3. Puttemans S., Van Ranst W., Goedeme T. Detection of photovoltaic installations in rgb aerial imaging: a comparative study. 2015.
4. Stockton G.B. Using infrared thermogra-phy in flat and low-sloped roofing systems // Journal of the National Institute of building sciences. 2014. Pp.16-19
5. Merabet Y.E., Meurie C., Ruichek Y., Sbihi A., Touahni R. Building Roof Segmentation from Aerial Images Using a Line-and Region-Based Watershed Segmentation Technique // Sensors (Basel). 2015. Vol. 15(2). Pp. 3172-3203
6. Yudin D.A., Magergut V.Z. Segmentation of sintering images using texture analysis based on self-organized maps // Information technologies. 2013. Vol. 5. Pp. 65-70
7. He Y. Deep Learning Tutorial for Kaggle Ultrasound Nerve Segmentation competition, using Keras. Xi'an Jiaotong University https://github.com/yihui-he/u-net
8. LeCun Y., Bengio Y., Hinton G. Deep learning //Nature. 2015. Vol. 52. Pp. 436-444
9. Everingham M., Van Gool L., Williams C.K.I., Winn J., Zisserman A. The PASCAL Visual Object Classes Challenge 2011 (VOC2011) Results. http://www.pascal-network.org/ challeng-es/VOC/voc2011/workshop/index.html.
10. Shelhamer E., Long J., Darrell T. Fully Convolutional Networks for Semantic Segmentation PAMI. 2016. arXiv:1605.06211
11. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention (MICCAI), Springer, LNCS. 2015. Vol. 9351 Pp. 234-241
12. Dumoulin V., Visin F. A guide to convolution arithmetic for deep learning. 2016. arXiv: 1603.07285v1
13. Keras: Deep Learning library for Theano and TensorFlow https://keras.io/.
Информация об авторах
Наумов Андрей Евгеньевич, кандидат технических наук, доцент, заведующий кафедрой экспертизы и управления недвижимостью. E-mail: [email protected]. Белгородский государственный технологический университет им. В.Г. Шухова. Россия, 308012, Белгород, ул. Костюкова, д. 46.
Поступила в феврале 2019 г. © Наумов А.Е., Юдин Д.А., Долженко А.В., 2019
1 *Naumov A.E., 1Yudin D.A., JDolzhenko A. V.
1Belgorod State Technological University named after V.G. Shukhova Russia, 308012, Belgorod, st. Kostyukova, 46 *E-mail: [email protected]
IMPROVING THE TECHNOLOGY OF CONDUCTING CONSTRUCTION AND TECHNICAL EXPERTISE USING A HARDWARE AND SOFTWARE COMPLEX
OF AUTOMATED INSPECTION
Abstract. As part of the construction and technical expertise of buildings and structures, great importance and responsibility in constructing final conclusions about the technical condition of the object of research is assigned to the process of inspection, carried out visually and instrumentally with the interpretation of the results by subjective expert methods. In the current performance standard, the construction-technical inspection has a number offundamental flaws: significant schematics of the collection algorithms, simplified diagnostics and coarsening of the analysis of field research results for geometrically extended or structurally complex real estate objects caused by the negative influence of the human factor on the inspection process, inaccessibility of the object for inspection, low information culture of documenting and archiving the results of inspection. All of the above makes it difficult to dynamically monitor objects and is characterized by a significant increase in the cost and timing of the repair work due to the late diagnosis of defects and the selectiveness of the volume of expert research.
To improve the reliability, objectivity, unification of approaches and information flows associated with the production of construction and technical expertise of buildings and structures designed the proposed system. It is based on photo and video filming of long and hard-to-reach surfaces of buildings and structures using unmanned aerial vehicles, followed by automated processing of the received photo and video material,
its intellectual analysis, automated recognition, classification, quantification of installed defects, and innovative documenting technology and automation of acceptance rational organizational and technological solutions in the practice of technical operation and monitoring national reliability of the surveyed property.
Keywords: inspection, aerial photography, construction and technical expertise, neural networks, recognition, segmentation, defect, deep learning, fully convolutional network.
REFERENCES
1. Benedek C., Descombes X., Zerubia J. Building Extraction and Change Detection in Multitemporal Aerial and Satellite Images in a Joint Stochastic Approach, RR-7143, INRIA. 2009.
2. Gombos A.D. 2010 Detection of roof boundaries using lidar data and aerial photography, University of Kentucky Master's Theses
3. Puttemans S., Van Ranst W., Goedeme T. Detection of photovoltaic installations in rgb aerial imaging: a comparative study. 2015.
4. Stockton G.B. Using infrared thermography in flat and low-sloped roofing systems. Journal of the National Institute of building sciences. 2014. Pp. 16-19
5. Merabet Y.E., Meurie C., Ruichek Y., Sbihi A., Touahni R. Building Roof Segmentation from Aerial Images Using a Line-and Region-Based Watershed Segmentation Technique. Sensors (Basel). 2015. Vol. 15(2). Pp. 3172-3203
6. Yudin D.A., Magergut V.Z. Segmentation of sintering images using texture analysis based on self-organized maps. Information technologies. 2013. Vol. 5. Pp. 65-70
7. He Y. Deep Learning Tutorial for Kaggle Ultrasound Nerve Segmentation competition, using Keras. Xi'an Jiaotong University https://github.com/yihui-he/u-net
8. LeCun Y., Bengio Y., Hinton G. Deep learning. Nature. 2015. Vol. 52. Pp. 436-444
9. Everingham M., Van Gool L., Williams C.K.I., Winn J., Zisserman A. The PASCAL Visual Object Classes Challenge 2011 (VOC2011) Results. http://www.pascal-network.org/ challeng-es/VOC/voc2011/workshop/index.html.
10.Shelhamer E., Long J., Darrell T. Fully Convolutional Networks for Semantic Segmentation PAMI 2016, arXiv: 1605.06211
11.Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), Springer, LNCS. 2015. Vol. 9351 Pp. 234-241
12.Dumoulin V, Visin F 2016 A guide to convolution arithmetic for deep learning arXiv: 1603.07285v1
13.Keras: Deep Learning library for Theano and TensorFlow https://keras.io/.
Information about the authors
Naumov, Andrey E. PhD, Assistant professor. E-mail: [email protected]; [email protected]. Belgorod State Technological University named after V.G. Shukhov. Russia, 308012, Belgorod, st. Kostyukova, 46.
Yudin, Dmitry A. PhD, Associate professor. E-mail: [email protected]. Belgorod State Technological University named after V.G. Shukhov. Russia, 308012, Belgorod, st. Kostyukova, 46.
Dolzhenko, Alexander V. Senior lecturer. E-mail: [email protected]. Belgorod State Technological University named after V.G. Shukhov. Russia, 308012, Belgorod, st. Kostyukova, 46.
Received in February 2019 Для цитирования:
Наумов А.Е., Юдин Д.А., Долженко А.В. Совершенствование технологии проведения строительно-технических экспертиз с использованием аппаратно-программного комплекса автоматизированной дефектоскопии // Вестник БГТУ им. В.Г. Шухова. 2019. № 4. С. 61-69. DOI: 10.34031/article_5cb824d26344e7.45899508
For citation:
Naumov A.E., Yudin D.A., Dolzhenko A.V. Improving the technology of conducting construction and technical expertise using a hardware and software complex of automated inspection. Bulletin of BSTU named after V.G. Shukhov. 2019. No. 4. Pp. 61-69. DOI: 10.34031/article_5cb824d26344e7.45899508
