Мониторинг сложных объектов инфраструктуры

Гура Дмитрий Андреевич; Дубенко Юрий Владимирович; Бучацкий Павел Юрьевич; Марковский Иван Геннадьевич; Хушт Нафсет Инвербиевна

ТЕХНИЧЕСКИЕ НАУКИ TECHNICAL SCIENCES

УДК 624:004.9 ББК 32.81

М 77

Гура Дмитрий Андреевич

Доцент, кандидат технических наук, доцент кафедры кадастра и геоинженерии Кубанского государственного технологического университета, Краснодар, e-mail: gda-kuban@mail.ru Дубенко Юрий Владимирович

Доцент, кандидат технических наук, доцент кафедры информатики и вычислительной техники Кубанского государственного технологического университета, Краснодар, e-mail: scorpioncool1@yandex.ru Бучацкий Павел Юрьевич

Кандидат технических наук, доцент, заведующий кафедрой автоматизированных систем обработки информации и управления Адыгейского государственного университет, Майкоп, тел. (8772) 593911, email: buch@adygnet.ru Марковский Иван Геннадьевич

Студент, лаборант-исследователь Кубанского государственного технологического университета, Краснодар, e-mail: mr.djoker_o@mail.ru Хушт Нафсет Инвербиевна

Магистр, лаборант-исследователь Кубанского государственного технологического университета, Краснодар, e-mail: nafset-khusht@yandex.ru

Мониторинг сложных объектов инфраструктуры

(Рецензирована)

Аннотация. Своевременный контроль и диагностика состояния являются неотъемлемой частью процесса эксплуатации объектов гражданской инфраструктуры. Особенно актуален этот вопрос для сложных инженерных конструкций: мостов, тоннелей, многоуровневых транспортных развязок. В настоящее время мониторинг таких объектов в основном сводится к их периодическому визуальному и инструментальному обследованию, где большую роль играет человеческий фактор. Кроме того, такой метод наблюдения за состоянием вышеуказанных объектов не позволяет быстро обнаружить проблему и принять соответствующие меры по ее устранению и предотвращению возможной дальнейшей поломки всей конструкции. Одним из эффективных путей решения данной проблемы является использование технологии компьютерного зрения для постоянного автоматического мониторинга сложных объектов гражданской инфраструктуры. Целью исследования является анализ последних достижений в области компьютерного зрения для поиска наиболее подходящих алгоритмов для создания стационарной автоматизированной системы наблюдения за состоянием объектов инфраструктуры. В результате проведенной работы были рассмотрены и описаны современные достижения зарубежных научных коллективов в области компьютерного зрения. Основные виды алгоритмов обнаружения деформаций инженерных конструкций посредством использования фото и видеоданных структурированы и представлены в таблице с описанием их главных достоинств и недостатков. Выведены рекомендации по целесообразности использования тех или иных проанализированных алгоритмов в аспекте мониторинга объектов гражданской инфраструктуры. Приведена блок-схема оптимального варианта стационарной автоматизированной системы наблюдения за состоянием объектов инфраструктуры. Описан процесс работы такой схемы с уточнением основных функций, выполняемых каждым ее звеном, проанализированы данные, на основе которых предложены рекомендации по соответствующим методикам. Они будут применены в последующей разработке системы видеонаблюдения за состоянием объектов инфраструктуры.

Ключевые слова: мониторинг объектов гражданской инфраструктуры, технология компьютерного зрения, цифровизация.

Gura Dmitriy Andreevich

Associate Professor, Candidate of Technical Sciences, Associate Professor of the Department of Cadastre and Geoengineering, Kuban State University of Technology, Krasnodar, e-mail: gda-kuban@mail.ru Dubenko Yuriy Vladimirovich

Associate Professor, Candidate of Technical Sciences, Associate Professor of the Department of Informatics and Computer Engineering, Kuban State University of Technology, Krasnodar, e-mail: scorpion-cool1@yandex. ru Buchatsky Pavel Yuryevich

Candidate of Technical Sciences, Associate Professor, Head of Department of Automated Systems of Processing Information and Control, Adyghe State University, Maikop, ph. (8772) 593911, e-mail: buch@adygnet.ru Markovsky Ivan Gennadyevich

Student, Laboratorian-Researcher of Kuban State University of Technology, Krasnodar, e-mail: mr.djoker_o@mail.ru

Khusht Nafset Inverbievna

Master's Degree Student, Labor atorian-Re searcher of Kuban State University of Technology, Krasnodar, email: nafset-khusht@yandex.ru

Monitoring of complex infrastructure facilities

Abstract. Timely monitoring and diagnosis of the condition are an integral part of the operation of civilian infrastructure. This issue is especially relevant for complex engineering structures: bridges, tunnels, multilevel transport interchanges. Currently, monitoring of such objects mainly comes down to their periodic visual and instrumental examination, where the human factor plays an important role. In addition, this method of monitoring the condition of the above objects does not allow you to quickly detect the problem and take appropriate measures to eliminate it and prevent possible further damage to the entire structure. One of the effective ways to solve this problem is to use computer vision technology for continuous automatic monitoring of complex objects of civilian infrastructure. The aim of the study is to analyze the latest advances in computer vision in order to find the most suitable algorithms for creating a stationary automated system for monitoring the state of infrastructure. As a result of the work, the modern achievements of foreign scientific teams in the field of computer vision were reviewed and described. The main types of algorithms for detecting deformations of engineering structures through the use of photo and video data are structured and presented in a table with a description of their main advantages and disadvantages. Recommendations on the appropriateness of using one or another of the analyzed algorithms in the aspect of monitoring civilian infrastructure are made. The block diagram of the optimal version of a stationary automated system for monitoring the state of infrastructure facilities is given. The operation process of such a scheme is described with the specification of the basic functions performed by each of its links, the data are analyzed, on the basis of which recommendations on appropriate techniques are proposed. They will be applied in the subsequent development of a video surveillance system for the state of infrastructure facilities.

Keywords: monitoring of civil infrastructure facilities, computer vision technology, digitalization.

Введение

В многочисленных работах отечественных и зарубежных авторов и научных коллективов описаны различные методики применения компьютерного зрения для целей бесконтактного мониторинга объектов гражданской инфраструктуры [1-12]. Развитие системы инфраструктуры, создание комфортной городской среды, отвечающей требованиям современных городов, является залогом их успешного экономического и социального роста. Однако вместе с ее модернизацией повышается и сложность всей сети в целом: многоуровневые развязки, туннели, мосты требуют своевременного контроля их эксплуатации. Внезапный выход из строя даже одного из таких сооружений может парализовать нормальную жизнедеятельность целой части большого города на длительное время. Поэтому качественный и своевременный мониторинг инфраструктуры - неотъемлемая часть эффективной и безопасной жизнедеятельности современного общества.

Однако сейчас проведение мониторинга сводится к периодическому визуальному и инструментальному обследованию конкретных объектов инфраструктуры, что не всегда позволяет вовремя распознать быстротекущие деформации и предотвратить аварийные разрушения таких сооружений. Еще одним фактором, замедляющим процедуру такого рода обследований, является длительная камеральная обработка полученных результатов [2]. Кроме того, обследования чаще всего проводятся с непосредственным участием человека на всех этапах, что повышает влияние человеческого фактора на точность исследований и конечное заключение о техническом состоянии объекта.

По итогам анализа путей решения данных проблем, современным рациональным выходом может являться технология компьютерного зрения, которая уже активно используется в других сферах жизни общества не только за рубежом, но и в нашей стране. Она существенно повысит надежность системы мониторинга, поскольку минимизирует количество способов измерения параметров объектов, для осуществления которых требуется вмешательство людей, для целей получения необходимой информации о них [1]. Это позволит автоматизировать процесс сбора и первичной обработки данных об исследуемой инфраструктуре, а также цифровизирует весь цикл мониторинга таких объектов.

В данной работе проведен анализ методов получения информации о деформациях объектов гражданского строительства посредством технологии компьютерного зрения для целей последующей разработки и создания системы автоматического мониторинга объектов инфраструктуры в рамках обеспечения их безопасности и нормального функционирования.

Описание применяемой технологии

Компьютерное зрение - теория и технология создания машин, которые могут производить обнаружение, отслеживание и классификацию объектов. Они базируются на камерах как основном средстве получения информации о конкретных объектах. Ярким примером применения данной технологии является использование камер фиксации нарушений правил дорожного движения. Они позволяют контролировать соблюдение правил дорожного движения без участия человека, снижая при этом аварийность на отдельных проблемных участках улично-дорожной сети, а также повышая безопасность транспортного и пешеходного движения в целом по всему городу.

Поскольку данная технология не требует регулярного присутствия на объектах специалистов в области проведения мониторинга, ее применение наилучшим образом подойдет для целей отслеживания нормального функционирования сложных объектов инфраструктуры, требующих постоянного наблюдения за их состоянием, таких как: мосты и тоннели, многоуровневые транспортные развязки. Это позволит получать информацию даже о минимальных деформациях таких конструкций в кратчайшее время.

Зарубежные публикации последних лет по данной тематике также свидетельствуют о больших перспективах использования этой технологии для нужд гражданской инфраструктуры [3-5]. Это, в первую очередь, обуславливается большой гибкостью применения систем, в которые входят камеры видео- и фотофиксации как универсальный инструмент получения актуальных данных о наружной обстановке.

Ведутся активные работы по созданию и модернизации уже созданных комплексов на основе стационарных и мобильных камер. Конечной целью таких систем является надежное автоматическое преобразование данных изображения или видеопотока в объективную информацию без непосредственного участия человека [3].

Другим немаловажным направлением в развитии данной технологии является создание алгоритмов, позволяющих посредством камер распознавать самые незначительные деформации объектов гражданского строительства, представляющих собой сложные инфраструктурные сооружения, таких как: железобетонные мосты, сборные железобетонные туннели, а также асфальтовые покрытия [4]. В перспективе это позволит уйти от использования дорогостоящих деформационных датчиков, требующих регулярного обслуживания.

Анализ существующих методов определения деформаций на основе компьютерного зрения

Автоматическое обнаружение повреждений является важнейшим компонентом любой автоматизированной или полуавтоматической системы мониторинга сложных объектов инфраструктуры. Однако важно понимать, что высокоточное обнаружение визуальных дефектов таких конструкций является очень сложной задачей. Также данная проблема дополнительно усложняется наличием элементов, подобных повреждениям (затененные края, блики, отражающие поверхности). Поэтому существует целый ряд методов, позволяющих идентифицировать различные визуальные дефекты с помощью различных алгоритмов. В число таких повреждений входят: трещины в бетоне, откол бетона и его расслоение, усталостные трещины, коррозия стали и трещины в асфальтобетонном покрытии.

Ученые и исследователи выделяют преимущественно три основных подхода к обнаружению повреждений и дефектов, представленные в таблице 1.

Проанализированные методы обладают рядом недостатков, однако при их избирательном применении можно добиться создания оптимального с точки зрения затрат и эффективности программно-аппаратного комплекса по мониторингу сложных объектов гражданской инфраструктуры. Он будет включать в себя камеры видеонаблюдения, которые будут на постоянной основе производить мониторинг таких объектов и при малейших изменениях, выходящих за пределы нормы, сигнализировать оператору. Также с помощью них можно будет удаленно отслеживать возможные деформации, возникающие на таких сооружениях. Оптимальная блок-схема такого комплекса представлена на рисунке 1.

Таблица 1

Подходы к обнаружению повреждений и дефектов объектов

Метод обнаружения дефектов Преимущества Недостатки

Эвристические методы извлечения признаков [6-13]: 1. Эвристические фильтры изображений для обнаружения трещин в бетоне; 2. Фото- и видеообработка для получения текстурной, спектральной и цветовой информации; 3. Фильтрация глубины и цвета изображений дефектов. Относительная простота работы с текстурной, спектральной и цветовой информацией изображений с применением специализированных фильтров; Возможность идентификации мелких трещин и повреждений; Применим для идентификации трещин в бетоне, дефектов асфальта, коррозионных процессов и усталостных трещин в стальных конструкциях. Высокие требования к качеству изображений исследуемых объектов, разрешению и т.д.; Ручная обработка информации; Отсутствие возможности идентификации микротрещин, свидетельствующих о начале развития деформационного процесса.

Идентификация повреждений на основе машинного обучения с внедрением специализированного классификатора [14-16]. Представляет собой более совершенную модель эвристических методов, так как базируется либо на комбинации эвристических функций вкупе со специализированным классификатором, заранее подготовленным на обучающей выборке изображений деформаций, либо на методах машинного обучения (с применением нейросете-вых технологий и машинного зрения), позволяющего полностью автоматизировать процесс идентификации деформаций и повреждений. Имеют ряд ограничений, касающихся реализации автоматизированного контроля на их основе; так, при автоматическом определении деформаций не учитываются дополнительные свойства наблюдаемого объекта, отражающие характер материала или особенности конструкции; Для разрешения данной проблемы требуется ручная или полуавтоматическая настройка фильтров изображений; Сложность реализации и применения.

Идентификация и отслеживание изменений состояния объектов и деформационных процессов [17, 18]. Представляют собой классические методы мониторинга за состоянием объектов на основе фото- и видеосъемки, а также методов лазерного сканирования; Возможность отслеживания деформационных процессов в объектах в динамике с последующим прогнозированием изменения состояния объекта и предупреждения опасных ситуаций. Высокая стоимость специализированного оборудования и программного обеспечения для обработки информации.

Как можно видеть из схемы, информационные процессы в предлагаемой системе построены следующим образом.

1) на пунктах видеонаблюдения (состоящих из камер и серверов видеонаблюдения) производится круглосуточный мониторинг объектов наблюдения;

2) информация с камер передается в глобальную сеть, а через нее загружается на файловый сервер;

3) с файлового сервера данные поступают непосредственно в систему анализа видеопотока. Для работы этой системы (так как повреждения в основном появляются на протяжении довольно большого промежутка времени) нет необходимости анализировать каждый кадр. Это снижает нагрузку на систему. Кадры для анализа выбираются с настраиваемым временным интервалом;

4) В модуле поиска объектов на изображении из всего изображения отбирается непосредственно объект мониторинга;

5) В модулях идентификации объектов на изображении и извлечения признаков определяется непосредственно факт наличия повреждений (при этом осуществляется взаимодействие с базой данных, где описываются признаки нормального функционирования объекта).

Если повреждений не обнаружено, в базу данных записывается информация об этом.

6) В случае обнаружения повреждения изображение передается в модуль классификации, в котором уже непосредственно определяется его характер. В базе данных хранится таблица возможных повреждений. В базу также заносится результат анализа изображения.

7) Таким образом, в базе данных сохраняются такие результаты мониторинга, как дата/время, адрес пункта видеонаблюдения, результаты наблюдения, сама фотография и т.д. Веб-приложение на сервере берет информацию из БД и отправляет ее в ситуационный центр, где принимается необходимое решение. Может осуществляться БМБ-рассылка, рассылка по электронной почте, получение информации через доступ к веб-приложению и т.д.

Рис. 1. Блок-схема комплекса стационарного мониторинга, базирующаяся на камерах видеонаблюдения

Заключение

В данной работе представлен обширный анализ существующих методов получения информации об объектах строительства на основе технологии компьютерного зрения. В рамках поиска способов модернизации действующей системы мониторинга объектов гражданской инфраструктуры данные о последних достижениях в этой области из многочисленных источников структурированы и представлены в таблице. Исходя из проведенного исследования, можно сказать о том, что данная технология в достаточной мере исследована, и есть

возможность создания программно-аппаратного комплекса для постоянного мониторинга мостов, тоннелей и транспортных развязок путем применения различных методов компьютерного зрения. Конечной задачей данного цикла работ является разработка концепции такого комплекса в рамках повышения безопасности объектов гражданской инфраструктуры.

Благодарности

Исследование выполнено при финансовой поддержке Российского фонда фундаментальных исследований и Администрации Краснодарского края Российской Федерации в рамках научного проекта № 19-48-233020 «Исследование возможности использования комплекса трехмерного лазерного сканирования для мониторинга и обеспечения безопасности инфраструктурных объектов в городе Краснодаре и Краснодарском крае».

Примечания:

1. СП 274.1325800.2016 Мосты. Мониторинг технического состояния. М.: Изд-во стандартов, 2016. 52 с.

2. Classification and Automatisation of Laser Reflection Points Processing in the Detection of Vegetation / D.A. Gura, M.V. Kuziakina, Yu.V. Dubenko, S.K. Pshidatok, G.G. Shevchenko, N.V. Granik, I.G. Markovskii // Proceedings of the international symposium "Engineering and earth sciences: applied and fundamental research" dedicated to the 85th anniversary of H.I. Ibragimov. 2019. P. 593-596.

3. Spencer B., Hoskere V., Narazaki Y. Advances in Computer Vision-Based Civil Infrastructure Inspection and Monitoring. 2019. Vol. 5, No. 2. P. 199-222.

4. A review on computer vision based defect detection and condition assessment of concrete and asphalt civil infrastructure / C. Koch, K. Georgieva, V. Kasireddy, B. Akinci, P. Fieguth // Advanced Engineering Informatics. 2015. Vol. 29, No. 2. P. 196-210.

5. Feng D., Feng M.Q. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection - A review // Engineering Structures. 2018. Vol. 156. P. 105-117.

6. Abdel-Qader I., Abudayyeh O., Kelly M.E. Analysis of edge-detection techniques for crack identification in bridges // Journal of Computing in Civil Engineering. 2003. Vol. 17, No. 4. P. 255-263.

7. Jahanshahi M.R., Masri S.F. A new methodology for non-contact accurate crack width measurement through photogrammetry for automated structural safety evaluation // Smart Materials and Structures. 2013. Vol. 22, No. 3. 405 рp.

8. Automated assessment of cracks on concrete surfaces using adaptive digital image processing / Y.F. Liu, S.J. Cho, Jr. B.F. Spencer, J.S. Fan // Smart Structure and Systems. 2014. Vol. 14, No. 4. P. 719-741.

9. Yeum C.M., Dyke S.J. Vision-based automated crack detection for bridge inspection // Computer-Aided Civil and Infrastructure Engineering. 2015. Vol. 30, No. 10. P. 759-770.

10. On the evaluation of texture and color features for nondestructive corrosion detection / F.N.S. Medei-ros, G.L.B. Ramalho, M.P. Bento, L.C.L. Medeiros // EURASIP Journal on Advances in Signal Processing. 2010. No. 7. 7 pp.

11. Ahuja S.K., Shukla M.K. A survey of computer vision based corrosion detection approache // Information and Communication Technology for Intelligent Systems. 2018. Vol. 2. P. 55-63.

References:

1. Set of rules 274.1325800.2016 Bridges. Monitoring of the technical condition. M.: Publishing House of Standards, 2016. 52 pp.