CC BY
15
УДК [004.93:004.04]+528.482
DOI 10.33764/2411-1759-2022-27-6-108-119
Совершенствование методов визуального осмотра зданий и инженерных сооружений путем внедрения технологий компьютерного зрения и интеллектуальной обработки данных
Т. Ю. Бугакова1, А. А. Шарапов1* 1 Сибирский государственный университет геосистем и технологий, г. Новосибирск,
Российская Федерация * e-mail: sharapov_artem@mail.ru
Аннотация. Для безопасной эксплуатации инженерных объектов проводятся периодические обследования с целью оценки их технического состояния. Для формирования экспертного заключения и установления причинно-следственных связей изменения состояния объекта под воздействием внешних факторов, первым в последовательности выполнения работ, согласно техническому заданию, выполняется визуальное обследование объекта или визуальный осмотр. В результате визуального осмотра имеется возможность зафиксировать возникновение трещин в конструкциях, образование коррозийного слоя, повреждающего конструкции, нарушения защитного слоя исследуемых поверхностей, нарушение лакокрасочного покрытия элементов и деталей конструкции объекта и т. п. С целью совершенствования методики визуального осмотра разработан аппаратно-программный комплекс, позволяющий применить технологии компьютерного зрения для обеспечения автоматизированного визуального мониторинга объекта и анализа полученных снимков путем использования интеллектуальных алгоритмов их обработки. Применение аппаратно-программного комплекса автоматизированного визуального мониторинга объекта в режиме реального времени позволит выполнять: автоматизированный визуальный мониторинг множества конструктивных элементов объекта одновременно благодаря стационарной установке на объекте сети видеокамер; интеллектуальный анализ потока видеоснимков в режиме реального времени, в результате которого дается информация не только о дефектах, обнаруженных на объекте, но и о динамике их изменений; выявление дефектов конструктивных элементов в труднодоступных местах, где их невозможно определить визуально, но есть возможность установки видеокамеры; минимизацию человеческого фактора.
Ключевые слова: визуальный осмотр, интеллектуальная обработка данных, аппаратно-программный комплекс, компьютерное зрение, искусственный интеллект, мониторинг
Введение
Развитие технологий строительства способствовало возведению сложных и уникальных зданий и инженерных сооружений, промышленных комплексов, ГЭС, АЭС, высотных зданий, больших торгово-развлекательных центров и т. д. Для безопасной эксплуатации этих объектов проводятся периодические обследования с целью оценки их технического состояния [1-4]. Оценка технического состояния объектов проводится согласно ГОСТ и соответствующей нормативной документации специалистами в данной области [5, 6]. По результатам оценки возможно вынесение одного из следующих решений:
- исследуемый объект может быть признан аварийным, в дальнейшем требуется проведение реконструкции;
- объект может быть признан аварийным и в дальнейшем не подлежащим эксплуатации, что в результате предполагает полный снос данного объекта;
- в результате обследования может быть вынесено решение о том, что данный объект не является аварийным, не подлежит сносу, проведение реконструкции не требуется.
Согласно методическим рекомендациям по подготовке технических заключений специализированными организациями, обследование может проводиться в соответствии с ГОСТ 31937-2011 или СП 454.1325800.2019 или с использованием других нормативных документов, но результаты обследования должны соответствовать одному из приведенных выше [5-7].
Перед проведением обследования составляется техническое задание, регламентирую-
щее вид и последовательность работ. По результатам обследования технического состояния объекта составляется экспертное заключение. В экспертном заключении отражается фактическое техническое состояние конструкций объекта, выполняется оценка возможности дальнейшей безопасной его эксплуатации и даются рекомендации по устранению дефектов, выявленных в результате экспертизы.
Для формирования экспертного заключения и установления причинно-следственных связей изменения состояния объекта под воз-
действием внешних факторов, первым в последовательности выполнения работ, согласно техническому заданию, выполняется визуальное обследование объекта, так называемый визуальный осмотр. Комплекс мероприятий по проведению визуального осмотра может выполняться только специализированными компаниями или специалистами, которые имеют лицензию на выполнение данного вида работ. Алгоритм действий специалиста, выполняющего визуальный осмотр, представлен на рис. 1.
Рис. 1. Алгоритм действий специалиста, выполняющего визуальный осмотр
Визуальные осмотры позволяют выявить видимые внешние повреждения и деформации, дефектные и аварийные участки, которые могут являться индикатором изменения состояния объекта [8]. В целом, визуальные осмотры повышают объективность выводов о состоянии объектов, позволяют выявить важные дефекты элементов конструкций, кото-
рые по каким-либо причинам невозможно установить только при помощи классических методов проведения оценки состояния. В результате визуального осмотра имеется возможность зафиксировать возникновение трещин в конструкциях, образование коррозийного слоя, повреждающего конструкции, нарушения защитного слоя исследуемых поверхно-
стей, нарушение лакокрасочного покрытия элементов и деталей конструкции объекта и т. п. В результате визуального осмотра создается дефектная ведомость, на основании которой составляется план выполнения ремонтных работ с целью устранения недостатков [9-12].
Однако, в ряде случаев применение методики визуального осмотра имеет ряд недостатков.
1. Выполнение визуального осмотра требует наличия квалифицированного сотрудника. А в силу многих обстоятельств это условие не всегда выполняется. Например, влиять на составление экспертного заключения может человеческий фактор, а именно усталость специалиста, его недостаточный опыт проведения подобного рода мероприятий, коррупционная составляющая и т. д. Эти факторы могут привести к ошибочным выводам и составлению неэффективного плана реконструкции объекта.
2. Еще одним негативным фактором, влияющим на качество визуального осмотра, является выполнение специалистами большей части работ в «ручном» режиме. Специалисты при проведении измерений используют различные устройства, а именно отвесы, реки, рулетки, фотоаппаратуру, однако анализ полученных в результате осмотра данных выполняется экспертом (группой экспертов), что вносит элемент субъективности в итоговые выводы о состоянии объекта.
3. Третий фактор связан со статичностью процесса получения данных традиционными методами визуального осмотра. Осмотр выполняется однократно, все данные фиксируются и выполняется их анализ на один момент времени. При условии скоротечного изменения состояния, например, изменение геометрических параметров элементов конструкции, визуальный осмотр теряет долю информативности в конечном результате. Это может повлечь за собой потерю времени до принятия решения о реконструкции объектов, техническое состояние которых требует немедленных действий для предотвращения аварии. Примером может служить обрушение стены жилого дома в г. Омске 12 августа 2022 г. [13].
Для минимизации человеческого фактора и повышения эффективности результатов визуального осмотра требуется совершенство-
вание методики проведения визуального осмотра путем внедрения интеллектуальных алгоритмов получения и анализа данных. Одним из таких способов является применение технологии компьютерного зрения. Применение компьютерного зрения совместно с методами интеллектуальной обработки данных позволит осуществлять автоматизированный визуальный мониторинг и анализ результатов в режиме реального времени с минимизацией человеческого фактора [14].
Материалы и методы
В настоящее время технологии компьютерного зрения в совокупности с интеллектуальной обработкой данных позволяют выполнять обнаружение, классификацию и анализ объектов по изображению или видеопотоку и успешно применяются во многих сферах деятельности человека.
Например, одним из наиболее ярких примеров применения технологии компьютерного зрения является распознавание текста на изображениях. Основной сложностью решения данной задачи является разное качество входящих изображений. Созданная технология оптического распознавания текста на изображениях от компании Яндекс успешно справляется с данной задачей [15].
Еще одним примером применения технологии компьютерного зрения является выполнение видеоаналитики. Установленные в местах общего пользования, в метро, офисах, подъездах, на дорогах камеры выполняют контроль движения потоков людей и автомобилей. Технологии компьютерного зрения позволяют среди потока поступающей информации идентифицировать человека или автомобили, находящиеся в розыске.
На основе обзора и анализа отечественных и зарубежных публикаций [11-14] авторами установлено, что на данный момент визуальный осмотр состояния объектов строительства проводится техническими средствами, которые не используют технологии компьютерного зрения и интеллектуальной обработки данных.
Целью работы авторов является совершенствование методики визуального осмотра состояния объектов путем внедрения техно-
логий компьютерного зрения и интеллектуальной обработки данных.
Для совершенствования методики визуального осмотра разработан аппаратно-программный комплекс (АПК), позволяющий применить технологии компьютерного зрения для обеспе-
чения автоматизированного визуального мониторинга объекта и анализа полученных снимков путем использования интеллектуальных алгоритмов их обработки. Структурная схема взаимодействия аппаратно-программного комплекса представлена на рис. 2.
Цифр'овая камера № n
Программно-аппаратный комплекс
'ti
X ^Цифровая камера № 1
Цифровая камера № 2
Программное обеспечение
1
Цифровое устройство вывода информации пользователю
БД
Рис. 2. Структурная схема программно-аппаратного комплекса
Аппаратно-программный комплекс включает в себя сеть цифровых фотокамер высокого разрешения, которые устанавливаются стационарно в фиксированных точках и закрепляются в неподвижном состоянии. Для того, чтобы не происходило искажения перспективы, при которой нарушаются пропорции объекта в кадре, т. е. не возникало эффекта дисторсии, необходимо выбрать оптическое оборудование, не имеющее данного свойства. Каждая фотокамера с заданной частотой, выбранной техническим специалистом, фиксирует изображение исследуемого объекта в виде ряда фотоснимков. Фотоснимки по беспроводной связи Wi-Fi поступают в базу данных комплекса.
Далее собранные в базу данных фотоснимки обрабатываются при помощи алгоритмов, реализованных в программном модуле распознания дефектов на исследуемом объекте и программном модуле определения границ и геометрических параметров, разработанными авторами. Программное обеспе-
чение включает интеллектуальные алгоритмы распознавания образов с целью их анализа и выявления отклонений от принятого начального значения.
Весь процесс обработки и результат работы программного обеспечения доступен пользователю для просмотра. В качестве устройства для вывода информации может выступать любое портативное переносное цифровое устройство (планшет, ноутбук), где в режиме реального времени выводится видеоинформация с камер и отображается результат работы программного обеспечения в виде цифровых данных изменения параметров элементов конструкции [16-18].
Результаты
Для апробации работы аппаратно-программного комплекса визуального мониторинга объектов была разработана полезная модель [9]. Концептуальная схема работы экспериментальной модели представлена на рис. 3.
Рис. 3. Концептуальная схема работы экспериментальной модели мониторинга геометрических параметров исследуемого объекта
Модель состоит из блока управления и связанных с ним видеокамер. Обе видеокамеры закреплены на модели на определенном расстоянии с возможностью перемещения по верхней наружной панели основания. Эксперимент на модели позволяет определить изменение геометрических параметров исследуемого объекта и возможность разработки новых экспериментальных алгоритмов анализа и контроля геометрических параметров исследуемого объекта, с целью их дальнейшей апробации на реальных объектах.
Программные модули распознания дефектов на исследуемом объекте, определения границ и геометрических параметров реализованы на языке программирования Python. Для разработки модулей использовалась библиотека компьютерного зрения с открытым исходным кодом OpenCV. Библиотека содержит набор алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения и может использоваться в академических и коммерческих целях на условиях лицензии BSD.
Программный модуль 1. Определение границ и динамики изменения геометрических параметров. Для определения границы объекта обозначенной условной линией, отделя-
ющей объект от окружающей среды, разработан модуль «интеллектуального определения границ».
Задачей модуля является определение и выделение внешней границы объекта.
При определении формы использован метод детектора границ Кенни (рис. 4).
Для определения точности сьемки проведены экспериментальные исследования. В качестве маяков использовались марки «АгЦсо». Были подобраны необходимые алгоритмы библиотеки компьютерного зрения ОрепСУ и написан программный модуль, с помощью которого обозначены марки на изображении.
Подготовлен словарь, содержащий все номера марок «АгЦсо», подлежащих определению с целью их дальнейшей идентификации.
После обработки алгоритмами программного модуля выполняется поиск марок в соответствии с подготовленным словарем. Если марка определяется на изображении и находится в словаре, то на выходном изображении она выделяется рамкой и обозначается номером, который присвоен марке в словаре.
Результат работы программного модуля представлен на рис. 5.
а) б)
Рис. 4. Результат работы программного модуля 1. Определение границ объекта: а) исходное изображение; б) результат обработки изображения методом Кенни
воляющего быстро обрабатывать изображения и потоковое видео. Для обучения каскада использовалась выборка из «положительных» и «отрицательных» изображений трещин. Выборка из «положительных» изображений (рис. 6) представляет собой множество фотографий, на которых изображены трещины.
Рис. 5. Результат работы программного модуля 1
После того, как марка найдена на изображении, появляется возможность определить координаты ее центра в условной системе координат, что в дальнейшем позволяет выполнять вычисления отклонения каждой точки объекта от значений координат, зафиксированных на стартовом изображении в первый момент времени.
Программный модуль 2. Предназначен для распознания дефектов (в данном случае трещин). Процесс поиска и распознавания трещин на объекте выполняется с помощью библиотеки OpenCV и детектора Хаара, поз-
Рис. 6. Выборка из «положительных» снимков, на которых присутствует изображение трещины (00001, 00002, 00003, 00004 -варианты развития трещин на конструкции)
Выборка из «отрицательных» изображений - это множество фотографий, на которых нет объекта распознавания (трещин).
При помощи утилиты орепсу_сгеа1еватр1е8 создан итоговый каскад для распознавания трещин. Проверка работы каскада выполнялась на изображении с трещиной (рис. 7).
Результат работы программного модуля представлен на рис. 8.
Рис. 7. Изображение с трещиной
относительно друг друга и/или относительно условной системы координат. Технологически операция состоит из простых и быстрых вычислений, в которых заложены алгоритмы сравнения местоположения небольших участков изображения на исследуемой области, путем последовательного прохождения по всем областям исходного изображения и соотношения их с эталонным. Затем результаты сравнения анализируются и выдается результат;
- определение границ объекта на основе алгоритма Кенни;
- оценка изменения положения зафиксированных точек исследуемого объекта относительно камеры или некой отвесной линии, зафиксированной вначале мониторинга.
Исследование точностных характеристик технологии съемки объекта фотокамерой экспериментальным способом позволило сделать вывод о том, что точность определения координат пикселей в условной, пространственной системе координат напрямую зависит от разрешения фотокамеры, расстояния фотокамеры до объекта и освещения.
Например, в рамках проводимых исследований было установлено, что изучая изображение с разрешением 5 184 на 3 456 пикселей, полученного на расстоянии 5 метров от объекта, точность измерений составляет 1,15 миллиметра (рис. 9).
Рис. 8. Результат работы программного модуля 2 для определения трещин на объекте
1254 1112
0.2242152466367713 ширина одного пикселя 0.22675736961451248 длина одного пикселя 223 222
49.77578475336323 координата X в мм 50.56689342403628 координата У в мм
В процессе исследования были отработаны технологические этапы применения технологии компьютерного зрения для автоматизированного визуального мониторинга объектов, а именно:
- распознавание трещин;
- обнаружение на основе видеоданных смещений конструктивных элементов объекта
Рис. 9. Определение координаты центра марки
Зафиксировано, что при увеличении расстояния от фотокамеры до объекта уменьшается точность измерений. В этом случае требуется использовать фотокамеру с более высоким разрешением.
Обсуждение
В настоящее время известны примеры в фотограмметрии, где применяются технологии компьютерного зрения для обнаружения трещин и деформационных швов в конструкциях объектов. Фотографические способы предусматривают измерение деформаций методом фотограмметрии (измерительной фотографии), который заключается в определении разности координат точек сооружения, найденных по фотоснимкам нулевого цикла, и фотоснимкам последующих циклов. Следует отметить, что классическая фотограмметрическая обработка снимков требует квалифицированного исполнителя, специального оборудования и знания современных автоматизированных программ такой обработки. Однако, приведенные авторами разработки отличаются от фотограмметрических систем технологическими решениями, основанными на интеллектуальном анализе данных, которые позволяют в режиме реального времени предоставлять информацию не только о наличии дефектов, но и об изменении геометрических параметров элементов конструкции объекта в режиме реального времени, что в значительной мере повышает эффективность результатов визуального осмотра [19-22].
Представленные результаты исследования имеют положительные отзывы на международных и национальных конференциях: Международной научной конференции студентов и молодых ученых «Молодежь. Наука. Технологии», г. Новосибирск, Россия, Национальной научно-практической конференции «Регулирование земельно-имущественных отношений в России: правовое и геопространственное обеспечение, оценка недвижимости, экология, технологические решения», г. Новосибирск, Россия; Международном форуме «Интерэкспо ГЕО-Сибирь-2021», г. Новосибирск, Россия.
В процессе дискуссий на конференциях отмечено, что применение технологий компьютерного зрения в совокупности с алгоритмами интеллектуальной обработки потока видеоснимков позволит совершенствовать процедуру визуального осмотра, а именно даст возможность определить интенсивность разрушительных процессов на объекте и минимизировать человеческий фактор.
Заключение
Применение аппаратно-программного комплекса автоматизированного визуального мониторинга объекта в режиме реального времени позволит выполнять:
1) автоматизированный визуальный мониторинг множества конструктивных элементов объекта одновременно благодаря стационарной установке на объекте сети видеокамер. Видеокамеры позволяют получить видеоряд снимков в установленный период времени;
2) интеллектуальный анализ потока видеоснимков в режиме реального времени, в результате которого дается информация не только по присутствующим дефектам, обнаруженным на объекте, но и о динамике их изменений. Например, скорости раскрытия трещин, изменения геометрических параметров элементов конструкций. Это необходимо в случае обнаружения скоротечных разрушающих процессов конструкций;
3) выявление дефектов конструктивных элементов в труднодоступных местах, где их невозможно определить визуально, но есть возможность установки видеокамеры;
4) минимизировать человеческий фактор, так как анализ потока видеоснимков выполняется интеллектуальными алгоритмами.
Разработанная технология может эффективно применяться для автоматизированного мониторинга состояния любого инженерного объекта как снаружи, так и внутри.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Бугакова Т. Ю., Шарапов А. А. Применение интеллектуальных систем для решения задач в области геопространственных технологий и дистанционного зондирования // Регулирование земельно-имущественных отношений в России: правовое и геопространственное обеспечение, оценка недвижимости, экология, технологические решения : сб. материалов IV Национальной научно-практической конференции в 3 ч. (Новосибирск, 17-19 ноября 2020 г.).- Новосибирск : СГУГиТ, 2021. Ч. 1. - С. 163-168. -БО! 10.33764/2687-041Х-2021-1-163-168.
2. Бугакова Т. Ю., Шарапов А. А. Алгоритмы функционирования мультиагентной системы определения пространственно-временных состояний объекта // Интерэкспо ГЕО-Сибирь-2017. XIII Между-нар. науч. конгр. : 8-я Международная конференция «Раннее предупреждение и управление в кризисных ситуациях в эпоху "Больших данных"» : сб. материалов (Новосибирск, 17-21 апреля 2017 г.). -Новосибирск : СГУГиТ, 2017. - С. 3-7.
3. Бугакова Т. Ю. К вопросу оценки риска геотехнических систем по геодезическим данным // ГЕО-Сибирь-2011. VII Междунар. науч. конгр. : сб. материалов в 6 т. (Новосибирск, 19-29 апреля 2011 г.). - Новосибирск : СГГА, 2011. Т. 1, ч. 1. - С. 151-157.
4. Бугакова Т. Ю. Моделирование изменения пространственно-временного состояния инженерных сооружений и природных объектов по геодезическим данным // Вестник СГУГиТ. - 2015. -Вып. 1 (29). - С. 34-42.
5. Национальный стандарт РФ ГОСТ Р 22.1.12-2005. Безопасность в чрезвычайных ситуациях. Структурированная система мониторинга и управления инженерными системами зданий и сооружений. Общие требования [Электронный ресурс] : утв. приказом Федерального агентства по техническому регулированию и метрологии от 28.03.2005 № 65-ст. - Доступ из справ.-правовой системы «Кон-сультантПлюс».
6. Межгосударственный стандарт. Здания и сооружения. Правила обследования и мониторинга технического состояния работников [Электронный ресурс] : принят межгосударственной научно-технической комиссией по стандартизации, техническому нормированию и сертификации в строительстве (протокол № 39 от 08.12.2011). - Доступ из справ.-правовой системы «КонсультантПлюс».
7. ГрК РФ Статья 48.1. Особо опасные, технически сложные и уникальные объекты [Электронный ресурс] : Градостроительный кодекс Российской Федерации от 29.12.2004 № 190-ФЗ (ред. от 14.07.2022) (с изм. и доп., вступ. в силу с 01.09.2022). - Доступ из справ.-правовой системы «КонсультантПлюс».
8. Колесников А. А. Возможности NOSQL СУБД для обработки пространственных данных // Вестник СГУГиТ. - 2022. - Т. 27, № 3. - С. 95-106. - DOI 10.33764/2411-1759-2022-27-3-95-106.
9. Колесников А. А. Анализ методов и средств искусственного интеллекта для анализа и интерпретации данных активного дистанционного зондирования // Вестник СГУГиТ. - 2022. - Т. 27, № 3. -С. 74-94. - DOI 10.33764/2411-1759-2022-27-3-74-94.
10. Коренев В. В., Орлова Н. С., Улыбин А. В., Федотов С. Д. Строительный контроль зданий и сооружений с применением мультикоптеров и фотограмметрии // Строительство уникальных зданий и сооружений. - 2018. - № 2(65). - С. 40-58. - DOI 10.18720/CUBS.65.3.
11. Патент на полезную модель № 197310 U1 Российская Федерация, МПК G09B 19/00, B25J 9/00. Лабораторный стенд интеллектуального мониторинга геометрических параметров исследуемого объекта средствами систем машинного зрения: № 2020101205: заявл. 10.01.2020 : опубл. 21.04.2020 / А. А. Шарапов; заявитель Федеральное государственное бюджетное образовательное учреждение высшего образования «Сибирский государственный университет геосистем и технологий» (СГУГиТ).
12. Sharapov A. A., Bugakova T. Y., Basargin A. A. Application of Computer vision technology for monitoring the condition of oil storage tanks // Journal of Physics: Conference Series. - Novosibirsk, 2021. -P. 012097. - DOI 10.1088/1742-6596/2032/1/012097.
13. Середович В. А., Студенков С. С., Ткачева Г. Н. Опыт создания стационарных систем геодезического деформационного мониторинга при эксплуатации инженерных объектов // ГЕО-Сибирь-2006. Междунар. науч. конгр. : сб. материалов в 6 т. (Новосибирск, 24-28 апреля 2006 г.). - Новосибирск : СГГА, 2006. Т. 3, № 2. - С. 120-124.
14. Хорошилова Ж. А., Хорошилов В. С. Деформационный мониторинг инженерных объектов как составная часть геодезического мониторинга // Интерэкспо ГЕО-Сибирь-2012. VIII Междунар. науч. конгр. : Междунар. науч. конф. «Геодезия, геоинформатика, картография, маркшейдерия» : сб. материалов в 3 т. (Новосибирск, 10-20 апреля 2012 г.). - Новосибирск : СГГА, 2012. Т. 1. - С. 77-80.
15. Буркина И. Обрушение жилого дома в Омске. Как это было [Электронный ресурс] // Город 54 : сайт. - 2022. - Режим доступа: https://gorod55.ru/news/2022-08-13/obrushenie-zhilogo-doma-v-omske-kak-eto-bylo-1186224 (дата обращения: 28.08.2022).
16. Abd Mukti S. N., Tahar K. N. Detection of potholes on road surfaces using photogrammetry and remote sensing methods (review) // Scientific and Technical Journal of Information Technologies, Mechanics and Optics. - 2022. - Vol. 22, No 3. - P. 459-471. - DOI 10.17586/2226-1494-2022-22-3-459-471. -EDN RESSVR.
17. Yandex Vision. Сервис компьютерного зрения для анализа изображений. [Электронный ресурс] // Yandex : сайт. - 2022. - Режим доступа: https://cloud.yandex.ru/services/vision (дата обращения: 28.08.2022).
18. Демьянов А. А., Тучин В. А. Визуально-инструментальное обследование здания школы // Обследование зданий и сооружений: проблемы и пути их решения : материалы X научно-практической конференции, Санкт-Петербург, 10-11 октября 2019 года / под ред. А. В. Улыбина. - СПб. : Санкт-Петербургский политехнический университет Петра Великого, 2019. - С. 48-60.
19. Свидетельство о государственной регистрации программы для ЭВМ № 2021619932 Российская Федерация. Программный комплекс визуального осмотра и наблюдения за состоянием оборудования подстанции для предупреждения возникновения технологических нарушений (Звезда-49р) : № 2021618746 : заявл. 04.06.2021 : опубл. 18.06.2021 / А. В. Селиханович, А. В. Фадеев, А. Д. Киттелл ; заявитель Публичное акционерное общество «Федеральная сетевая компания Единой энергетической системы».
20. Конюхова А. А., Юшков А. Э. Выявление дефектов конструкций при визуальном осмотре // Архитектоника региональной культуры : сборник научных трудов 3-й Всероссийской научно-практической конференции, Курск, 29 октября 2020 года. - Курск : Юго-Западный государственный университет, 2020.- С. 127-129.
21. Сергеев О. И. Визуальный осмотр технического состояния здания // World science: problems and innovations : сборник статей XLIX Международной научно-практической конференции, Пенза, 25 декабря 2020 года. - Пенза: «Наука и Просвещение» (ИП Гуляев Г. Ю.), 2020. - С. 63-65.
22. Дудочкин Д. В. Климов Д. А., Колгудаев А. Н. Обследование технического состояния кровли с помощью визуального осмотра // Academy. - 2016. - № 1 (4). - С. 34-36.
Об авторах
Татьяна Юрьевна Бугакова - кандидат технических наук, заведующая кафедрой прикладной информатики и информационных систем.
Артем Андреевич Шарапов - старший преподаватель кафедры прикладной информатики и информационных систем.
Получено 12.09.2022
© Т. Ю. Бугакова, А. А. Шарапов, 2022
Improving the methods of visual inspection of buildings and engineering structures through the introduction of computer vision and intelligent
data processing technologies
T. Yu. Bugakova1, A. A. Sharapov1*
1 Siberian State University of Geosystems and Technologies, Novosibirsk, Russian Federation
* e-mail: sharapov_artem@mail.ru
Abstract. For the safe operation of engineering facilities, periodic surveys are carried out to assess their technical condition. To form an expert opinion and establish cause-and-effect relationships of changes in the state of an object from the influence of external factors, the first in the sequence of work, according to the terms of reference, is a visual inspection of the object or a visual inspection. As a result of visual inspection, it is possible to fix the occurrence of cracks in structures, the formation of a corrosion layer that damages structures, violations of the protective layer of the surfaces under study, violations of the paintwork of elements and parts of the structure of the object, etc. In order to improve the visual inspection technique, a hardware-software complex has been developed that makes it possible to apply computer vision technologies to provide automated visual monitoring of an object and analyze the obtained images by using intelligent algorithms for their processing. The use of a hardware-software complex for automated visual monitoring of an object in real time will allow performing: automated visual monitoring of a plurality of structural elements of an object at the same time due to a stationary installation of a network of video cameras at the object; intelligent analysis of the stream of video images in real time, as a result of which information is given not only on the defects present,
found on the object, but on the dynamics of their changes; identify defects in structural elements in hard-to-reach places where they cannot be visually determined, but it is possible to install a video camera; minimize the human factor.
Keywords: visual inspection, intelligent data processing, hardware-software complex, computer vision, artificial intelligence, monitoring
REFERENCES
1. Bugakova, T. Yu., & Sharapov, A. A. (2021). The use of intelligent systems for solving problems in the field of geospatial technologies and remote sensing. In Sbornik materialov IVNatsional'noy nauchno-prak-ticheskoy konferentsii: Ch. 1. Regulirovanie zemel'no-imushchestvennykh otnosheniy v Rossii: pravovoe i ge-oprostranstvennoe obespechenie, otsenka nedvizhimosti, ekologiya, tekhnologicheskie resheniya [Proceedings of the IV National Scientific and Practical Conference: Part 1. Regulation of Land-Property Relations in Russia: Legal and Geospatial Support, Property Valuation, Ecology, Technological Solutions] (pp. 163-168). Novosibirsk: SSUGT Publ. doi 10.33764/2687-041X-2021-1-163-168 [in Russian].
2. Bugakova, T. Yu., & Sharapov, A. A. (2017). Functioning algorithms for a multi-agent system for determining the spatio-temporal states of an object. In Sbornik materialov Interekspo GEO-Sibir'-2017: Mezhdu-narodnoy nauchnoy konferentsii: Rannee preduprezhdenie i upravlenie v krizisnykh situatsiyakh v epokhu "Bol'shikh dannykh" [Proceedings of Interexpo GEO-Siberia-2017: International Scientific Conference: Early Warning and Management in Crisis Situations in the Era of "Big Data"] (pp. 3-7). Novosibirsk: SSUGT Publ. [in Russian].
3. Bugakova, T. Yu. (2011). On the issue of assessing the risk of geotechnical systems based on geodetic data. In Sbornik materialov GE0-Sibir'-2011: T. 1, ch. 1 [Proceedings of GEO-Siberia-2011: Vol. 1, Part 1] (pp. 151-157). Novosibirsk: SSGA Publ. [in Russian].
4. Bugakova, T. Yu. (2015). Modeling of changes in the spatial and temporal state of engineering structures and natural objects based on geodetic data. Vestnik SGUGiT [Vestnik SSUGT], 1(29), 34-42 [in Russian].
5. National standard of the Russian Federation GOST R 22.1.12-2005. Safety in emergency situations. Structured monitoring and control system for engineering systems of buildings and structures. General requirements. Approved. by order of the Federal Agency for Technical Regulation and Metrology dated March 28, 2005 N 65-st. Retrieved from ConsultantPlus online database [in Russian].
6. Interstate standard. Buildings and constructions. Rules for the examination and monitoring of the technical condition of workers. Adopted by the Interstate Scientific and Technical Commission for Standardization, Technical Regulation and Certification in Construction (protocol No. 39 of December 8, 2011). Retrieved from ConsultantPlus online database [in Russian].
7. Town Planning Code of the Russian Federation of December 29, 2004 No. 190-FZ (as amended on July 14, 2022) (as amended and supplemented, effective of September 1, 2022). Article 48.1. Especially dangerous, technically complex and unique objects. Retrieved from ConsultantPlus online database [in Russian].
8. Kolesnikov, A. A. (2022). NOSQL DBMS capabilities for spatial data processing. Vestnik SGUGiT [VestnikSSUGT], 27(3), 95-106. doi 10.33764/2411-1759-2022-27-3-95-106. [in Russian].
9. Kolesnikov, A. A. (2022). Analysis of methods and means of artificial intelligence for analysis and interpretation of active remote sensing data. Vestnik SGUGiT [Vestnik SSUGT], 27(3), 74-94. doi: 10.33764/2411-1759-2022-27-3-74-94. [in Russian].
10. Korenev, V. V., Orlova, N. S., Ulybin, A. V., & Fedotov, S. D. (2018). Construction control of buildings and structures using multicopters and photogrammetry. Stroitel'stvo unikal'nykh zdaniy i sooruzheniy [Construction of Unique Buildings and Structures], 2(65), 40-58. doi: 10.18720/CUBS.65.3 [in Russian].
11. Sharapov, A. A. Laboratory stand for intellectual monitoring of geometric parameters of the object under study by means of machine vision systems: No. 2020101205. Utility model patent No. 197310 U1 Russian Federation, IPC G09B 19/00, B25J 9/00.
12. Sharapov, A. A., Bugakova, T. Y., & Basargin, A. A. (2021). Application of computer vision technology for monitoring the condition of oil storage tanks. Journal of Physics: Conference Series, P. 012097. doi 10.1088/1742-6596/2032/1/012097.
13. Seredovich, V. A., Studenkov, S. S., & Tkacheva, G. N. (2006). Experience in creating stationary systems of geodetic deformation monitoring during the operation of engineering facilities. In Sbornik materi-
alov GEO-Sibir'-2006: T. 3, ch. 2 [Proceedings of GEO-Siberia-2006: Vol. 3, Part 2] (pp. 120-124). Novosibirsk: SSGA Publ. [in Russian].
14. Khoroshilova, Zh. A., & Khoroshilov, V. S. (2012). Deformation monitoring of engineering objects as an integral part of geodetic monitoring. In Sbornik materialov GE0-Sibir'-2012: T. 1, ch. 1 [Proceedings of GE0-Siberia-2012: Vol. 1, Part 1] (pp. 77-80). Novosibirsk: SSGA Publ. [in Russian].
15. Burkina, I. (2022). The collapse of a residential building in Omsk. How it was. City 54. Retrieved from https://gorod55.ru/news/2022-08-13/obrushenie-zhilogo-doma-v-omske-kak-eto-bylo-1186224 (accessed August 28, 2022) [in Russian].
16. Abd Mukti, S. N., & Tahar, K. N. (2022). Detection of potholes on road surfaces using photogramme-try and remote sensing methods (review). Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 22(3), 459-471. doi: 10.17586/2226-1494-2022-22-3-459-471.
17. Yandex Vision. Computer vision service for image analysis. (2022). Yandex. Retrieved from https://cloud.yandex.ru/services/vision (accessed August 28, 2022).
18. Demyanov, A. A., & Tuchin, V. A. (2019). Visual and instrumental inspection of the school building. In Sbornik materialov X nauchno-prakticheskoy konferentsii: Obsledovanie zdaniy i sooruzheniy: problemy i puti ikh resheniya [Proceedings of the X Scientific and Practical Conference: Inspection of Buildings and Structures: Problems and Ways to Solve Them] (pp. 48-60). A. V. Ulybin (Ed.). St. Petersburg: Peter the Great St. Petersburg Polytechnic University Publ. [in Russian].
19. Selikhanovich, A. V., Fadeev, A. V., & Kittell, A. D. Software package for visual inspection and monitoring of the state of substation equipment to prevent the occurrence of technological violations (Zvezda-49r): No. 2021618746. Certificate of state registration of the computer program No. 2021619932 Russian Federation.
20. Konyukhova, A. A., & Yushkov, A. E. (2020). Detection of structural defects during visual inspection. In Sbornik nauchnykh trudov 3-y Vserossiyskoy nauchno-prakticheskoy konferentsii: Arkhitektonika region-al'noy kul'tury [Proceedings of the 3rd All-Russian Scientific and Practical Conference: Architecture of Regional Culture] (pp. 127-129). Kursk: Southwestern State University Publ. [in Russian].
21. Sergeev, O. I. (2020). Visual inspection of the technical condition of the building. In Sbornik statey XLIX Mezhdunarodnoy nauchno-prakticheskoy konferentsii [Proceedings of the XLIXInternational Scientific and Practical Conference: World Science: Problems and Innovations] (pp. 63-65). Penza: Nauka i Prosvesh-chenie Publ. (IP Gulyaev G. Yu.) [in Russian].
22. Dudochkin, D. V., Klimov, D. A., & Kolgudaev, A. N. (2016). Inspection of the technical condition of the roof using visual inspection. Academy, 1(4), 34-36 [in Russian].
Author details
Tatyana Yu. Bugakova - Ph. D., Head, Department of Applied Informatics and informational systems,
Artem A. Sharapov - Senior Lecturer, Department of Applied Informatics and informational systems.
Received 12.09.2022
© T. Yu. Bugakova, A. A. Sharapov, 2022
