CC BY
4СТРОИТЕЛЬСТВО
УДК 620.1.08
КОМПЛЕКСНАЯ СИСТЕМА ВИДЕОМОНИТОРИНГА ИСПЫТАНИЙ ПРОЧНОСТИ И ДЕФОРМАТИВНОСТИ СТРОИТЕЛЬНЫХ МАТЕРИАЛОВ И КОНСТРУКЦИЙ
канд. техн. наук, доц. Р.П. БОГУШ, канд. техн. наук, доц. Д. О. ГЛУХОВ, А.Н. ЯГУБКИН, Е.А. СКРИПЕЛЕВ (Полоцкий государственный университет)
В статье предложена архитектура системы видеомониторинга состояния и происходящих физических процессов в строительном материале или конструкции в процессе нагрузочных испытаний. Она основана на использовании видеокамер и алгоритма обработки последовательностей изображений для считывания, распознавания и записи в персональный компьютер показаний цифровых приборов в реальном времени. Разработан алгоритм обработки видеоданных, который включает покадровый захват видеопотоков, сегментацию области цифрового табло, улучшение качества изображения выделенной области, распознавание цифровых данных, постобработку полученных значений. Результаты отображаются в онлайн-режиме на экране монитора и могут быть сохранены в файл, что дает возможность их дальнейшего их анализа. Предлагаемая система апробирована в испытательно-исследовательском центре Полоцкого государственного университета и является перспективной при проведении испытаний элементов строительных конструкций с применением цифровых измерительных приборов.
Ключевые слова: испытание материалов и конструкций, видеомониторинг, обработка изображений, компьютерная система.
Введение. Современные методы выходного контроля строительных материалов, изделий, конструкций, а также методы детального обследования технического состояния эксплуатируемых зданий и сооружений требуют проведения натурных испытаний на специальных стендах с применением измерительных приборов. В случае невозможности транспортировки объекта испытаний в лабораторию испытания проводятся в полевых условиях на объекте. В Полоцком государственном университете действует аккредитованный Испытательно-исследовательский центр. Актуальной проблемой для подобного рода испытаний является отсутствие готового решения для комплексного анализа всего спектра получаемых данных с цифровых приборов при проведении исследований. В течение последних лет проводятся работы по созданию различного рода систем мониторинга за состоянием зданий и сооружений, использующих встраивание во время возведения конструкции датчиков, передающих информацию по различным каналам связи [1; 2]. В повседневной практике рынка строительных услуг Беларуси приходится сталкиваться с производством и обследованиями конструкций, лишенных подобных систем мониторинга.
Для создания строительных материалов с заданными свойствами необходимо исследовать их поведение под нагрузкой, приводящей к разрушению конструкции, а также в процессе роста нагрузки. Сложные взаимосвязи напряжений и деформаций в строительных материалах требуют их изучения во времени как при динамических, так и при статических нагрузках [3-7]. Современное оборудование позволяет проводить подобные исследования, однако в большинстве организаций (научных, образовательных, производственных) испытательное оборудование, выводя на экран информацию по нагрузке и деформации, сохраняет только значение, соответствующее окончанию испытания (предел прочности, предел допустимых деформаций и т.п.). Особую важность разработка систем мониторинга поведения материалов под нагрузкой приобретает в рамках проводимых авторами исследований, связанных с компьютерным моделированием нелинейного поведения строительных конструкций. Учет физически и геометрически нелинейных эффектов приводит к изменению изгибной и продольной жесткости элементов и существенному перераспределению усилий в статически-неопределимых конструкциях. Наличие систем мониторинга позволяет уточнять и верифицировать нелинейные математические модели поведения строительных элементов, используемые для выработки оптимальных конструкционных решений, поэтому актуальной является разработка системы получения и сохранения динамических данных с приборов, что позволит оценить результаты практически для любого момента времени в период эксперимента, в том числе и после его завершения.
Общая характеристика системы. Комплексная система видеомониторинга испытаний прочности и деформативности строительных материалов и конструкций, состоящая из пространственно-разнесенных USB- или IP-камер, которые устанавливаются для считывания показаний цифровых измерительных приборов, организована на основе единого центра обработки данных - персонального компьютера. Применение
видеокамеры для захвата изображений приборов и распознавание их показаний в реальном времени с возможностью графического отображения получаемых результатов, сохранения всех данных на компьютере позволит значительно расширить возможности анализа, обработки и принятия правильных решений при проведении исследований. При этом для обеспечения универсальности использования программного продукта следует учитывать необходимость применения нескольких цифровых приборов, разнообразие информационных табло, размещение нескольких приборов в кадре. Подобная задача возникает при проведении комплексных испытаний прочности и деформативности опор и балок. Структура организации системы мониторинга в этом случае показана на рисунке 1. В соответствии с заданной методикой испытаний на элементах конструкции закрепляют необходимый набор датчиков, которые подключены к цифровому прибору. При наличии трех элементов возможно использование более чем одного цифрового прибора (рисунок 1).
Рисунок 1. - Пример использования системы видеомониторинга испытаний прочности и деформативности строительных материалов и конструкций
Для распознавания показаний цифровых измерительных приборов на видеопоследовательности и представления данных предлагаемая система использует персональный компьютер, поэтому метод обработки видеоданных должен минимизировать требуемые вычислительные затраты. С учетом этого построен алгоритм обработки, который состоит из следующих основных шагов: покадровое считывание видеопотоков; сегментация анализируемой области или областей цифрового табло; улучшение качества изображения выделенных областей; распознавание цифровых данных на каждом кадре; постобработка полученных значений для уменьшения вероятности влияния ошибок распознавания; сохранение данных в файл; представление обработанных данных в графическом или табличном виде.
Обработка видеоданных. Одной из основных задач в разрабатываемой системе является распознавание цифровых данных на последовательностях изображений с высокой точностью и с удовлетворительными вычислительными затратами. С учетом того, что предъявляются требования к обеспечению высокого быстродействия на персональном компьютере, обработке различных изображений цифровых табло измерительных приборов, возможности анализа нескольких цифровых групп с данными в кадре, выделение областей целесообразно предоставить оператору. Это связано в тем, что применение алгоритма автоматической сегментации, удовлетворяющего такому спектру задач, значительно увеличит временные затраты. Кроме того, для анализа не всегда требуется использовать данные всех групп, которые отображаются на табло, соответственно, участие оператора было бы необходимо в ряде случаев и при автоматической сегментации.
Оптическое распознавание символов (optical character recognition, OCR) позволяет переводить их изображения в данные, использующиеся для представления символов в компьютере. В настоящее время существует ряд реализаций OCR в виде библиотек компьютерных программ, которые могут быть свободно применены при разработке прикладного программного обеспечения. В настоящее время система Tesseract [8] характеризуется высоким качеством распознавания и быстродействием, что позволит обрабатывать видеопотоки с камер на персональном компьютере в реальном времени, является свободной компьютерной библиотекой для распознавания текстовых символов и может быть использована при разработке программных средств на многих языках программирования. В таблице 1 приведены вероятности правильного распознавания текстовых символов (P) библиотекой Tesseract для различных типов входных изображений [8].
Анализ таблицы показывает, что вероятность правильного распознавания текста зависит от качества исходного изображения, поэтому на первом шаге улучшения качества изображения осуществляется повышение контраста методом нормализации гистограммы. Данный метод обеспечивает растяжку не всего диапазона изменения интенсивностей, а только его наиболее информативного участка, что усиливает эффект контрастности за счет потери шумовых областей с редко встречающимися интенсивностями.
Таблица 1. - Результаты работы ТеББегай с различными типами входных изображений
Качество входного изображения P, %
200 точек на дюйм, без шума и искажений символов 100
72 точки на дюйм, черно-белое, без шума и искажений символов 97
72 точки на дюйм с незначительным линейным искажением 97
72 точки на дюйм, незначительные линейные искажения и перекос 2 градуса 96
При таком подходе выходной уровень яркости gx для пикселя определяется следующим образом:
(/ -/■ )
\ J x, y J min I
= 255 •
(/ - / )
\J max J min /
где
1хУ - уровень яркости входного пикселя с координатами х,у;
8тт и £шах - заданные минимальное и максимальное значения уровней пикселей входного изображения соответственно.
Для устранения шума используется фильтр Гаусса, который использует нормальное распределение для вычисления преобразования, применяемого к каждому пикселю изображения. Благодаря этому можно уменьшить с расстоянием влияние соседних пикселей на анализируемый. Ядро фильтра Гаусса определяется как [9]
1
hx ,y 2гсст2
где а - радиус фильтра.
На следующем шаге используется метод бинаризации изображений с адаптивным порогом, который обеспечивает робастность к изменениям яркостных характеристик области. На рисунке 2 показан пример применения указанных операций к изображению табло с цифровыми данными.
12.Д12.2
а б
а - исходное изображение; б - изображение после фильтрации и адаптивной бинаризации Рисунок 2. - Пример применения предварительной обработки к видеоданным
Постобработка использует заданное оператором допустимое максимальное изменение контролируемого параметра для сопоставления полученного значения с предыдущими данными и позволяет уменьшить вероятность ошибки при неправильном распознавании.
Результаты экспериментов. Эксперименты с использованием разработанной системы выполнялись при испытании арболитовых образцов с помощью пресса гидравлического малогабаритного ПМГ-1000МГ4, который используется для давления на образец материала (рисунок 3).
Рисунок 3. - Проверка прочности арболитового образца
Технология испытания по определению прочности на сжатие состоит в следующем: 1) испытуемый образец устанавливается строго по оси верхней и нижней плит. Зазор между верхней плитой и образцом, устанавливаемый силовым винтом пресса, должен составлять от 3 до 4 мм.
2) нагружение образца производится со скоростью, установленной оператором (например, 0,6 МПа/с), либо со скоростью, устанавливаемой автоматически (в соответствии с требованиями ГОСТ на метод испытаний). На первом этапе, когда между образцом и верхней плитой пресса есть зазор (см. п. 1), датчик перемещения нижней плиты пресса в правом поле дисплея (буква «е», мм) отображает значение перемещения (мм) нижней опорной плиты пресса (рисунок 4, а). На втором этапе, после соприкосновения образца с верхней опорной плитой, значение датчика перемещения нижней опорной плиты пресса обнуляется. Таким образом, на втором этапе мы получаем показания деформации образца (буква «е», мм) (рисунок 4, б).
В процессе испытания на табло цифрового прибора ПМГ-1000МГ4 отображаются максимальная нагрузка (кН), текущая нагрузка (кН) и перемещение плиты после начала нагружения или деформация образца (мм) (рисунок 4, б).
значение текущей нагрузки значение нагрузки при разрушении образца
R= 00.00 кН Р=00.00 к
к
значение перемещения плиты до касания ооразцаЛ а
значение перемещения плиты с момента касания образцах б
а - в начале испытаний; б - в процессе проведения испытаний Рисунок 4. - Информация на цифровом табло
При использовании метода ввода данных, представленного на рисунке 1, источником видеопотока является подключенная камера или ранее записанный видеофайл. Для ускорения обработки, если это допускается методикой эксперимента, интервал считывания кадров может варьировать, поэтому предусмотрена настройка данного параметра перед началом обработки видеопотока. В целом, разработанное программное обеспечение, основное окно интерфейса которого показано на рисунке 5, а, предоставляет следующие основные возможности:
- настройки для каждого видеопотока, такие как выбор источника (видеокамера или видеофайл), локализация пользователем областей информационных табло в кадре, выбор алгоритмов предварительной обработки (рисунок 5, б), выбор типа текстового файла для вывода данных, задание начального отсчета времени для считывания первого кадра видеопотока и временного интервала между обрабатываемыми кадрами;
- одновременная обработка до пяти видеопоследовательностей;
- включение режима «пауза» для возможности предварительного анализа получаемых данных;
- графическое представление обработанных данных онлайн с возможностью его масштабирования (рисунок 5, в), а также сохранение статического графика для заданного момента времени;
- масштабирование открытого графика в режиме реального времени;
- запись данных в текстовый файл.
Данное программное обеспечение разработано на языке Java с использованием библиотек OpenCV, Tesseract, JFreeChart и Swing.
Обработка нескольких видеопотоков выполняется параллельно и реализована с использованием многопоточности. Для каждой выделенной области цифрового табло создается поток TesseractThread, в который передается изображение области, после окончания работы всех потоков данные передаются в реализованные класс VideoCaptureThread, в котором выполняется обработка и сохранение результатов. Оценка времени обработки для различного количества выделенных областей представлена в таблице 2 с использованием персонального компьютера с основными характеристиками CPU IntelCore i5-4460 3,2GHz, ОЗУ 8Гб.
Таблица 2. - Временные затраты при обработке различного числа областей с данными
Количество областей обработки Время обработки, мс
1 417
2 428
3 480
4 570
5 660
На рисунке 5, г показан пример информационного окна после выбора области с данными. В верхней левой части над областью отображается имя данной области, а под областью выводится заданное допустимое максимального изменения контролируемого параметра, которое используются для постобработки полученных данных.
Е Detection Program _ X
Previous Object number:0 Add
Open File | □ Camera
Select areas Preprocessing setting J j Select output File
Time between frames(ms): 400
Video start(ms):
Open graphics From File
loooo
Start
| | Grayscale 0 Gaussian Blur 0 Adaptive Threshold Block size(Adaptive Thr.) =0=
МИМЕ
00.14
0 50 100 150 ZOO 250 С (Adaptive Thr.)
0=
I 11111 Mill nil Mill
20 40 60 80 100
!
Настройки..
Save as >
Печать...
Приблизить Отдалить > >
jl 0.2 0,3 0,1 0,5 0 6 0/7 0,8 0.9 1 0 1 3 1 2 1,3 1 Автомасштабирование > о
R=PÜHkHv3 Нр=00.Б2кНИ|
а - окно настройки предобработки; б - окно настройки параметров предварительной обработки; в - результат обработки в графическом виде; г - отображение параметров для сегментируемых областей
Рисунок 5. - Интерфейс разработанного программного обеспечения
б
а
в
г
На рисунке 6 приведено фото системы при подготовке к оценке прочности арболитового образца в испытательно-исследовательском центре Полоцкого государственного университета.
Рисунок 6. - Установка камеры для считывания информации с дисплея гидравлического пресса
Выполненные эксперименты по оценке прочности арболитового образца в испытательно-исследовательском центре Полоцкого государственного университета с использованием разработанной системы позволили оценить его свойства не только при разрушении (разрушающая нагрузка, предельная деформация), но и на протяжении всего испытания с построением графика зависимости «нагрузка - деформация» в реальном времени. Это позволило без дорогостоящего оборудования изучать механизм поведения материалов и конструкций под нагрузкой как для производственных, так и для научных целей.
Заключение. Предложено использовать считывание данных с цифровых приборов на основе обработки видеопоследовательностей, формируемых камерами наблюдения за их информационными табло при проведении испытаний прочности и деформативности строительных материалов и конструкций. При этом в качестве входных данных может использоваться последовательность изображений, получаемая с видеокамеры в реальном времени или видеофайл, хранимый на носителе информации. В программном
обеспечении реализованы основные функции: выбор областей в кадре для распознавания данных; настройка предобработки последовательностей изображений для каждой выбранной области; включение функции формирования лог-файла (протоколирования) процесса обработки; отображение полученных данных в виде графиков в реальном времени с возможностью их масштабирования и при необходимости сохранения как изображений; глобальное управление процессом обработки, т.е. включение паузы, возобновление обработки или отмена функции. Данное программное обеспечение разработано на языке Java с использованием библиотек OpenCV, Tesseract, JFreeChart и Swing. Система успешно прошла апробацию в испытательно-исследовательском центре Полоцкого государственного университета.
ЛИТЕРАТУРА
1. Qi Liang. Fundamental Tests on a Structural Health Monitoring System for Building Structures Using a Single-board Microcontroller / Qi Liang, Akinori Tani, Yuichiro Yamabe // Journal of Asian Architecture and Building Engineering. -2015. - Vol. 14, iss. 3 - P. 663-670.
2. Методика сопровождения развития структурных дефектов в цементных системах / Д.Н. Шабанов [и др.] // Вестн. Полоц. гос. ун-та. Сер. F, Строительство. Прикладные науки. - 2018. - № 16. - С. 67-71.
3. Kongshaug, S. Experimental investigation of ASR-affected concrete - The influence of uniaxial loading on the evolution of mechanical properties, expansion and damage indices / S. Kongshaug [et al.] // Construction and Building Materials. -2020. - Vol. 245.
4. Malekia, M. On the effect of ITZ thickness in meso-scale models of concrete / M. Malekia [et al.] // Construction and Building Materials. - 2020. - Vol. 258.
5. Ahmadi, M. New empirical approach for determining nominal shear capacity of steel fiber reinforced concrete beams / M. Ahmadi [et al.] // Construction and Building Materials. - 2020. - Vol. 234.
6. Zalegowski, K. Relation between microstructure, technical properties and neutron radiation shielding efficiency of concrete / K. Zalegowski [et al.] // Construction and Building Materials. - 2020. - Vol. 235.
7. Li, P.P. Optimization and characterization of high-volume limestone powder in sustainable ultra-high performance concrete / P.P. Li [et al.] // Construction and Building Materials. - 2020. - Vol. 242.
8. Tesseract: an Open-Source Optical Character Recognition Engine [Электронный ресурс]. - Режим доступа: https://www.linuxjournal.com /article/9676. - Дата доступа: 13.02.2019.
9. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - Изд. 3-е, исправл. и доп. - М. : Техносфера, 2012. - 1104 с.
Поступила 14.07.2020
INTEGRATED VIDEO MONITORING SYSTEM TO TEST STRENGTH AND DEFORMABILITY OF BUILDING MATERIALS AND STRUCTURES
R. BOHUSH, D. GLUKHOV, A. YAGUBKIN, E. SKRIPELYOV
The paper proposes the architecture of a video monitoring system for the state and ongoing physical processes in a building material or structure during stress testing. It is based on the use of video cameras and an algorithm for image sequence processing for reading, recognizing and writing to a personal computer the readings of digital devices in real time. An algorithm for processing video data has been developed, which includes frame-by-frame capture of video streams, digital display area segmentation, improving the image quality of the selected area, digital data recognition, obtained values post-processing. The results are displayed online on the monitor screen and can be saved to a file, which provides an opportunity for further analysis. The proposed system has been tested in the testing and research center of Polotsk State University and is promising for testing elements of building structures using digital measuring instruments.
Keywords: material and structure testing, video monitoring, image processing, computer system.
