CC BY
89
_ТЕХНИЧЕСКИЕ НАУКИ / ENGINEERING_
DOI: https://doi.Org/10.23670/IRJ.2021.105.3.002
ЦИФРОВАЯ ОБРАБОТКА ТЕПЛОВИЗИОННЫХ ИЗОБРАЖЕНИЙ В СРЕДЕ MATLAB
Научная статья
Андреев В.Г.1, Фошина М.Р.2' *
1, 2 Рязанский государственный радиотехнический университет им. В.Ф. Уткина, Рязань, Россия
* Корреспондирующий автор (foshina2014[at]yandex.ru)
Аннотация
На сегодняшний день цифровая обработка изображений играет важную роль для анализа полученных данных. При рассмотрении этой задачи относительно тепловизионных изображений, следует отметить, что у большинства тепловизоров предусмотрено программное обеспечение (ПО) для дальнейшей обработки результатов. Однако компьютерные программы в основном ориентированы на определенные модификации тепловизоров и формат bmt. Тематику статьи можно считать актуальной, поскольку часто возникает проблема анализа полученной термограммы в формате JPG.
Окружающие нас тела и физические объекты с температурой, отличной от абсолютного нуля, способные порождать и поглощать инфракрасное излучение, дают возможность извлекать о себе информацию посредством специального устройства, например, тепловизора. Отметим, что одного тепловизора для проведения исследования, обработки и хранения полученной информации недостаточно. Необходима цифровая обработка данных. Данная работа может быть полезна специалистам, занимающимся обработкой и интерпретацией тепловизионных изображений в программной среде MATLAB.
Ключевые слова: обработка тепловизионных изображений, кадрирование, MATLAB, изображения, термограмма, распознавание цвета, шкала температур, гистограмма распределения пикселей, наложение изображения.
DIGITAL PROCESSING OF THERMAL IMAGES IN MATLAB
Research article
Andreev V.G.1, Foshina M.R.2' *
1 2 V. F. Utkin Ryazan State Radio Engineering University, Ryazan, Russia
* Corresponding author (foshina2014[at]yandex.ru)
Abstract
Today, digital image processing plays an important role in analyzing data. When considering this problem with respect to thermal imaging, it should be noted that most thermal cameras have software for further processing of the results. However, computer programs are mainly focused on certain modifications of thermal cameras and the BMT file extension. The topic of the article can be considered relevant since there often arises the problem of analyzing the obtained thermogram in the JPG format.
The surrounding physical objects with a temperature other than absolute zero that are capable of generating and absorbing infrared radiation make it possible to extract data through a special device, for example, a thermal camera. It should be noted that a single thermal camera is not enough to conduct research, process, and store the obtained data. Therefore, digital data processing is required. This study can be useful for specialists in the processing and interpretation of thermal images in the MATLAB software environment.
Keywords: thermal image processing, cropping, MATLAB, images, thermograph, color recognition, temperature scale, color histogram, image overlay.
Введение
Целью статьи является рассмотрение видов обработки изображений, их основных характеристик и выделение перспективных направлений исследований изображений, а также приведение примеров программных кодов, использованных для обработки тепловизионных изображений в формате jpg с помощью функций матричной лаборатории MATLAB.
Результатами обработки являются геометрические преобразования изображений, построение гистограмм распределения интенсивности отдельных пикселей, выделение необходимого цвета на тепловизионном изображении.
В процессе анализа быстродействия была отмечена высокая скорость обработки на компьютере с обычными для современной настольной ЭВМ параметрами. Для проведения эксперимента использовался ноутбук «MagicBook Pro» фирмы «Honor» со следующими характеристиками:
1) процессор «AMD Ryzen 5 3500H» 4-х ядерный, с тактовой частотой 2,10 ГГц и 8 логических процессоров (потоков);
2) оперативная память 8 ГБ (доступно 7 ГБ);
3) видеокарта «AMD Radeon Vega 8»;
4) операционная система «Windows 10 Home», 64 бит.
Обработка изображений
Цифровая обработка изображений относится к области обработки радиотехнических сигналов, которыми служат сами изображения. Методы их обработки имеют важное значение в научных исследованиях, в медицине, в космических
и информационных системах и других прикладных сферах. В качестве примеров можно привести коррекцию искажений изображения, принимаемого из космоса, улучшение качества медицинских изображений [1, С 7-8].
Существуют такие задачи обработки изображений, как линейная и нелинейная фильтрация, а также восстановление и сегментация, сжатие информации для передачи по каналам связи.
При обработке изображений с использованием ЭВМ возможно улучшение их качества.
Цель накопления данных состоит в получении содержательной информации об изучаемом явлении. Однако, явление часто не удается наблюдать непосредственно, и поэтому получаемые данные могут оказаться линейной суперпозицией нужных величин. При этом сталкиваются с общей проблемой — как разделить «перемешанные» данные (т.е. как реставрировать, улучшить данные и освободить их от смазывания). Решить эту проблему затруднительно потому, что в процессе получения данных добавляется шумовая составляющая [2, С 192]. Улучшением изображения является процесс такого манипулирования, по результатам которого картина становится более подходящей для конкретного применения, чем оригинал. Отметим, что общей «теории улучшения» не существует, итоговую оценку дает наблюдатель, если изображение обрабатывается для визуальной интерпретации [3, С 52]. Однако под улучшением следует подразумевать подчеркивание границ исследуемого изображения путем высокочастотной фильтрации с дальнейшим определением форм и размеров объекта. Такие методы обработки используются для облегчения решения задач извлечения информации.
Обработка данных также может использоваться и с целью получения видимого изображения цифровых сигналов, например в тепловом диапазоне, в радарах, при медицинской и технической диагностике.
Основные характеристики изображения
Одними из важных характеристик изображения являются контраст и интенсивность. Величину интенсивности можно определить значением конкретной физической величины. Например, для фотографии это будет яркость. Контраст К также может определяться через яркость. Если мы задаем В0 в качестве яркости рассматриваемого объекта, а Вф принимаем за яркость окружающего фона, то контраст можно вычислить по формуле [4, С 57]:
К = . (1)
Вф + В0
Отметим, что чем больше значение K, тем более заметна исследуемая деталь (объект) на окружающем фоне. Для того, чтобы различить детали, необходим больший перепад яркостей, поскольку объекты со слабым контрастом могут быть неразличимы человеческим глазом.
Одной из важнейших характеристик изображений является пространственная частота. Она определяется числом колебаний яркости на единицу длины и численно выражает скорость изменения яркости. При высоком значении пространственной частоты наблюдаются более резкие изменения на изображениях [5, C. 322].
Перспективные направления исследований в области цифровой обработки тепловизионных изображений
Сформируем следующие основные перспективные направления исследований:
1) фильтрация шумов;
2) разработка эффективных методов сжатия изображения;
3) создание других оптимальных методов нелинейной фильтрации;
4) разработка эффективных и качественных методов сегментации изображений;
5) создание методов для выделения контура объекта с сохранением границ;
6) разработка методов распознавания объектов на изображениях.
Возможности цифровой обработки в MATLAB
При решении задач цифровой обработки изображений часто используется пакет прикладных компьютерных программ матричной лаборатории MATLAB [6], поскольку он является удобным инструментом для моделирования и исследования методов обработки изображений. При этом актуален программный пакет «Image Processing Toolbox», который включает в свой состав большое количество функций, реализующих распространенные методы обработки изображений. Он является приложением в рамках программы MATLAB.
Рассмотрим основные возможности пакета «Image Processing Toolbox».
1. Геометрическое преобразование изображения
Наиболее распространенной функцией данного преобразования является кадрирование, поворот изображения и изменение его размеров.
Сущность кадрирования состоит в том, что при помощи функции «imcrop», в интерактивном режиме, компьютерной мышью можно выделить часть изображения и поместить её в новое окно просмотра. Для наглядного примера используем имеющееся тепловизионное изображение в результате проводимого самостоятельно мониторинга радиатора отопления жилого помещения (см. рисунок 1).
а) б)
Рис. 1 - Кадрирование изображения
На рисунке 1а представлено исходное тепловизионное изображение, полученное в процессе мониторинга поступления теплоносителя в отопительную батарею. Результат кадрирования представлен на рисунке 1б.
Мы видим, что в результате использования функции «imcrop» возможно выделение интересующего нас фрагмента тепловизионного изображения.
Код программы составим следующим образом: I = imread ('2.jpg') imshow (I) imcrop;
Для чего это может быть полезно? Выходным файлом большинства тепловизоров является файл формата JPG или PNG (см. рисунок 2).
Рис. 2 - Тепловизионная картина
Из рисунка 2 видно, что тепловизионная картина состоит из термограммы (слева) и шкалы распределения температур (справа). Для упрощения анализа можно «вырезать» отдельно термограмму и отдельно шкалу распределения температур (см. рисунок 3).
Термограмма Шкала распределения температур
Оригинальное изображение, termol.jpg
200 400 600 SOO 100012001400 BOO BOO ■
200 400 600 BOO 1000
20
Рис. 3 - Разделение термограммы и температурной шкалы Для работы с отдельными элементами изображений используются функции «impixel», «mean2», «corr2» и другие [6].
Наиболее важной характеристикой является гистограмма распределения значений интенсивности пикселей изображения. Она строится при помощи функции «imhist» (см. рисунок 4).
О 20 40 60 Ю 100 120 140 160 180 200
Рис. 4 - Гистограмма распределения интенсивности пикселей
Код программы для построения гистограммы представим следующими операторами: I = imread ('2.jpg') figure, imshow (I) figure, imhist;
Подобные коды программ можно использовать, например, для удобного отображения гистограммы распределения температуры (см. рисунок 5).
22 24 26 28 30 32
Температура
Рис. 5 - Гистограмма распределения температуры по термо грамме
При проведении анализа изображений возникает необходимость определения значений интенсивности отдельных пикселей [3]. В этом случае можно использовать функцию «impixel». Также, если необходимо вычислить среднее значение элементов матрицы (набора яркостей отдельных пикселей), применяется функция «mean2». При решении задач распознавания широко применяется функция «corr2». С её помощью можно оценить подобность двух изображений, представленных матрицами яркостей. С целью улучшения изображения используются функции «imadjust», «histeq», «imfilter».
При работе с тепловизионными изображениями важно наблюдать горячие или холодные точки, которые отличаются в приведённых примерах цветом. Распознавание цветов, т.е. выделение горячих и холодных областей на изображениях, также может обеспечить MATLAB.
На рисунке 6 представлен результат распознавания красного цвета, причем в момент, когда нагревательная батарея заполняется теплоносителем.
а) б)
Рис. 6 - Распознавание красного цвета на тепловизионном изображении: а - исходное изображение; б - обработанное изображение
Часть кода программы, выделяющая красный цвет, представлена ниже.
% Определение порога каждой цветной полосы, redthreshold = 6G; greenThreshold = 70; blueThreshold = 72;
redMask = (redBand > redthreshold]; greenMask = (greenBand < greenThreshold); blueMask = (blueBand < blueThreshold]; % Объединить маски, чтобы найти, где все 3 redObjectsMask" = uintS (redMask & greenMask subplot(1, 2, 2); imshow(redObjectsMask, []]; title(1 Красная маска 1);
Рис. 7 - Часть кода программы, выделяющая красный цвет
Помимо выделения цвета, важен анализ полученного изображения. Одним из способов анализа является сравнение полученных данных. Сравнить можно исходное изображение с эталонным или просто два изображения между собой. Реализаций такого вида анализа может быть множество, ниже приведён один из примеров.
Составим программу для сравнения двух изображений одного и того же объекта, но в разные моменты времени.
«истинны». & blueMask) ;
а) б)
Рис. 8 - Изображения объекта в разные моменты времени: а - в момент включения теплоносителя; б - в момент полного заполнения батареи водой
На рисунке 8 изображены два изображения отопительной батареи: в момент включения теплоносителя и в момент полного заполнения батареи водой.
Для сравнения двух изображений составим следующий программный код:
hAxes = axes('Parent", hFigure); hlmagel - imshowfpl, 'ParenthAxes);
hlmage2 - imsho4(p2, 'Parent'; hAxes};
addlistener(R,'MovingRQi', @updatefllpha);
hlmages = findobj(he.Parent,'Typeimage'); mask = hC.createMask(hImages(1).CData); set(hlmages(1),'AlphaData', ^mask);
Рис. 9 - Программный код для сравнения двух изображений составим
В результате работы приведённого выше программного кода получим изображение объекта в один из моментов времени и окно, которое вручную можем поставить на любую интересующую нас область (см. рисунок 10). Причём окно отражает ситуацию с фрагментом объекта в другой момент времени.
Рис. 10 - Результат наложения изображений
Заключение
Выполнение всех рассмотренных выше функций занимает считанные секунды, что даёт возможность говорить о достаточном быстродействии программы, работающей на ноутбуке с перечисленными выше параметрами. Время выполнения операций не превышало 4х секунд.
При использовании встроенных функций программного пакета «Image Processing Toolbox» можно анализировать изображения как в видимой, так и в ИК области. Результатами обработки являются гистограммы распределения температур (яркостей), а также сами изображения, подвергнутые различной обработке.
Таким образом, с помощью функций программы MATLAB можно в реальном масштабе времени проводить мониторинг отопительной системы и эффективно анализировать полученные данные о температурном рельефе объектов, в том числе в динамике его изменения.
Конфликт интересов Conflict of Interest
Не указан. None declared.
Список литературы / References
1. Фисенко В.Т. Компьютерная обработка и распознавание изображений / В.Т. Фисенко, Т.Ю. Фисенко: учеб. пособие. СПб: СПбГУ ИТМО, 2008. 192 с.
2. Гонсалес Р. Цифровая обработка изображений: пер. с англ. / Р. Гонсалес, Р. Вудс Под ред. П.А. Чочиа. М.: Техносфера, 2008. 1072 с.
3. Фриден Б. Улучшение и реставрация изображений / Б. Фриден // Обработка изображений и цифровая фильтрация. М.: Мир, 1979. C. 193-270. 320 с.
4. Богданов Е. А. Основы технической диагностики нефтегазового оборудования / Е. А. Богданов : учеб. пособие. М.: Высшая школа, 2006. 279 с.
5. Дуда Р. Распознавание образов и анализ сцен / пер. с англ. Г. Г. Вайештейна и А. М. Васьковского / Р. Дуда, П. Харт под ред. В. Л. Стефанюка. М.: Мир, 1976. 509 с.
6. MATLAB. The Language of Technical Computing. Using MATLAB. The Math Works, Inc. USA, 2000. 187 p.
Список литературы на английском языке / References in English
1. Fisenko V. T. Komp'juternaja obrabotka i raspoznavanie izobrazhenij [Computer processing and image recognition] / V.T. Fisenko, T.Ju. Fisenko: textbook. stipend. St. Petersburg: St. Petersburg State University ITMO, 2008. 192 p.
2. Gonzalez R. Cifrovaja obrabotka izobrazhenij [Digital image processing]: trans. from English / R. Gonsales, R. Vuds ; Ed. by P. A. Chochia. Moscow: Technosphere, 2008. 1072 p.
3. Frieden B. Uluchshenie i restavracija izobrazhenij [Improvement and restoration of images] / B. Friden // Obrabotka izobrazhenij i cifrovaja fil'tracija [Image processing and digital filtering]. Moscow: Mir, 1979. C. 193 270. 320 p.
4. Bogdanov E. A. Osnovy tehnicheskoj diagnostiki neftegazovogo oborudovanija [Fundamentals of technical diagnostics of oil and gas equipment] / E. A. Bogdanov: textbook. manual. Moscow: Vysshaya shkola, 2006. 279 p.
5. Duda R. Raspoznavanie obrazov i analiz scen [Pattern recognition and scene analysis]: translated from the English by G. G. Vayeshtein and A. M. Vaskovsky / R. Duda, P. Hart ; ed. by V. L. Stefanyuk. Moscow: Mir, 1976. 509 p.
6. MATLAB. The Language of Technical Computing. Using MATLAB. The Math Works, Inc. USA, 2000. 187 p.
