CC BY
40
УДК 004.932
А.А. Зеленский, Е.А. Семенищев, В.А. Франц
Алгоритм определения формы объектов по анализу изображений, полученных в инфракрасном диапазоне
Рассматриваются алгоритмы предварительной обработки изображений, полученных в инфракрасном диапазоне, и восстановления контуров объектов. Применение данных подходов позволяет получить примерное представление о форме объектов в условиях отсутствия информации, получаемой в оптическом диапазоне. В качестве подходов первичной обработки изображений применяются следующие алгоритмы: фильтрация и размытие изображения; пороговая бинаризация; детектирование границ температурных изменений. Алгоритм фильтрации и размытия изображения основан на многокритериальном методе. Алгоритм пороговой бинаризации основан на пороговой обработке. Алгоритм нахождения границы объекта основан на применении математического подхода для нахождения эквидистантной кривой. В статье представлены блок-схемы алгоритмов и их математическое описание. Эффективность предлагаемого подхода показана на наборе тестовых изображений для решения задачи поиска формы объектов по анализу данных, полученных в инфракрасном диапазоне. Ключевые слова: тепловизионные изображения, фильтрация, эквидистантная кривая, инфракрасный диапазон, детектор границ.
doi: 10.21293/1818-0442-2018-21-3-63-68
Современные системы контроля и управления используют в дополнение к обычным датчикам информацию, получаемую с выходов фоточувствительных матриц. Анализ данных, полученных камерами, работающими в оптическом диапазоне, помогает оператору роботизированного комплекса повысить эффективность выполнения различных операций. В автоматизированных системах, основанных на анализе данных получаемых в виде изображений, можно осуществить полное или частичное исключение участия человека в обычных и монотонных операциях. В качестве дополнительных данных может быть использована информация, полученная в диапазонах, не видимых человеком. Такими данными могут быть изображения, полученные в ультрафиолетовом диапазоне, позволяющие видеть статические разряды и специализированные метки. Ближний инфракрасный диапазон позволяет видеть в условиях тумана и отсутствия источника света. Рентгеновский диапазон позволят проникать в объект. Сверхвысокочастотный диапазон позволяет видеть дисперсию от поверхностного слоя объектов с плотной структурой. Дальний инфракрасный спектр позволяет видеть температурный градиент объектов, находящихся в кадре.
В работе рассматривается анализ изображений, полученных в дальнем инфракрасном спектре и характеризующих температурный градиент объектов. Изображение, полученное тепловизионной камерой, сильно отличается от обычного изображения, полученного в видимом диапазоне. Границы объектов в этих диапазонах часто не совпадают. Наряду с этим трудно отличить четкую границу между двумя связанными объектами в инфракрасном спектре.
Решение задачи поиска границ объектов на изображениях, полученных в ИК-спектре, является обратной задачей, которая предполагает наличие предварительной информации о формировании модели воздействий на него. Для эффективного выполнения операции восстановления, модель должна включать
в себя все виды искажений. Примером таких воздействий могут служить искажения, вызванные атмосферной турбулентностью, изменение оптических и электронных компонентов фиксации, относительное перемещении объектов перед камерой, расфокусировка камеры и т.д.
Наличие шумовой составляющей на изображении затрудняет его восприятие и делает невозможным использование автоматизированных систем. Шумовая составляющая наиболее заметна оператору на однотонных участках изображения. Большинство разработанных методов обработки изображений являются математически сложными с большим количеством начальных и расчётных условий [1, 2], в ряде случаев требующих присутствие оператора. Проблемы первичной обработки изображений, полученных в инфракрасном спектре, рассмотрены в работах [3, 4]. Однако они не учитывают интегрированный подход, который также позволяет выполнить попытку восстановления формы объектов.
Существует большая группа алгоритмов восстановления размытия изображений, основанных на алгоритмах деконволюции [1, 5]. Эти относительно простые подходы позволяют восстановить исходное изображение, если известна функция размытия (траектория смаза). Примером таких работ могут выступать подходы, предложенные в работах [3, 4]. В них рассматривается проблема устранения размытия изображений, которая является эффективной для восстановления в видимом диапазоне, что является не применимым для изображений, полученных в инфракрасном спектре. Применение этих алгоритмов (таких, как метод Канни, HOG- или LOG-детекторы и др. [6-8]) на тепловизионных изображениях определяет не единичную границу, а множественные структуры границ. Наряду с этим образуется множество побочных элементов, не относящихся к границам объектов. Чаще всего границы не являются замкнутыми, что осложняет последующую обработку.
В связи с этим в работе рассматривается метод, который позволяет выполнять предварительную обработку изображений и восстанавливать форму объектов, полученных в инфракрасном диапазоне. В качестве тестовых изображений используются фотографии трёх объектов (стальная труба, стальная гайка и блок электроники в пластиковом корпусе), нагретых до температуры 31 °С, температура окружающей среды составляет 24 °С. Фотография этих объектов показана на рис. 1.
Рис. 1. Тестовые изображения
Изображения получены с использованием камеры FLIR С2 и имеют оптическое разрешение в видимом диапазоне 800*600 точек и инфракрасном 80*60 точек. Во время эксперимента объекты были покрыты листом бумаги, что не позволило использовать методы, основанные на анализе изображений, работающие в видимом диапазоне.
Многокритериальный метод фильтрации изображений
Упрощённая математическая модель цифровых изображений может быть представлена в виде [9]
Y, j = Sj9 j + r i, j, i = 1, n , j=1, m, где Yi,j - двумерный цифровой сигнал (изображение); Sij - полезная составляющая, неискажённое изображение; ri,j - аддитивная шумовая компонента.
Изображения инфракрасного диапазона подвержены воздействию гауссовского шума с нулевым математическим ожиданием r(0,anoise ) и дисперсией anoise . Сложной является решение задачи уменьшения действия данного компонента в условиях отсутствия информации о сигнале (изображении) и шуме. Эти ограничения не позволяют использовать классические методы или требуют дополнительной настройки оператором [10].
Для обработки двумерных цифровых сигналов (изображений) в работе используется метод, основанный на одновременной минимизации L2 нормы _ 2
ХХ(si,j - si,j) и квадрата разности первого порядка
i j
_ _ 2 _ _ 2
строк SS(si j - si j-i) и столбцов SS(si j - si-1 j ) .
Предложенный в работе метод имеет форму целевой функции:
ф( %Ъ S0Д,..., 80,п, 80,Ъ ^Ъ 81,пSm,0, SmД,..., 8т,п ) = т п 2
= ЕЕ(8,7 - ) + I=0 7=0
т п 2 т п 2
,7-8-1,7) ,7--1),
1=17=0 1=07=1
где - положительные весовые коэффициенты.
Для краткости будем использовать обозначение
— /— \т п / \т п 1— / 1— \т п
8 = )1=07=0 , 8 = (5и )=0 /=0' ^ = (^,7 )1=07=0 ; для
любого s е R
(m+1)( n+1)
\
Us j 2
норма
величины s .
+2-а
i=0j=0
sj =(1 - 2-а-C j) sfj + (si j + ^-1, j + S+1, j ) tj -1 + tj+1)),
I = 0,1,...,т; 7 = 0,1,..,п; к = 0,1,2,....
Представленное выражение позволяет определить значения оценок для целевой функции. Доказательство сходимости подробно рассматривается в работе [11]. Для применения метода уменьшения действия шумовой составляющей с использованием многокритериального метода в работе предложен алгоритм, представленный на рис. 2.
i j
i j
Рис. 2. Алгоритм метода фильтрации изображений
Представленный на рис. 2 алгоритм работает следующим образом:
1. Загрузка изображения.
2. На втором этапе определяются параметры изображения: количество строк т, столбцов п и повторений к.
3. Определение областей стационарности, основанных на применении алгоритма ICI [12].
4. Подавление шумовой составляющей. Для завершения этого шага мы используем приведенное выше выражение. Параметры выбираются в соответствии с рекомендациями, представленными в работе [11], Х,ц = 0,13. Для устранения шумовой компоненты на границах объектов [13] X, ц = 4,44 .
5. Проверка условия достижения конца всего изображения i = m и j = n .
6. На заключительном этапе производится сохранение результата.
На рис. 3 представлен пример уменьшения действия шумовой составляющей на инфракрасном изображении.
Рис. 3. Пример работы алгоритма уменьшения действия шумовой компоненты
Анализ результатов, представленных на рис. 3, показывает, что предложенный алгоритм позволяет уменьшать действия шумовой компоненты и размытие объектов для изображений, полученных в инфракрасном диапазоне.
Алгоритм поиска границ
Выполнение операции восстановления контуров объектов, полученных в инфракрасном диапазоне, осуществляется на основе комбинированного подхода. Для работы алгоритма необходимо получить маску объекта. Получение маски позволяет автоматически выполнять поиск границы. Алгоритм представлен на рис. 4. Алгоритм работает следующим образом:
1. Загрузка или захват изображения.
2. Нормализация изображения относительного изменения температур.
3. Определение нижнего и верхнего пределов фиксации температурного градиента:
- установка верхней и нижней границы вручную;
- нормализованный градиент делится на 3 диапазона. Предположим, что нижний уровень является максимумом нижней границы. Верхний уровень -это минимум верхней границы.
4. Построение маски градиента. Указанный оператором или автоматически найденный диапазон
бинаризуется. Результатом бинаризации является маска температурного градиента, результаты которой будут использованы для восстановления.
Нормализация
Т.
Определение границ температурных градиентов
Рис. 4. Алгоритм для нахождения границ областей температурных изменений
В этой статье мы использовали автоматическую настройку параметров с нормализованным градиентом, разделенным на 3 диапазона.
Пример работы алгоритма представлен на рис. 5.
О
Рис.
5. Пример работы алгоритма нахождения границ областей температурных изменений
Анализ результатов, представленных на рис. 5, показал, что, предложенный алгоритм позволяет выделить границы градиентов в диапазоне заданных температурных градиентов.
Алгоритм поиска эквидистантной кривой Чаще всего фиксируемые в ИК-диапазонах изображения на практике имеют размытие. Размытие возникают из-за применения матрицы с низким разрешением и характера физического процесса. В большинстве случаев это размытие представляется ядром Гаусса. Для восстановления могут быть использованы методы поиска активных контуров [14] или метод поиска эквидистантной кривой, рассмотренные в работе [15]. На рис. 6 показан алгоритм поиска эквидистантной кривой.
■Ж I| @ 1 $FLIR LJ ■aaaj
$FLI(C 0 ! $FLIR 31.2 Ию|
Загрузка изображения
Загрузка параметров изображения
Устранения размытия
Бинаризация
Определение количества объектов
^нет
Рис. 6. Алгоритм поиска эквидистантной кривой
Представленный на рис. 5 алгоритм работает следующим образом:
1. Загрузка или захват изображения.
2. Загрузка данных о параметрах объектива и расстоянии до точки фокусировки.
3. Выполнение операции удаления размытия. Операция выполняется шаг за шагом. В качестве алгоритма восстановления используется подход, приведённый на рис. 4. Критерием остановки является выполнение требований минимальной ширины пикселей в границах (п) для максимального количе -ства объектов (к).
4. На четвёртом этапе производится бинаризация. Операция необходима для определения количе -ства разнесенных объектов, представленных на изображении.
5. Расчет количества отдельных объектов на изображениях (п). Операция выполняется с использованием дерева поиска.
6. Определяется ширина границы объектов. На этом этапе вычисляется граница размытия. Определение области размытия производится с использованием пороговой обработки. Поиск средней линии осуществляется между максимальной и минимальной яркостью.
7. Проверка выполнения условия наибольшего числа объектов с минимальной границей. Если условие не выполняется, производится возврат к шагу 3.
Экспериментальные результаты
На рис. 7 показаны примеры восстановления контуров объектов, полученных на основе анализа изображений, полученных в инфракрасном диапазоне. Тестовые изображения получаются с помощью тепловой камеры и последующей оцифровки данных. На рис. 7 представлены примеры для изображений, приведённых на рис. 1. В качестве тестовых объектов выступают профильная труба, гайка и тело изолированного устройства.
Рис. 7. Результаты работы алгоритма
Анализ результатов, представленных на рис. 7 показывает, что применение алгоритма позволяет определить форму объектов по изображениям, полученным в инфракрасном диапазоне. В качестве недостатка предложенного подхода следует вотметить невозможность выделения внешней и внутренней границы объектов, а также необходимость масштабирования полученного результата.
Заключение
В ходе выполнения работы предложен алгоритм определения формы объектов на тепловизион-ных изображениях. Алгоритм выполняет обработку без анализа данных в видимом диапазоне. На наборе тестовых данных показана эффективность представленного алгоритма для анализа единичного объекта простой формы. В качестве выявленных недостатков следует выделить неспособность алгоритма отличать внутреннюю и внешнюю границы объектов, невозможность обработки объектов с шириной границы менее трёх пикселей, а также слияние форм объектов в случае пересечения их тепловых градиентов.
Работа поддержана Министерством образования и науки РФ в рамках Федеральной программы «Исследования и разработки по приоритетным направлениям научно-технического комплекса Российской Федерации в 2014-2020 годах» (контракт № 14.577.21.0212 (№МБР157716Х0212)).
Литература
1. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2005. - 1072 с.
2. Image denoising by sparse 3D transform-domain collaborative filtering / K. Dabov, A. Foi, V. Katkovnik, K. Egiazarian // IEEE Trans. Image Process. - 2007. - Vol. 16, No. 8. - P. 2080-2095.
3. Everitt J.H. A three-camera multispectral digital video imaging system / J.H Everitt, D.E. Escobar, I. Cavazos, J.R. Noriega, M.R. Davis // Remote sensing of environment. -1995. - P. 333-337.
4. Lloyd J.M. Thermal imaging systems - Springer Science & Business Media, 2013. - 455 p.
5. Гонсалес Р. Цифровая обработка изображений в среде MATLAB / Р. Гонсалес, Р. Вудс, С. Эддинс. - М.: Техносфера, 2006. - 616 с.
6. Canny J. A Computational Approach To Edge Detection // IEEE Trans. Pattern Analysis and Machine Intelligence. - 1986. - No. 8(6). - P. 679-698.
7. Tomasi C. Histograms of oriented gradients // Computer Vision Sampler. - 2012. - P. 1-6.
8. Yasmin J.H.J. Robust segmentation algorithm using LOG edge detector for effective border detection of noisy skin lesions / J.H.J. Yasmin, M.M. Sathik, S.Z. Beevi // Computer, Communication and Electrical Technology (ICCCET). -IEEE, 2011. - P. 60-65.
9. Марчук В.И. Обработка черно-белых изображений на основе двухмерного метода размножения оценок полезной составляющей / В.И. Марчук, В.В. Воронин // Изв. Юж. фед. ун-та. Технические науки. - 2008. - Т. 80, № 3. -С. 131-137.
10. Марчук В.И. Сравнительный анализ результатов восстановления изображений двумерным методом размножения оценок и его модификаций / В.И. Марчук, В.В. Воронин, А.И. Шерстобитов // Электротехнические и информационные комплексы и системы. - 2010. - Т. 6, № 1. - С. 26-34.
11. Semenishchev E. Image denoising using a combined criterion / E. Semenishchev, V. Marchuk, I. Shrafel, V. Du-bovskov, T. Onoyko, S. Maslennikov // Mobile Multimedia / Image Processing, Security, and Applications. - 2016. -Vol. 9869. - https://doi.org/10.1117/12.2223610
12. Katkovnik V. Local approximation techniques in signal and image processing / V. Katkovnik, K. Egiazarian, J. Astola. - Bellingham: SPIE, 2006. - Vol. PM157. - P. 576.
13. Семенищев Е.А. Многокритериальный метод сглаживания двумерных сигналов в условиях ограниченного объема априорной информации / Е.А. Семенищев, И.С. Шрайфель, В.И. Марчук, И.А. Торопов // Успехи современной радиоэлектроники. Зарубежная радиоэлектроника. - 2012. - № 6. - С. 35-39.
14. Kass M. Snakes: Active contour models / M. Kass, A. Witkin, D. Terzopoulos. - International Journal of Computer Vision. - 1988. - Vol. 1, iss. 4. - P. 321-331.
15. Computation of equidistant curve for the image with blurred contours / S.E. Semenishchev, I. Shraifel, V. Voronin, E. Epishina // Electronic Imaging. - 2017. - P. 90-96.
Зеленский Александр Александрович
Канд. техн. наук, проректор по научной работе и научно-технической политике Московского государственного технологического университета «СТАНКИН» Вадковский пер., д. За, г. Москва, Россия, 127055 Тел.: +7 (499) 972-95-21 Эл. почта: science@stankin.ru
Семенищев Евгений Александрович
Канд. техн. наук., инженер Московского государственного технологического университета «СТАНКИН» Вадковский пер., д. За, г. Москва, Россия, 127055 Тел.: +7-918-544-99-90 Эл. почта: sea.sea@mail.ru
Франц Владимир Александрович
Аспирант Московского государственного технологического университета «СТАНКИН» Вадковский пер., д. 3a, г. Москва, Россия, 127055 Тел.: +7-928-172-31-56 Эл. почта: degobyt@gmail.com
Zelensky A.A., Semenishchev E.A., Franc V.A. Algorithm to find the shape of objects from the analysis of data obtained in the infrared range
In this paper, we consider algorithms for preprocessing images obtained in the infrared range and reconstructing the contours of objects. The application of these approaches provides an approximate idea of the form of objects, in the absence of information obtained in the optical range. As the approaches used for primary data processing, the following algorithms are used: filtering and blurring the image; threshold binarization; detection of the boundaries of temperature changes. The algorithm for filtering and blurring the image is based on a multic-riteria method. The algorithm of threshold binarization is based on threshold processing. The algorithm to find the boundary of an object is based on the application of a mathematical approach for finding an equidistant curve. The article presents block diagrams of algorithms and their mathematical description. The set of test images shows the effectiveness of the proposed approach used to find the shape of objects from the analysis of data obtained in the infrared range. Keywords: thermal imaging, filtering, equidistant curve, infrared, border detector. doi: 10.21293/1818-0442-2018-21-3-63-68
References
1. Gonzalez R.C., Woods R.E. Digital Image Processing. Moscow, Technosphere, 2005. 1072 p. (In Russ.)
2. Dabov K., Foi A., Katkovnik V., Egiazarian K. Image denoising by sparse 3D transform-domain collaborative filtering. IEEE Trans. Image Process, 2007, vol. 16, no. 8, pp. 2080-2095.
3. Everitt J.H., Escobar D.E., Cavazos I., Noriega J.R., Davis M.R. A three-camera multispectral digital video imaging system. Remote sensing of environment, 1995, pp. 333-337.
4. Lloyd J.M. Thermal imaging systems. Springer Science & Business Media, 2013, 455 p.
5. Gonzalez R.C., Woods R.E., Eddins S.L. Digital image processing using MATLAB. Upper Saddle River, New Jersey, Pearson-Prentice-Hall, 2004, vol. 624, 616 p.
6. Canny J. A Computational Approach To Edge Detection. IEEE Trans. Pattern Analysis and Machine Intelligence, 1986, no. 8(6), pp. 679-698.
7. Tomasi C. Histograms of oriented gradients. Computer Vision Sample, 2012, pp. 1-6.
8. Yasmin J.H.J., Sathik M.M., Beevi S.Z. Robust segmentation algorithm using LOG edge detector for effective border detection of noisy skin lesions Computer, Communication and Electrical Technology (ICCCET), 2011 International Conference on. IEEE, 2011, pp. 60-65.
9. Marchuk V.I., Voronin V.V. Processing black-and-white images based on the two-dimensional method of reproduction of estimates of the useful component News of the Southern Federal University. Technical science, 2008, vol. 80, № 3, pp. 131-137 (In Russ.).
10. Marchuk V.I., Voronin V.V., Sherstobitov A.I. Comparative analysis of the results of image restoration by the two-dimensional method of reproduction of estimates and its
modifications Electrotechnical and Informational Complexes and System, 2010, vol. 6., no. 1, pp. 26-34 (In Russ.).
11. Semenishchev E., Marchuk V., Shrafel I., Dubov-skov V., Onoyko T.,Maslennikov S. Image denoising using a combined criterion. Mobile Multimedia/Image Processing, Security, and Applications, 2016, vol. 9869. https://doi.org/10.1117/12.2223610
12. Katkovnik V., Egiazarian K., Astola J. Local approximation techniques in signal and image processing, Bel-lingham SPIE, 2006, Vol. PM157, 576 p.
13. Semenishchev E.A., Schreifel I.S., Marchuk V.I., To-ropov I.A. A multi-criteria method of smoothing two-dimensional signals in conditions of limited amount of a priori information Successes of modern radio electronics, 2012, № 6, pp. 35-39 (In Russ.).
14. Kass M., Witkin A., Terzopoulos D. Snakes: Active contour models. International Journal of Computer Vision, 1988, vol. 1, iss. 4, pp. 321-331.
15. Semenishchev S.E., Shraifel I., Voronin, V., Epishina E. Computation of equidistant curve for the image with blurred contours. Electronic Imaging, 2017, pp. 90-96.
Alexander A. Zelensky
Ph. D. in Engineering Science, Vice Rector
for Research Work and R&D Politics,
Moscow State Technological University «STANKIN»
3a, Vadkovsky Lane, Moscow, Russia, 127055
Phone: +7 (499) 972-95-21
Email: science@stankin.ru
Evgenii A. Semenishchev
Ph.D. in Engineering Science,
Moscow State Technological University «STANKIN»
3a, Vadkovsky Lane, Moscow, Russia, 127055
Phone: +7-918-544-99-90
Email: sea.sea@mail.ru
Vladimir A. Franc
Post-graduate student,
Moscow State Technological University «STANKIN» 3a, Vadkovsky Lane, Moscow, Russia, 127055 Phone: +7-928-814-68-51 Email: degobyt@gmail.com
