CC BY
45
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ сентябрь-октябрь 2015 Том 15 № 5 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS September-October 2015 Vol. 15 No 5 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 59.01.81
СЕГМЕНТАЦИЯ НЕСФОКУСИРОВАННЫХ ОБЛАСТЕЙ НА 2D-ИЗОБРАЖЕНИЯХ ПОВЕРХНОСТЕЙ С ИСПОЛЬЗОВАНИЕМ
ТЕКСТУРНЫХ ПРИЗНАКОВ К.В. Трамбицкий^ К. Андинг\ Г.А. Польтеь, Д. Гартен% В.М. Мусалимов"
a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация ь Технический университет Ильменау, Ильменау, 98693, Германия
c Общество по технологии производства и развития (GFE e.V.), Шмалькальден, 98574, Германия Адрес для переписки: [email protected] Информация о статье
Поступила в редакцию 15.06.15, принята к печати 03.07.15
doi:10.17586/2226-1494-2015-15-5-796-802
Язык статьи - русский
Ссылка для цитирования: Трамбицкий К.В., Андинг К., Польте Г.А., Гартен Д., Мусалимов В.М. Сегментация несфокусированных областей на 2Б-изображениях поверхностей с использованием текстурных признаков // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т.15. № 5. С. 796-802.
Аннотация
Предложен метод сегментации несфокусированных областей изображений обработанных металлических поверхностей, основанный на использовании фокусных текстурных признаков. В таких областях содержится незначительное количество полезной информации. Объектом исследования является металлическая поверхность, имеющая форму конуса. На фотографии отдельные части изображения получаются нерезкими вследствие ограниченности глубины резкости промышленной камеры. Одним из возможных решений данной задачи является автоматическое удаление нерезких областей на таких изображениях. Для расчета характеристик, описывающих размытость конкретной области изображения, в работе использованы фокусные текстурные признаки. Такие признаки используются в системах автоматической фокусировки микроскопов и фотокамер, и их применение для сегментирования нерезких областей изображений нетипично. На изображениях металлических поверхностей, имеющих размытые участки, протестированы 34 текстурных признака. Наиболее информативными признаками, способными сегментировать изображение наиболее точно, оказались средний уровень серого и пространственная частота. Предложенный метод сегментации размытых областей на изображениях металлических поверхностей может быть применен на практике для оценки качества обработки материалов с использованием промышленных камер. Метод отличается простотой реализации и высокой скоростью работы. Ключевые слова
обработка изображений, сегментация, резкость изображения, текстурные признаки, фокусные признаки,
поверхность, промышленная камера.
Благодарности
Работа поддержана Германской службой академических обменов (DAAD), Тюрингским Министерством экономики, технологий и работы и Европейским Социальным Фондом (ESF).
OUT-OF-FOCUS REGION SEGMENTATION OF 2D SURFACE IMAGES WITH THE USE OF TEXTURE FEATURES K.V. Trambitckii", K. Andingb, G.A. Polteb, D. Gartenc, V.M. Musalimov"
a ITMO University, Saint Petersburg, 197101, Russian Federation ь Ilmenau University of Technology, Ilmenau, 98693, Germany
c Society for Production Engineering and Development (GFE e.V.), Schmalkalden, 98574, Germany Corresponding author: [email protected] Article info
Received 15.06.15, accepted 03.07.15 doi:10.17586/2226-1494-2015-15-5-796-802 Article in Russian
For citation: Trambitskiy K.V., Anding K., Polte G.A., Garten D., Musalimov V.M. Out-of-focus region segmentation of 2D surface images with the use of texture features. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2015, vol. 15, no. 5, pp. 796-802.
Abstract
A segmentation method of out-of-focus image regions for processed metal surfaces, based on focus textural features is proposed. Such regions contain small amount of useful information. The object of study is a metal surface, which has a cone shape. Some regions of images are blurred because the depth of field of industrial cameras is limited. Automatic removal of out-of-focus regions in such images is one of the possible solutions to this problem. Focus texture features were used to calculate characteristics that describe the sharpness of particular image area. Such features are used in autofocus systems of microscopes and cameras, and their application for segmentation of out-of-focus regions of images is unusual. Thirty-four textural features were tested on a set of metal surface images with out-of-focus regions. The most useful features, usable for segmentation of an image more accurately, are an average grey level and spatial frequency. Proposed segmentation method of out-of-focus image regions for metal surfaces can be successfully applied for evaluation of processing quality of materials with the use of industrial cameras. The method has simple implementation and high calculating speed. Keywords
image processing, segmentation, image sharpness, texture features, focus features, surface, industrial camera. Acknowledgements
The research project, which forms the basis of this paper, is funded by the Thuringian Ministry of Economics, Technology and Work, the European Social Fund (ESF) and German Academic Exchange Service (DAAD).
Введение
Современные промышленные камеры являются популярным источником получения изображений объектов. Для того чтобы изображение было подходящим для дальнейшей обработки, необходимо иметь на нем только области, находящиеся в фокусе камеры. Во время съемки объекта сложной формы некоторые области его поверхности могут получаться на изображении нерезкими. В таких областях содержится намного меньшее количество полезной информации, чем в резких областях. В этом случае необходимо произвести сегментацию таких участков и удалить их с исходного изображения.
В данном проекте 34 текстурных признака протестированы на изображениях металлических поверхностей, имеющих размытые области. Пример изображения поверхности, используемого в данной работе, показан на рис. 1.
Обработка изображений нашла применение в различных сферах промышленности и науки. Полученные в результате обработки признаки могут быть использованы для классификации, сегментации изображений, нахождения объектов на них. Например, в работах [1, 2] описываются алгоритмы обработки изображений, которые были успешно применены для обнаружения пожаров на серии изображений. На данные алгоритмы было получено свидетельство о государственной регистрации программы для ЭВМ
[3].
Авторы публикаций из разных стран описывают различные текстурные и фокусные признаки изображений. В составе текстурных признаков используются пространственная частота, гистограммы и другая характерная информация, описывающая изображение. Областью применения фокусных текстурных признаков, в основном, является нахождение наиболее резкого изображения из набора. Такие признаки используются в системах автофокусировки камер, микроскопов. Несмотря на их простоту и высокую скорость работы, область применения фокусных признаков не выходит за рамки оптических систем. В нашем проекте они были использованы для промышленного обнаружения нерезких областей на изображениях металлических поверхностей.
Резкая область
Размытая область
200 пкс
Рис. 1. Исходное изображение поверхности
Эскициоглу и Фишер (Eskicioglu, Fisher) [4] описали в своей работе признак, основанный на пространственной частоте. Он отражает общее количество деталей на изображении. Ширваикар (Shirvaikar) [5] предложил фокусный признак, основанный на абсолютном центральном моменте. Это статистическая функция, показывающая изменчивость уровней серого относительно среднего уровня. Кротков [6] описал фокусный признак, основанный на изменении уровня серого. Большая изменчивость уровней серого на изображении обычно говорит о большом количестве деталей, и наоборот - малая изменчивость характеризует размытое изображение. Файрстоун (Firestone) и др. [7] описали в своей работе признак, основанный на вычислении диапазона гистограммы. Это разница между максимальным и минимальным значением уровня серого исходного изображения. Изображение тем более резкое, чем выше значение этого признака. Тонг (Tong) и др. [8] используют преобразования вейвлетов Хаара и выделение краев для определения уровня резкости изображения. Су (Su) и др. [9] предложил использовать признак, основанный на сингулярном разложении. Элементы диагональной матрицы являются сингулярными числами от наиболее крупного масштаба (низкочастотная информация) до малого масштаба (высокочастотная информация). Мера нерезкости рассчитывается как отношение суммы первых наиболее значимых сингулярных чисел ко всем числам диагональной матрицы. Чен (Shen) и др. [10] показал метод для вычисления фокусного признака, в котором используются все AC- и DC-коэффициенты дискретного косинусного преобразования. Данный метод показывает хорошие результаты на низкоконтрастных изображениях. Ли (Lee) и др. [11] улучшили эффективность признака, описанного Ченом. Они предложили использовать только первые 5 AC-коэффициентов, так как они (вместе с коэффициентом DC) содержат 99% энергии. Сокращение используемого количество AC-коэффициентов упрощает расчет и делает функцию менее чувствительной к шумам изображения. В работе Фусека (Fusek) и др. [12] для выделения текстурных признаков используется функция переноса энергии.
Локальные бинарные шаблоны (ЛБШ) являются современным методом извлечения текстурных признаков. Хуанг (Huang) и др. [13] сделали обзор ЛБШ-методов, описанных другими авторами. Изначально ЛБШ был использован для текстурного анализа [14]. Данный метод зарекомендовал себя как простой, но в то же время эффективный способ описания локальных участков изображения. На данный момент за счет своей простоты и эффективности он используется во многих областях, таких как анализ изображений лиц [15, 16], восстановление изображений и видео [17, 18], анализ движений [19] и др.
Фокусные текстурные признаки используются в системе автофокусировки камер, микроскопов. В данном проекте они были использованы для обнаружения нерезких областей на изображениях металлических поверхностей. Изображение поверхности разбивается на равные участки, для каждого из которых отдельно рассчитываются фокусные признаки.
В разделе содержится описание 7 текстурных признака изображений, которые были использованы в данном проекте. Они показали лучшие результаты сегментации из всего ряда признаков.
Рассмотрим изображение размером M*N, где М и N - число пикселей по горизонтали и вертикали соответственно. Исходное изображение металлической поверхности, полученное с помощью промышленной ПЗС-камеры, представлено в цветовом пространстве RGB. Для дальнейших расчетов оно преобразуется в изображение уровней серого цвета. Уровень серого символизирует яркость данного пикселя изображения и принимает значения в диапазоне от 0 до 255.
1. Средний уровень серого. Средний уровень серого FMEAN определяется следующим образом [5]:
где /min - минимальное значение уровня серого на изображении.
3. V-канал в цветовом пространстве HSV. Цветовое пространство HSV широко используется в обработке изображений. Оно состоит из трех каналов: оттенок (H), насыщенность (S) и значение (V). Данный текстурный признак рассчитывается не для изображения уровней серого, а для цветного изображения. В качестве признака принимается максимальное значение канала V, которое содержит информацию об максимальной яркости пикселей изображения в данной области
где Vmax - это максимальное для данной области значение V-канала изображения в цветовом пространстве HSV.
Описание текстурных признаков
М N
х=1у=1
где 1(х, у) - значение уровня серого для пикселя с координатами (х, у). 2. Разница уровня серого. Разница уровня серого РСУВ1 вычисляется как
max?
4.
5.
Абсолютный центральный момент. Данный признак основан на расчете гистограммы. Каждому из 255 уровней серого соответствует количество пикселей, которые принимают данное значение. Этой функцией является гистограмма к(г), где г - конкретный уровень серого; она может принимать значения от 0 до 255, если речь идет об изображении уровней серого. Абсолютный центральный момент задается следующим выражением [5]
Расмо = и ^(0,
где N - количество уровней серого на изображении, д - среднее значение уровня серого изображения и - значение гистограммы для г-го уровня серого.
Вариативность уровня серого. Вариативность уровня серого РСЬуА вычисляется в соответствии со следующим уравнением [6]
N
М N
Ю2-
х=1 у=1
где д - среднее значение уровня серого на изображении.
6. Диапазон гистограммы. Диапазон гистограммы РН15Я задается, как [7]
=тах(й(0 >0) -тип(й([) >0), где - это значение гистограммы для г-го уровня серого.
7. Пространственная частота. Частоты для рядов и колонок вычисляются выражениями [4]
RowFreq =
М N
^^/(x+l-y)
■Z0,y)|2
х=1у=1
ColFreq =
N
м n
F^vZZ|/(x'y + 1)~/(x,y)|2
х=1у=1
Признак, основанный на пространственной частоте, вычисляется следующим выражением:
F,,
VSFRQ = ^ (RowFreq)2 + (ColFreq)2.
Логика сегментации
Исходное изображение металлической поверхности из цветового пространства RGB переводится в изображение уровней серого. На следующем шаге изображение делится на равные области размером K*K пикселей.
Для каждой области вычисляются текстурные признаки. Рассчитанные значения сохраняются в виде матрицы. Пример матриц признаков, рассчитанных для изображения металлической поверхности, показан на рис. 2.
10
20
30
40
50
50
50
Рис. 2. Визуальное представление матриц текстурных признаков
Полученная матрица используется в качестве маски для сегментации изображения. Если данный элемент матрицы больше, чем пороговое значение, то соответствующая область изображения помечается как область, находящаяся в фокусе, и наоборот. Точные пороговые значения были найдены в серии экспериментов на всем наборе исходных изображений.
и
Если все области изображения находятся не в фокусе, то не будет выделено ни одной области, так как вычисленные значения признака будут меньше порогового значения. И наоборот, если детали изображения находятся в фокусе, то все участки изображения будят выделены.
Результаты сегментирования
34 текстурных признака были протестированы на изображении с нерезкими областями. Программа сегментации была реализована в среде МЛТЬЛБ. Результаты были проанализированы и, с учетом скорости вычислений и практической применимости для сегментации нерезких областей, только 7 текстурных признаков использованы для дальнейших исследования.
Рис. 3. Сегментация, основанная на ^-канале в цветовом пространстве HSV
200 пкс 200 пкс
Рис. 4. Сегментация с использованием признака, основанного на пространственной частоте
Номер изображения Текстурные признаки
MEAN GVDI HSV ACMO GLVA HISR SFRQ
1 0,25147 0,24626 0,29620 0,95136 0,43484 0,23788 0,36496
2 0,24701 0,24522 0,27504 0,92127 0,41836 0,23344 0,36057
3 0,24651 0,25509 0,27740 0,93168 0,45299 0,25886 0,38399
4 0,24729 0,24596 0,29387 0,86775 0,43354 0,23716 0,37668
5 0,24733 0,24963 0,28046 0,92866 0,42566 0,23258 0,37233
6 0,24189 0,25278 0,27300 0,86558 0,41623 0,23653 0,35844
7 0,25944 0,24858 0,27824 0,91117 0,41328 0,23451 0,37306
8 0,25587 0,24573 0,27833 0,87710 0,41178 0,23388 0,36667
9 0,24595 0,24689 0,27525 0,91745 0,40727 0,25007 0,37003
10 0,24322 0,24491 0,29641 0,88873 0,40697 0,28564 0,36605
11 0,23847 0,24574 0,27899 0,91329 0,43044 0,27732 0,36318
Стандартное отклонение 0,00603 0,00335 0,00886 0,02811 0,01416 0,01890 0,00747
Таблица. Время расчета текстурных признаков и стандартное отклонение, с
Пример матриц признаков, вычисленных для одного изображения, показан на рис. 2. Как видно из рисунка, признак абсолютного центрального момента (ACMO) подходит для дальнейшего исследования и сегментации областей, находящихся в фокусе. С другой стороны, из рис. 2 можно видеть, что признак, основанный на вейлет-преобразовании (WAVS), не подходит для дальнейшей работы, так как наблюдается более слабая зависимость между уровнем резкости изображения и величиной полученных значений.
В таблице приведено время расчета для каждого из 7 признаков и стандартное отклонения для набора тестовых изображений. Только два из семи текстурных признаков были отобраны для практического применения: средний уровень серого (MEAN) и пространственная частота (SFRQ). Данные признаки обладают быстротой вычислений и точно сегментируют исходные изображения.
Результаты сегментации с использованием F-канала HSV-изображения, которые оказались неудовлетворительными, показаны на рис. 3. В данном случае этот признак оказался излишне чувствителен к шумам изображений.
Результаты сегментации по признаку, основанному на пространственной частоте, показаны на
рис. 4.
Заключение
Предложен метод сегментации несфокусированных областей изображений обработанных металлических поверхностей, основанный на использовании фокусных текстурных признаков. Был проверен набор фокусных текстурных признаков на тестовых изображениях металлических поверхностей. Показано в результате экспериментов, что признаки, основанные на пространственной частоте и среднем уровне серого, являются наиболее информативными для удаления нерезких областей. Метод сегментации поверхностей, основанный на текстурных признаках, может быть с успехом применен на практике, обладает простотой в реализации и высокой скоростью работы. Представленная работа была проведена в рамках проекта исследовательской группы «Оценка качества процесса фрезерования», проводимого на базе кафедры контроля качества и промышленной обработки изображений технического университета Ильме-нау.
Литература
1. Trambitckii K., Anding K., Musalimov V., Linss G. Colour based fire detection method with temporal intensity variation filtration // Journal of Physics: Conference Series. 2015. V. 588. N 1. Art. 012038. doi: 10.1088/1742-6596/588/1/012038
2. Кузнецов А.О., Мусалимов В.М., Саенко А.П., Трамбицкий К.В. Применение алгоритмов анализа изображений для обнаружения пожаров // Изв. вузов. Приборостроение. 2012. Т. 55. № 6. С. 51-56.
3. Трамбицкий К. В., Мусалимов В. М. Обнаружение огня на видеоизображении с фильтрацией по изменению интенсивности. Свидетельство о государственной регистрации в реестре программ ЭВМ №2015615131. 2015.
4. Eskicioglu A.M., Fisher P.S. Image quality measures and their performance // IEEE Transactions on Communications. 1995. V. 43. N 12. P. 2959-2965. doi: 10.1109/26.477498
5. Shirvaikar M.V. An optimal measure for camera focus and exposure // Proc. 36th Southeastern Symposium on System Theory. 2004. P. 472-475. doi: 10.1109/SSST.2004.1295702
6. Krotkov E. Focusing // International Journal of Computer Vision. 1987. V. 1. N 3. P. 223-237. doi: 10.1007/BF00127822
7. Firestone L., Cook K., Culp K., Talsania N., Preston K. Jr. Comparison of autofocus methods for automated microscopy // Cytometry. 1991. V. 12. N 3. P. 195-206. doi: 10.1002/cyto.990120302
8. Tong H., Li M., Zhang H., Zhang C. Blur detection for digital images using wavelet transform // IEEE Int. Conf. on Multimedia and Expo (ICVE). Taipei, Taiwan, 2004. V. 1. P. 17-20. doi: 10.1109/ICME.2004.1394114
9. Su B., Lu S., Tan C.L. Blurred image region detection and classification // Proc. 19th ACM International Conference on Multimedia (MM'11). Scottsdale, USA, 2011. P. 1397-1400. doi: 10.1145/2072298.2072024
10. Shen C.H., Chen H.H. Robust focus measure for low-contrast images // Proc. IEEE International Conference on Consumer Electronics (ICCE'06). Las Vegas, USA, 2006. P. 69-70. doi: 10.1109/ICCE.2006.1598314
11. Lee S.-Y., Yoo J.-T., Kumar Y., Kim S.W. Reduced energy-ratio measure for robust autofocusing in digital camera // IEEE Signal Processing Letters. 2009. V. 16. N 2. P. 133-136. doi: 10.1109/LSP.2008.2008938
12. Fusek R., Sojka E., Mozdren K., Surkala M. Energy-transfer features and their application in the task of face detection // Proc. 10th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS 2013). Krakow, Poland, 2013. P. 147-152. doi: 10.1109/AVSS.2013.6636631
13. Huang D., Shan C., Ardabilian M., Wang Y., Chen L. Local binary patterns and its application to facial image analysis: a survey // IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews. 2011. V. 41. N 6. P. 765-781. doi: 10.1109/TSMCC.2011.2118750
14. Ojala T., Pietikainen M., Harwood D. A comparative study of texture measures with classification based on feature distribution // Pattern Recognition. 1996. V. 29. N 1. P. 51-59. doi:10.1016/0031-3203(95)00067-4
15. Ahonen T., Hadid A., Pietikainen M. Face recognition with local binary patterns // Lecture Notes in Computer Science. 2004. V. 3021. P. 469-481.
16. Hadid A., Pietikainen M., Ahonen T. A discriminative feature space for detecting and recognizing faces // Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition (CVPR 2004). Washington, USA, 2004. V. 2. P. 797-804. doi: 10.1109/CVPR.2004.1315246
17. Huijsmans D.P., Sebe N. Content-based indexing performance: a class size normalized precision, recall, generality evaluation // Proc. IEEE International Conference on Image Processing (ICIP-2003). Barcelona, Spain, 2003. V. 3. P. 733-736.
18. Grangier D., Bengio S. A discriminative kernel-based approach to rank images from text queries // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2008. V. 30. N 8. P. 1371-1384. doi: 10.1109/TPAMI.2007.70791
19. Heikkilaa M., Pietikainen M. A texture-based method for modelling the background and detecting moving objects // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. V. 28. N 4. P. 657-662. doi: 10.1109/tpami.2006.68
Трамбицкий Константин
Владиславович
Андинг Катарина
Польше Галина Александровна
Гартен Даниель
Мусалимов Виктор Михайлович
Konstantin V Trambitckii Katharina Anding Galina A. Polte Daniel Garten Victor M. Musalimov
- аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, [email protected]
- кандидат технических наук, научный сотрудник, Технический университет Ильменау, Ильменау, 98693, Германия, [email protected]
- кандидат технических наук, научный сотрудник, Технический университет Ильменау, Ильменау, 98693, Германия, [email protected]
- кандидат технических наук, проект-лидер, Общество по технологии производства и развития (GFE e.V.), Шмалькальден, 98574, Германия, [email protected]
- доктор технических наук, профессор, профессор, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, [email protected]
— postgraduate, ITMO University, Saint Petersburg, 197101, Russian Federation, [email protected]
— PhD, scientific researcher, Ilmenau University of Technology, Ilmenau, 98693, Germany, [email protected]
— PhD, scientific researcher, Ilmenau University of Technology, Ilmenau, 98693, Germany, [email protected]
— PhD, Project leader, Society for Production Engineering and Development (GFE e.V.), Schmalkalden, 98574, Germany, [email protected]
— D.Sc., Professor, Professor, ITMO University, Saint Petersburg, 197101, Russian Federation, [email protected]
