CC BY
42Journal of Siberian Federal University. Engineering & Technologies, 2018, 11(2), 213-220
yflK 004.932.2
Segmentation Object Strategy on Digital Image
Dmitry A. PerfiPev*
Siberian Federal University 79 Svobodny, Krasnoyarsk, 660041, Russia
Received 21.10.2017, received in revised form 18.12.2017, accepted 04.02.2018
The article presents peculiarities of segmentation of the object on the digital image of the macrostructure. Analyzed the mathematical formulation of the tasks segmentation and its application in various conditions. The considered basic drawbacks of segmentation based on the iconic signs of the image elements. The proposed segmentation strategy properties of the object in the image based on ascending and descending processes of formation of segmentation rules.
Based on the evaluation of the homogeneity of the formed rule segmentation of the image representing object properties. As an example of application of the segmentation strategy used test microstructures image wrought aluminum alloy AMg6.
The syntax of images allowed applying possible strategies in the absence of random noise. The results of the experiments with regulation of segmentation showed the following:
• the highlighted part of the image representing cracks in macrostructure;
• changing the uniformity may be traced in the growth of the cracks in macrostructure, it is possible to follow the dynamics of its immediate context.
Keywords: segmentation properties, the rule of segmentation, segmentation strategy, metallographic.
Citation: Perfil'ev D.A. Segmentation object strategy on digital image, J. Sib. Fed. Univ. Eng. technol., 2018, 11(2), 213-220. DOI: 10.17516/1999-494X-0024.
Стратегия сегментации объекта на цифровом изображении
Д.А. Перфильев
Сибирский федеральный университет Россия, 660041, Красноярск, пр. Спободный, 79
Рассмотрены особенности сегментации объекта на цифровом микроструктурном изображении. Проанализирована математическая постановка задачи сегментации и применение правила сегментации на практике. Отмечены основные недостатки сегментации,
© Siberian Federal University. All rights reserved Corresponding author E-mail address: [email protected]
*
основанной на иконических признаках элементов изображения. Предложена стратегия сегментации свойств объекта на изображении, основанная на восходящих и нисходящих процессах формирования правила сегментации.
ПС качестве примера применения стратегии сегментации использовались тестовые микроструктурные изобранкенгяЯрфррмиручяого алюминиевого сплава АМг6. Синтаксис изображений позволил применить возможности стратегии при отсутствии случайных возму щенсв.
Уеирлътаты иктперамеатса с гапероар сееянстареа пнказали сасрумгрин:
• выделены части изображения, представляющие дефект микроструктуры; и рзтнияя радиус однсунеяратршасиа^ажнопроригНитиЧрсктиарразвития дефекта микроструктуры, так же возможно проследить влияние ближайшего контекста.
Ключевые слова: сегментация свойств, правило сегментации, стратегия сегментации, металлография.
Введение
В [1 -4] пуедлагаеедямдтематическая посденовка задачисегментацде:
ПустьзаданоРрЫ^!, о?а> — , цд} _ конечное множеснвоэдементов нлоскости изображения (медали), иконитсскае признаки которых отображены функцией Да), а также предикат LP, оаредеаяющий тpaдилесеемьнтaции/(е).
Для детерминированной модели решением задачи сегментации Д(а) является разбиение Р на = {51, я2, ..., sк} непустых связных областей, для которых ЬР принимает истинные значения лонда итоеько тоедд, ковда лк>вая перанамментдвиолюааго дацминжества я,-е5 удовлетворяет те ли. Валотернативных усмюдияхо6ыоно довыдявлнидсаоценко юднлмнюи изменения плот-иосои paaпpедeдсни я.
ВеНщем слажае созминвнаию можно рассматривать как
Seg:Лае а{ает]\
где - семантические отношения.
В частности, я/5'""-) - имя области а ЬР(&'?ет) - указание на модель соседства, характеризующую объект.
Удовлетворительный результат сегментации при заданном множестве 5 является идеальным случаем и подходит для «классического» синтаксиса детерминированного отображения вида:
1) модель позволяет априори задать значение иконической функции Д(а) для области «фон». Область «фон» заполняет все изображение, в котором расположены области 5, представляющие свойства объекта. Область «фон» характеризуется наиболее контрастным значением яркости относительно сегментируемых областей, обычно близким к максимальному или минимальному значению;
2) сегментированные области имеют отличия по унарным признакам (обычно по градиенту: УД(а)) и соседству, то же справедливо относительно области «фон». Т.е. области имеют границув виде замкнутогоконтура.
В детерминированных условиях работа правила LP представляет собой комплексную оценку «расстояния» (близости) Да) текущего р^Р и соседства (смежности) некоторого р^! вида
\р,: fа) - 5,1 ^ min., иpt П р=1, гдеPj&s. (1)
Так, всякий текущий р^Р относится только к одной области s,eS. Соответственно, сегментация выполняется на основе однородности и связности р,.
Вне идеальных условий отображения свойств объекта возникают закономерные нарушения формы сегментированных областей за счет искажений в виде незаконченных, ложных, утолщенных контуров, «наложения» областей и иных известных ошибок [1, 5, 6].
Один из способов борьбы с ошибками - модернизация правила (1) семантической составляющей как настраиваемого «радиуса», что позволяет улучшить качество сегментации. Такое правило имеет следующий вид:
\р,: Vf(a) - LP(s,Sem) \ < r,Sem и р, П р=1, где pj&s, (2)
где rSem - радиус однородности для s,Sem.
Так, оценка однородности класса может быть изменена в процессе сегментации [6, 8] путем изменения rtSem относительно анализа однородности смежных классов. Кроме этого, может быть выполнена корректировка мощности S на основе анализа однородности s,Sem и мощности области «фон».
Использование принципа адаптации (2), с одной стороны, улучшает качество, а с другой -закономерно ограничивает возможности применения правила LP(stSem) для работы систем анализа изображений с иными свойствами. Причем LP(s,Sem) обычно представляет собой априорные знания [9-12], основанные на иконической информации, что ограничивает практическое использование формализации [1-4] в решении задачи сегментации.
Стратегия сегментации
Предлагаемая в статье концепция стратегии сегментации основывается на предположении о семантической скудности отношений соседства, предоставляемых иконическим уровнем цифровой матрицы изображения, применение которой приводит к закономерным ошибкам. Поэтому полагается, что влияние ошибки и цели сегментации минимизируется при переходе к более сложной семантической модели отношений соседства, характерных свойству объекта.
В работах [13-15] выделены основные формы синтаксических отношений соседства, характерные для области изображения.
Для области изображения [13]:
1. «Вырожденная» область\5,\=1:
So1 = < р,, b1 u b 4 >,
где b,1 - унарный признак области (р,); b42- отношение соседства граничных элементов (дополнения) области вида
b42 = < (р, n M) >,
где M - множество пикселей области «фон».
2. «Область» \s,\>1:
S10 = < Р,, {b,}1 u{b,-b3, b5}2 >,
где Ь} - признак области Я/ включающей подмножество Р,; Ь12-Ь32, Ь52- отношения соседства граничных элементов области вида
Ь12 = < (р, = я, п •_,) >,
Ь22 = < (Р***= п >,
Ьз2 = < Р'= п Sj) >, Ь52 = <Р = • п ••) >,
где - мощность множества граничных пикселей области. 3. «Многосвязная область»|я,|>1:
•11= < Р,, М*, {Ь,}1 и Ь62 >,
где Ь,1 - признак области включающей подмножество Р; М* - подмножество пикселей области «фон»; Ь62- отношения соседства граничных элементов области вида
Ь62 = <(Р„ = п М*)>,
где - множество граничных пикселей области.
В качестве содержания отношения соседства Ь,2 предлагается использовать один из функционально-параметрических признаков Фримэна [1]:
^г r//rmax,
где г, - текущие расстояние от «центра тяжести» области до граничного пикселя; гтах - максимальное расстояние от «центра тяжести» области до граничного пикселя.
Характеристика функции позволяет оценить топологическую особенность формы выпуклости области (рис. 1).
В качестве унарного признака граничных пикселей предлагается использовать значение Да) как правила выполнения низкоуровневой сегментации области на изображении. Соответственно в качестве правила высокоуровневой сегментации - такой признак, как выпуклость формы области отображающей свойства объекта.
Таким образом, сегментация, в основу которой положен анализ однородности амплитудной характеристики отношения соседства области, позволит избавиться от закономерных оши-
0 1 50 100 И7 р
Рис. 1. Функционально-параметрическая оценк i эвтектики, расположенной вблизи дефекта микроструктуры
Fig. 1. Functional and parametric evaluation ofaeutectic locatednearthe defectmicrostructure
- efo tf
бок в выделении части изображения на основе иконической информации, наполняя правило LP смыслом, характерным объекту.
Эксперимент
Целью эксперимента являлась сегментация части изображения, представляющей свойства объекта. В качестве свойства рассматривался металлографический дефект микроструктуры.
В работах [16-19] отмечается, что микроструктура образцов, вырезанных на расстоянии 300-500 мкм от микротрещин, отличается от исходной структуры количеством и размером объектов (до 80 %). Отмечено, что по мере приближения к микротрещине происходит изменение не только формы эвтектики (она становится менее выпуклая и вытягивается), но и ее расположения (повышается концентрация, наблюдается четкая ориентация скопления) [13, 20-24].
В качестве данных эксперимента использовались эталонные микроструктурные металлографические изображения деформируемого алюминиевого сплава АМг6, удовлетворяющие ранее описанным условиям синтаксиса.
Навосходящемэтапе сегментацииприменялиметодпространственногодифференциро-вания. В автоматическом режиме выполнялось выделение областей эвтектики относительно оценки функции и связности пикселей соответствующей модели «область» (Ь42). В результате низкоуровневой сегментации были сформированы цепочки (подмножества) граничных пик-селей^е^ мхаректрроэамтначэниеи \р(а).
В задаеуаисхоиящет ссгментнцонвттдисхвьфабоетрпрннцийр определенияоптоитль-ногпрадиусоправила LP(sйeP)эцeлью сегкентациичасят итеевижеаеяв хтрактемной одно-роднераъю твойспеообеткне.В реепльтате оценна плотнозтн ег(изрезанностн етпницы) по-зво лила аформни оватьивтсс ы галатита исабрнжрисяс характерными свойствгмр,прист щими разв]ереце дефениа.
На аир.С. п]ретраеслен итзряьтттаебраыетpсерени,пoзтгаеющейиигледнооиеишъ динамику дефекта.
Рис. 2. Сегментированные области вблизи дефекта Fig. 2. Segmented region close tothe defect
Так, комбинированное правило сегментации имеет следующий вид:
Is^2): Pgr) - LP (s/^l< r,Sem, (3)
где riSem - радиус свойства объекта типа «микротрещина».
Оценка r,Sem может быть изменена в процессе сегментации за счет анализа и относительно оценки однородности смежных классов.
Заключение
Предлагается математическая постановка задачи сегментации, учитывающая относитель-ноболее сложную модель соседства, выраженнуюфункцией,Р(К),характеризующей свойства объекта при отоВрвженииво матрице инображения:
Пусдьсадоное,- (0,-2(- множесосо отвошедийнонвделет комеонентитонкости изображения (модели), признаки которых отображены некоторой функцией P(^r), а также предикат LP(slSem), определяющий радиус однородности r,Sem.
Деа детерминированнве моде ли решением задачи сегментации является разбиение ¿■наЖкладсов, еля конерых^РЧе,-58"1) дртнимеетлтоинные еннчения, удовлетворяющие -нли.
Ы этомеюыотнегнантдииюможра рродматненоракау комНиниеюванную стратегию
Seg: Vfta) > nfSem),
где ni(Sem->eN - семантическое отношение (имя объекта), определенное при анализе однородно-стиграницыобласти.
Предполагается, что синтаксис правила (3) будет дополнен оценкой компактности области и геометрическими измерениями на основе наложения диаграмм Г.Ф. Вороного и Б.Н. Делоне на изображение. Это не только позволит сегментировать область изображения с целевыми свойствами (рис. 2, области выделенные темным тоном), но и анализировать влияние контек-ста(рис.2, области, выделенные относительно светлым тоном).
Разработкастратегиисегментации даствозможность:
1) снизить влияние ошибок, возникающих в результате применения правила, характерного для традиционной сегментации;
2) ориентировать смысл задачи сегментации на анализ признаков части изображения, представляющей свойства объекта;
3) использовать механизм обратной связи для формирования правила комбинированной сегментации;
4) применить диаграммы Г.Ф. Вороного и Б.Н. Делоне для оценки взаимного влияния классов объектов;
5) использовать возможности алгоритмов интеллектуального поиска для выработки и оптимизации правила сегментации.
Списоклитературы
[1] Денисов Д.А. Компьютерные методы анализа видеоинформации, монография. Красноярск, Краснояр. гос. техн. университет. 1993, 192 с. [Denisov D.A. Computer methods for analysis
of video information, monograph. Krasnoyarsk, Krasnoyar. Gos. tehn. University, 1993, 192 p. (in Russian)]
[2] Денисов Д.А., Дудкин А.К., Пяткин В.П. Структурные методы описания объектов изображений. ВЦ СО АН СССР. Новосибирск, 1988. 35 с. [Denisov D.A., Dudkin K.A., Pyatkin V.P. Structural methods of the description of image objects, Computing center of the Siberian branch of the Russian Academy of Sciences USSR. Novosibirsk, 1988 (in Russian)]
[3] Борисенко В.И., Златопольский А.А., Мучник И.Б. Сегментация изображений (состояние проблемы). Автоматика и телемеханика, 1987, 7, 3-56 [Borisenko V.I., Zlatopolskaya A.A., Muchnik I.B. The image segmentation (state of the problem), Automation and remote control, 1987, 7, 3-56 (in Russian)]
[4] Бакут П.А., Колмогоров Г.С., Варновицкий И.Э. Сегментация изображений: методы пороговой обработки. Зарубежная радиоэлектроника, 1987, 10, 54-61 [Bakut P. A., Kolmogorov G. S., Vornovitsky I. E. The image segmentation. thresholding methods. Foreign Radioelectronics, 1987, 10, 54-61 (in Russian)]
[5] Прэтт У Цифровая обработка изображений, в 2 т. М., Мир, 1982. 790 с. [Pratt W. Digital image processing, in 2 vol. M., Mir, 1982. 790 p. (in Russian)]
[6] Яншин В.В. Анализ и обработка изображений. принципы и алгоритмы, М., Машиностроение, 1994. 112 с. [Yanshin V.V. Analysis and processing of images. principles and algorithms, M. Mashinostroenie, 1994, 112 p. (in Russian)]
[7] Коулмен Г.Б., Эндрюс Х.С. Сегментация изображений при помощи автоматической классификации. ТИИЭР. 1979, 5, 82-97. [Coleman G.B., Andrews H.C. The image segmentation by automatic classification. ТИИЭР. 1979, 5, 82-97 (in Russian)]
[8] Brian L. DeCost, Elizabeth A. Holm A computer vision approach for automated analysis and classification of microstructural image data. Computational Materials Science 110, 2015, 126-133.
[9] Khodaskar A., Ladhake S. Semantic Image Analysis for Intelligent Image Retrieval International Conference on Intelligent. Computing, Communication & Convergence Institute of Management and Technology, India 2014, 193-197.
[10] Banerjee S.K., Ghosh S., Datta S.K. Segmentation of dual phase steel micrograph. An automated approach. Measurement 2013, 2435-2440.
[11] Murphy A.G., Browne D.J., Mirihanage W.U., Mathiesen R.H. Combined in situ X-ray radiographic observations and post-solidification metallographic characterisation of eutectic transformations in Al-Cu alloy systems, Acta materialia 61, 2013, 4559-4571.
[12] Tolnai D., Requena G., Cloetens P., Lendvai J., Degischer H.P. Effect of solution heat treatment on the internal architecture and compressive strength of an AlMg4.7Si8 alloy. Materials Science & Engineering, A 585, 2013, 480-487.
[13] Перфильев Д.А. Классификация сегментов металлографических изображений деформируемых алюминиевых сплавов. Вестник СибГАУ, 2007, 1(14), 118-122. [Perfiliev D.A. Classification of segments metallographic images of wrought aluminum alloys. VestnikSibGAU., 2007, 1(14), 118-122 (in Russian)]
[14] Харинов М.В. Модель локализации объектов на цифровом изображении. Вестник БГУ (Улан-Удэ), 2013, 9, 182-189. [Kharinov M.V. a Model for localizing objects in a digital image. VestnikBGU (Ulan-Ude), 2013, 9, 182-189 (in Russian)]
[15] Чочиа П. А. Пирамидальный алгоритм сегментации изображений. Информационные процессы. МГТУим. Н.Э. Баумана. 2010, т. 10, 1, 23-35. [Chochia P.A. Pyramidal algorithm of image segmentation. Information processes. MGTU, N. A. Bauman. 2010, vol. 10, 1, 23-35. (in Russian)]
[16] Гульбинене Р.И., Гульбинас Р. Ю. Автоматизированный микроструктурный анализ металлических шлифов. АН Лит. ССР, Каунас, 1987, 123 с. [Gulbiniene R. I., Gulbinas R. Y. Automated microstructural analysis metallographic sample. AC Lit. SSR, Kaunas, 1987, 123p. (in Russian)]
[17] Morales E.V., Silva R.A., Bott I.S., Paciornik S. Strengthening mechanisms in a pipeline microalloyed steel with a complex microstructure. Materials Science & Engineering A 585, 2013, 253-260.
[18] Bacaicoa I., Dwivedi P.K., Luetje M., Zeismann F., Brueckner-Foit A., Geisert A., Fehlbier M. Effect of non-equilibrium heat treatments on microstructure and tensile properties of an Al-Si-Cu alloy. Materials Science & Engineering A 673, 2016, 562-571
[19] Чернявский К.С. Способы автоматизированного определения основных характеристик структуры компактных материалов. Заводская лаборатория. 1987, 4, 43-49 [K.S. Chernyavskii, the Methods of automated determination of the basic characteristics of structure compact materials. Zavodskaya laboratoriya, 1987, 4, 43-49 (in Russian)]
[20] Chermant J-L., Coster М., Gougeon G. Morphological analysis of Al-Si alloys by fully automatic image analysis. Pract. Metallogr, 1989, 8, 415-427.
[21] Wendrock Т. Characterisation of microstructural anisotropy of steel by means. Comput. Vision, Graph., and Image Process., 1994, 8, 156-163.
[22] Конева Н.А., Тришкина Л.И., Козлов Э.В. Эволюция структуры и зарождение разрушения. Современные вопросы физики и механики материалов. С.-Петербург, 1997, 322-332. [Koneva N.A., Trishkina L.I., Kozlov E.V. The structure evolution and the origin of the destruction. Modern problems of physics and mechanics of materials. St. Petersburg, 1997, 322-332. (in Russian)]
[23] Лазоренко Я.П., Шаповалов Е.В., Скуба Т.Г., Топчев Д.Д., Клищар Ф.С. Исследование алгоритмов сегментации рентгенотелевизионных изображений сварных швов для автоматического обнаружения дефектов. Техническая диагностика и неразрушающий контроль. М., Патон. 2009, 4, 37-42. [Lazorenko Y.P., Shapovalov E.V., Skuba T.G., Topchev D.D., Climar F.S. Research of algorithms for segmenting x-ray images for weld defect detection. Technical diagnostics and nondestructive testing. M. Paton. 2009, 4, 37-42. (in Russian)]
[24] Holly D.C., AbdelHaboub, G.F., Gallegos, Dilworth Y.P. Damage evolution and failure mechanisms in additively manufactured stainless steel. Materials Science & Engineering A 585, 2016, 406-414.
