CC BY
22
DOI 10.23859/1994-0637-2018-5-86-2 УДК 004.932 :: 681.518 : 620.18
© Паламарь И.Н., Сизов П.В., Жуков А.А., 2018
Паламарь Ирина Николаевна
Кандидат технических наук, профессор,
Рыбинский государственный авиационный
технический университет
имени П. А. Соловьева
(Рыбинск, Россия)
E-mail: [email protected]
Сизов Павел Вадимович
Кандидат технических наук, доцент, Рыбинский государственный авиационный технический университет имени П. А. Соловьева (Рыбинск, Россия) E-mail: [email protected]
Жуков Анатолий Алексеевич
Кандидат технических наук, профессор,
Рыбинский государственный авиационный
технический университет
имени П. А. Соловьева
(Рыбинск, Россия)
E-mail: [email protected]
АВТОМАТИЗАЦИЯ АНАЛИЗА СТРУКТУРЫ МАТЕРИАЛА НА ОСНОВЕ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЯ МЕТОДОМ ВЫРАЩИВАНИЯ И СЛИЯНИЯ ОБЛАСТЕЙ
Palamar Irina Nikolaevna
PhD in Technical Sciences, Professor, Soloviev Rybinsk State Aviation Technical
University (Rybinsk, Russia) E-mail: [email protected]
Sizov Pavel Vadimovich
PhD in Technical Sciences, Associate Professor, Soloviev Rybinsk State Aviation Technical
University (Rybinsk, Russia) E-mail: [email protected]
Zhukov Anatolij Alekseevich
PhD in Technical Sciences, Professor, Soloviev Rybinsk State Aviation Technical
University (Rybinsk, Russia) E-mail: [email protected]
AUTOMATION OF MATERIAL STRUCTURE ANALYSIS BASED ON IMAGE SEGMENTATION BY THE METHOD OF GROWING AND MERGING REGIONS
Аннотация. Предложен метод автоматического анализа микроструктуры материалов на основе обработки изображения шлифа в процессе сегментации. Представлены описание и результаты работы алгоритма. Реализовано вычисление различных параметров структуры на основе характеристик сегментов, определенных методом выращивания и слияния областей. Проведено экспериментальное исследование характеристик включений графита, и получены статистические оценки компактности шаровидных образований по группе изображений шлифов в автоматическом режиме.
Abstract. The method of automatic analysis of materials' microstructure based on the image processing of the microsection in the segmentation process is proposed. The description and results of the segmentation algorithm operation are presented. The calculation of different structural parameters based on the segments' characteristics, determined by the method of regions growing and merge is actualized. An experimental research of characteristics of graphite inclusions is made, and statistical evaluations of the compactness of globular formations on a group of microsection images is obtained automatically.
Вестник Череповецкого государственного университета • 2018 • №5
17
Ключевые слова: автоматизация контро- Keywords: control automation, microstruc-
ля, оценка микроструктуры, компактность, ture evaluation, compactness, image processing,
обработка изображения, выращивание и growing and merging regions слияние областей
Введение
Создание новых высококачественных материалов, обеспечивающих достижение конструкторских и эксплуатационных свойств деталей, требует формирования заданной структуры материала. Например, по виду формирования высокоуглеродистой фазы при термической обработке или при кристаллизации чугуны делятся на графитизированные, белые, половинчатые, отбеленные. Графит, включения которого определяют качество и основные виды чугуна, может быть представлен в различных формах: пластинчатой, вермикулярной, компактной и шаровидной.
В настоящее время разрабатываются технологии создания высокопрочного чугуна с шаровидным графитом. Механические свойства и марки такого продукта регламентированы ГОСТ 7293-85 [2]. Для анализа структуры в ГОСТ 3443-87 приводятся примеры микроструктуры шлифов по различным шкалам [3], в соответствии с которыми дается балльная оценка структуры путем сравнительного сопоставления. Однако описание структур не формализовано, например, такие представления, как компактный, равномерный, неравномерный, не имеют числовых оценок. Анализ литературных данных [7] позволяет выделить основные стереологические характеристики частиц: распределение размеров, число частиц в единице объема, средние габариты и площадь. При оценке графитовых включений (согласно ГОСТ 3443-87) определяют форму графита (степень сфероидизации), размер (диаметр), характер распределения, количество включений или относительную площадь, занятую графитом.
В настоящее время в промышленности широко применяется анализатор фрагментов микроструктуры твердых тел Б1АМБ 700 на базе управляющей программы Б1АМБ РНвЫаЬ, который реализует современные технологии автоматизированного анализа цифровых изображений микроструктуры металлов и сплавов [1]. Комплекс обеспечивает определение количественных характеристик и статистический анализ микроструктур материалов, однако работа выполняется в автоматизированном режиме. Для выделения исследуемых объектов используется пороговая сегментация, которая не обеспечивает качественного выделения областей на изображениях, отличающихся сложной гетерогенной структурой.
Пакет программ, разработанный для расчета параметров структуры по действующим методикам, работает в автоматическом режиме [4], однако используются базовые методы обработки изображения, не ориентированные на точность выделения включения на этапе процесса сегментации.
Целью анализа является автоматическое выделение включений графита на изображении и расчет площади и компактности включений. Точность определения этих характеристик зависит от эффективности процесса сегментации изображения.
Основная часть
Особенностью высокопрочного чугуна с шаровидным графитом является наличие включений графита разного размера и разной формы в матрице. Пример харак-
18 Вестник Череповецкого государственного университета • 2018 • №5
терного изображения структуры материала с шаровидным графитом приведен на рис. 1 (слева).
. •; • -•■¿•а. • * ♦ * - •* • .
»* . V • *
• *
V*
Рис. 1. Примеры изображений структуры с шаровидными включениями: характерное изображение (слева), изображение с выделенными центрами кристаллизации (справа)
Автоматический анализ микроструктуры основывается на обработке изображения шлифа методом сегментации на основе выращивания и слияния областей [5], [6]. Метод основан на многомасштабном анализе изображения, включающем спектральные, текстурные и контурные преобразования исходных данных. Это позволяет более точно выделить различные элементы структуры и определить их границы. Важной особенностью метода является повышенная точность выделения центров выращивания сегментов и формирования границ сегментов, соответствующих анализируемым включениям.
Автоматическое определение центров кристаллизации основывается на поиске локальных минимумов на многомасштабном градиентном изображении, которое
рассчитывается суммированием значения вейвлет-статистики Т1ху на разных масштабах I для каждого пикселя (х, у)
(х,у) = ^Тз
I
х, у
I =1
После устранения шумовых локальных минимумов функции ижг (х, у) путем
квантования выполняется ее минимизация методом подавления немаксимумов [8] применительно к задаче минимизации. Данный метод предполагает сканирование изображения с помощью маски 3*3 для определения точек, окруженных пикселями с наибольшими значениями. Но в такой постановке окажутся потерянными точки нестрогого локального минимума. Однако, исходя из требований, предъявляемых к задаче обнаружения центров кристаллизации, в области равно малых значений функции должна быть определена одна минимальная точка, лежащая в центре области равных значений. Для этого предполагается после нахождения точки нестрогого локального минимума выполнить морфологическую заливку связной с ней области того же уровня для определения и сохранения средней точки выделенной компоненты как центра кристаллизации. Важно предусмотреть процесс проецирования найденной средней точки компоненты связности на выделенную область, так как она (область) может иметь форму кольца.
Вестник Череповецкого государственного университета • 2018 • №5
19
Метод предполагает поиск точек, в окрестности которых нет элементов, меньших, чем сама эта точка, и есть хотя бы один больший элемент. Если анализируемая точка имеет 8-связную окрестность, все элементы которой имеют большие значения, то локальный минимум найден. Во всех остальных случаях из найденной точки начинается процесс морфологической заливки области равных значений.
Если известная точка С находится внутри искомой области, то операция выделения компоненты связности Ск на множестве значений функции иж'(х, у) выглядит как
Ск = (Ск_ ФВ)п А, к = 0,1..., А = { иж' (х, у) (( (х,у) = С)} , Со = {С},
где В - примитив дилатации (в данном случае квадрат 3*3 пикселя); к - шаг дилата-ции.
Выполнение алгоритма завершается по условию Ск = Ск-1. Точки множества Ск представляют изображение связной области равных значений, для которого необходимо определить центр тяжести. Центр тяжести для области, где все значения равны, можно определить путем нахождения точки внутри прямоугольника, ограничивающего область. В данной точке пересекаются горизонтальная и вертикальная линии таким образом, что по обе стороны от каждой из них лежат равномощные подмножества исследуемой области Ск. Далее необходимо найти ближайшую (в смысле евклидова расстояния от центра тяжести) точку, принадлежащую Ск, т.е. произвести проецирование центра тяжести на область Ск. Вычисленная точка принимается центром кристаллизации. Результат работы алгоритма по автоматическому определению центров кристаллизации на фрагменте области интереса анализируемого шлифа представлен на рис. 1 (справа).
Рассматриваемый метод относится к группе алгоритмов связной сегментации, которые позволяют достичь более высокого качества по сравнению с другими методами за счет использования информации о топологической связности областей. Эффект повышения качества сегментации достигается в части выделения контуров объектов при условиях слабоконтрастных границ, высокого уровня высокочастотных помех. Адекватности границ объектов способствует «инерционность» динамического процесса сегментации, использующего последовательный процесс формирования сегментов изображения совместно с постоянным мониторингом состояния сцены сегментации.
Выделение сегментов на изображении производится с помощью процедуры выращивания областей. Все пиксели , / = 1...и, претендующие на включение в какой-либо сегмент, должны быть смежными со своими областями, т. е. находиться на их внешней границе. Внешняя граница Ог = и 82 и ... и области 8 может быть
определена как Ог = (8 Ф В) \ 8, где Ф - операция дилатации (расширение множества на его границах); В - примитив дилатации (в данном случае квадрат 3*3 пикселя).
Тогда для данного сегмента и его граничного пикселя (обозначим эту пару Ьу=[8„ 5/]) предикат смежности сегментов N(5",, 8) = 1. После определения состава всех пар «сегмент - граничный пиксель» Ь/ необходимо перейти к вычислению
20 Вестник Череповецкого государственного университета • 2018 • №5
функции гетерогенности Hj для каждой из них. Значение функции гетерогенности Hj определяется с помощью расстояний в пространствах признаков, введенных для составляющих модели представления исходных данных. Пара «сегмент - граничный пиксель» Lj, для которой расстояние Hj в выбранном пространстве признаков минимально, признается оптимальной Lopt для последующего объединения
Lopt = arg (min \ни\ы (S,, Sj ) = l}) .
[S, ,Sj ]' '
После приращения граничного пикселя к сегменту начинается следующая итерация процесса, включающая повторный расчет расстояний в парах L,,j, выбор оптимальной пары и объединение. Процедура выращивания выполняется до полного заполнения сегментами всей площади изображения. По окончании выращивания сегментов выполняется алгоритм слияния областей. При слиянии сходные по ряду параметров области объединяются в один сегмент на основе анализа различных характеристик. Итоговое сегментированное изображение, приведенное на рис. 1 (слева), с вычисленными в процессе сегментации характеристиками представлено на рис. 2. Данный результат получен в автоматическом режиме.
* • * • • • • * ,
• • Ф t • • •• к • - ■
• % И* • * • • • ••
Характеристики сегмента
Идентификатор: 7132 Дескрипторы: Площадь: 162 пкс, Периметр: 52 пкс. Центр тяжести: (221, 27) Ограничивающий прямоугольник:
(214,20), (227,33) Компактность: 1,328256 Средний цвет: (31, 34, 23) Дисперсия (3 0): 1520,816 Средняя вейвлет-статистика: 1 уровень: 189,3255
Рис. 2. Визуализация результата работы программы сегментации на основе метода выращивания и слияния областей
В процессе преобразования изображения в памяти формируются структуры, которые содержат достаточную информацию по включениям графита (сегментам) для последующего анализа. Для достижения инструментальной точности вычислений устанавливается разрешение на единицу длины (мкм). Исследуемыми параметрами являются площадь и компактность включений.
Для анализа зависимости параметров структуры от размера включений выполним расчет математического ожидания и дисперсии площади включений на изображении. Математическое ожидание М[5] для исследуемого изображения составило 1,537, а среднеквадратическое отклонение ст - 0,362 единиц. Выделим три группы включений: мелкие, средние, крупные. Средние включения лежат в диапазоне М[5] ± ст. Все включения, которые меньше этой величины, считаются мелкими, а все, что больше, - крупными. По результатам расчетов количества включений в каждой группе получено, что все включения попадают в интервал М[5] ± 3ст,
Вестник Череповецкого государственного университета • 2018 • №5 21
следовательно, исследуемая структура имеет нормальное распределение по площади включений.
Важной характеристикой для анализа структуры шаровидных образований, к которым относятся включения графита, является нормализованная компактность. Она вычисляется по формуле Сп = Р2 / (4 • п • 5), где P - периметр сегмента, £ - его площадь. Очевидно, что наиболее компактной фигурой является круг, следовательно, чем ближе компактность Сп фигуры к 1, тем более идеальной будет форма шаровидного включения.
Анализ гистограммы распределения включений по нормализованной компактности (рис. 3), рассчитанной по сегментированному изображению, показал, что наибольшее количество включений имеет компактность от 1 до 1,5, т.е. большая часть включений (65 %) исследуемой структуры имеет компактную форму и близкую к ней.
=я я
я ^
г
2
г я
ч о И
Нормализованная компактность, Сп Рис. 3. Гистограмма распределения включений графита по нормализованной компактности
Результаты расчета параметров оценки структуры по областям интереса приведены в таблице, где использованы следующие обозначения: группы включений по площади 5, т, Ь - малые, средние и большие соответственно; К - количество включений.
Таблица
Параметры включений графита по областям интереса
Нормализованная компактность,
Область Группа К Периметр, Сп п
интереса размера Р (пиксель) Математическое ожидание, М(Сп) Дисперсия, ДО*)
6 24,25 1,23 0,04
1 т 16 75,0 1,64 1,62 0,08 0,09
Ь 5 153,17 1,83 0,05
4 27,33 1,25 0,02
2 т 22 89,31 1,82 1,77 0,25 0,36
Ь 6 164,80 2,22 0,73
22
Вестник Череповецкого государственного университета • 2018 • №5
Значение нормализованной компактности позволяет оценить правильность шаровидной формы и может служить основой для анализа характера границы и формы включений. Расчет по группе изображений шлифов, полученных для одной плавки на ООО «Литейно-механический завод» (г. Рыбинск), показал устойчивую сходимость параметров структуры с экспертными оценками. Однако для анализа структуры материала с целью улучшения эксплуатации необходимо разрабатывать новые показатели качества шаровидных включений. Вычисленные параметры сегментов, полученные в автоматическом режиме, позволяют получить более полное математическое описание сложной структуры.
Выводы
Предложенный метод автоматической сегментации изображения позволил выполнить статистическую оценку параметров шаровидных включений, исключая субъективность на ключевом этапе обработки изображения - получении сегментов исследуемой структуры, что обеспечивает повторяемость результата анализа группы изображений.
Полный автоматический расчет параметров включений по большим наборам изображений, полученным на производстве, показывает, что необходимо дальнейшее развитие методов качественного и количественного анализа структуры и выявление взаимосвязей структуры и эксплуатационных показателей. Для исследования материалов с функциональной структурой необходима разработка системы показателей, учитывающей возможности автоматического анализа структуры по изображению.
Литература
1. Анализатор изображений SIAMS 700. URL: https://www.siams.com/products/siams700
2. ГОСТ 7293-85. Чугун с шаровидным графитом для отливок. Марки. Введ. 1987-01-01. М.: Издательство стандартов, 2004. 3 с.
3. ГОСТ 3443-87. Отливки из чугуна с различной формой графита. Методы определения структуры. Введ. 1988-01-07. М.: Издательство стандартов, 2005. 43 с.
4. Методики анализа SIAMS 800. URL: https://www.siams.com/products/apps
5. Паламарь И.Н., Сизов П.В. Патент 2440609 Российской Федерации, МПК7 G 06 K 9/34. Способ сегментации растровых изображений на основе выращивания и слияния областей; заявитель и патентообладатель ФГБОУ ВПО «РГАТУ имени П. А. Соловьева». Опубл. 20.01.2012. Бюл. № 2. 11 с.
6. Паламарь И.Н., Сизов П.В. Свидетельство о государственной регистрации программы для ЭВМ №2010614091. Программная среда для сегментации изображений на основе методов выращивания областей и вейвлет-преобразований; заявитель и правообладатель ГОУ ВПО «РГАТА имени П. А. Соловьева». Заявка № 2010612442 от 5.05.2010; опубл. 23.06.2010.
7. Салтыков С. А. Стереометрическая металлография. М.: Металлургия, 1976. 270 с.
8. Steinbrecher R. Bildverarbeitung in der Praxis. URL: http://www.rst-software.de/ dbv/download.html
References
1. Analizator izobrazhenij SIAMS 700 [Image analyzer SIAMS 700]. Available at: https://www.siams.com/products/siams700
Вестник Череповецкого государственного университета • 2018 • №5
23
2. GOST 7293-85. Chugun s sharovidnym grafitom dlya otlivok. Marki [Cast iron with globular graphite for castings]. Vved 1987-01-01. Moscow: Izdatelstvo standartov, 2004. 3 ^
3. GOST 3443-87. Otlivki iz chuguna s razlichnoj formoj grafita. Metody opredeleniya struktury [Cast iron castings with graphite of different form. Methods for determining the structure. Marks]. Vved. 1988-01-07. Moscow: Izdatelstvo standartov, 2005. 43 ^
4. Metodiki analiza SIAMS 800 [Analysis techniques SIAMS 800]. Available at: https://www.siams.com/products/apps
5. Palamar I.N., Sizov P.V. Pat. 2440609 Rossijskoj Federacii, MnK7 G 06 K 9/34. Sposob segmentacii rastrovy'x izobrazhenij na osnove vy'rashhivaniya i sliyaniya oblastej [Method of bitmap images segmentation based on growing and merging regions]; zayavitel' i patentoobladatel' FGBOU VPO «RGATU imeni P. A. Solov'eva». Opubl. 20.01.2012, Byul. № 2. 11 ^
6. Salty'kov S.A. Stereometricheskaya metallografiya [Stereometric metallography]. Moscow: Metallurgiya, 1976. 270 ^
7. Palamar I.N., Sizov P.V. SvideteVstvo o gosudarstvennoj registracii programmy' dlya E'VM № 2010614091. Programmnaya sreda dlya segmentacii izobrazhenij na osnove metodov vy^rashhivaniya oblastej i vejvlet-preobrazovanij [A software framework for the images segmentation based on the methods of growing areas and wavelet transforms]; zayavitel' i patentoobladatel GOU VPO "RGATA imeni P.A. Solov'yova". Zayavka №2010612442 ot 5.05.2010; opubl. 23.06.2010.
Для цитирования: Паламарь И.Н., Сизов П.В., Жуков А.А. Автоматизация анализа структуры материала на основе сегментации изображения методом выращивания и слияния областей // Вестник Череповецкого государственного университета. 2018. №5(86). С. 17-24. DOI: 10.23859/1994-0637-2018-5-86-2
For citation: Palamar I.N., Sizov P.V., Zhukov A.A. Automation of material structure analysis based on image segmentation by the method of growing and merging regions. Bulletin of the Cherepovets State University, 2018, no. 5 (86), pp. 17-24. DOI: 10.23859/1994-0637-2018-5-86-2
24 Вестник Череповецкого государственного университета • 2018 • №5
