CC BY
76
Г.1ГТТгГ:1Т КЯШШКП /70
- 1 (45). 2008 / I Э
Analysis of modern methods of the pictures processing automation is presented. The ways of machinery determination of such defects as center segregation, liquating striations and cracks and development of algorithms of macro-and microstructures of alloys of industrial production process are shown at the example of the task of processing of macrostructure of template of industrial production slugs.
" > ' I
А. Н. ЧИЧКО, О. А. САЧЕК, В. А. ГАНЖА, БНТУ, О. П. ГАШНИКОВ А, РУП «БМЗ»
АЛГОРИТМЫ ДЛЯ АВТОМАТИЗАЦИИ ОБРАБОТКИ ИЗОБРАЖЕНИЙ МАКРО-И МИКРОСТРУКТУРЫ СПЛАВОВ
УДК 669.27:519
Известно, что макро- и микроструктура в значительной степени определяют свойства сплавов. Традиционно изучение структуры проводят с помощью микроскопов, которые позволяют в зависимости от их разрешающей способности проводить измерения размеров зерен, неметаллических включений, определять распределение различных фаз по сечению микроструктуры. В области металловедения накоплено большое количество методик, позволяющих на качественном и количественном уровне проводить оценку характеристик микроструктуры. Следует отметить, что в дальнейшем эти данные используются для установления взаимосвязей между характеристиками структуры и свойствами сплава с целью выявления причин дефектности изготавливаемого объекта. Развитие компьютерных технологий открывает новые возможности для детального анализа макро- и микроструктуры сплавов. С одной стороны, это повышает точность и снижает фактор субъективности при анализе структур, с другой — повышает уровень автоматизации и снижает время, затрачиваемое на обработку данных. Все сказанное выше позволяет развивать новые подходы к анализу как макро-, так микроструктуры сплавов.
Цель работы — анализ современных методов автоматизации обработки изображений и разработка алгоритмов машинной обработки макро- и микроструктур сплавов промышленного производства.
Основные процедуры и методы этапов обработки изображений приведены на рис. 1 [1]. Для цифровой обработки изображение обычно представляют в виде матрицы пикселов Атл, т2), 0<тл<Мг 0<т2<М~\, где Л/,, М2 - ширина и высота изображения в пикселях [2]. Обработка изображения в общем случае заключается в выполнении преобразо-
ваний над элементами этой матрицы, в результате которых формируется набор числовых характеристик или новое изображение.
Первичная обработка цифрового изображения направлена на устранение шумов, увеличение контрастности, сглаживание изображений, перевод цветного изображения в полутоновое с целью приведения изображения к виду, удобному для машинной обработки. Для каждого конкретного случая применяются соответствующие методы и алгоритмы. Например, с помощью морфологических фильтров замыкания и отмыкания можно удалить разрывы линий, заполнить пустоты объектов, сгладить контуры, убрать лишние объекты на изображении и т.д. [3]. Существуют также алгоритмы для проведения контурного анализа для подавления контурных шумов [3, 4], основанные на обработке полосы изображения. Также одной из задач предобработки может быть выделение средних линий объекта (скелетов), в результате чего изображение преобразуется к векторному виду.
Этап сегментации — это процесс поиска однородных областей на изображении [1]. Выбор алгоритмов в данном случае зависит от характеристик изображения и цели задачи распознавания. Если имеются достаточно четкие различия между распознаваемыми объектами и фоном, часто используются пороговые методы. Суть их состоит в выделении всех элементов, у которых яркость, интенсивность цвета или какая-либо другая характеристика меньше или больше порогового
Восприятие изображения
—Предобработка
Сегментация
Улучшение Фильтрация
• Распознавание
Пороговые методы Наращивание областей Выделение границ Текстурные методы
Корреляционные Признаковые Синтаксические Нормализация
Рис. 1. Основные процедуры и методы распознавания изображений
значения. Если на изображении имеют место связные пятна или области, то целесообразно использовать методы наращивания областей, в результате которых производится группировка по условию однородности соседних, а затем объединение их в однородные области. Если границы объекта достаточно четкие, хороший эффект дает применение алгоритмов выделения границ. К этой группе относятся такие алгоритмы, как алгоритм «жука» [2], градиентные методы, детектор границ Canny [5], метод активных контуров [6], алгоритм SUSAN [7]. Если же изображение обладает такими свойствами, как шероховатость, однородность, регулярность, то наибольший эффект для сегментации изображения дает применение текстурных методов, которые делятся на статистические и структурные. В основе первых лежит использование статистических текстурных характеристик [8], например, таких, как гистограмма яркостей, контрастов, ориентаций контурных элементов, цветовых составляющих и др., в основе вторых — применение структурных характеристик, таких, как, например, моменты многоугольников и затем объединение объектов с одинаковыми свойствами в одну область.
Этап фильтрации — это процесс, который производится после сегментации при возникновении искажения областей, разрозненных элементов изображения.
Непосредственно сам процесс распознавания может протекать самыми различными способами и также включает в себя следующие этапы:
• выделение основных признаков (например, площадь области, длина линии или радиус распространения точек, угол поворота и др.);
• применение выбранного механизма классификации.
Для решения задач распознавания изображений используются следующие четыре основных подхода [1].
1. Корреляционные методы представляют собой сканирование полученных изображений и пошаговая корреляция с эталоном — это наиболее помехоустойчивый и наиболее длительный способ.
2. Признаковые методы. Производится корреляция признаков полученного изображения и эталона. Для выбора признаков используются следующие правила: а) признаки изображений одного класса могут различаться лишь незначительно; б) признаки изображений разных классов должны существенно различаться; в)набор признаков должен быть минимальным.
3. Синтаксические методы основаны на получении структурно-лингвистических признаков, когда изображение дробится на части — непроизводные элементы (терминальные символы). Вводятся правила соединения этих элементов, одинаковые для эталона и входного изображения. Анализ полученной таким образом грамматики обес-
печивает принятие решений. Например, синтаксические методы используются для распознавания хромосом. Для них определены и определенным образом закодированы терминальные символы, такие, например, как линия (А), полукруг определенного размера (В) и др. В результате для описания каждой хромосомы образуется строка терминальных символов, в которой производится анализ в соответствии с правилами соединения, например ABAC. Затем полученное описание хромосомы сравнивается с описанием эталона и производится классификация [9].
4. Нормализация. Суть нормализации заключается в автоматическом вычислении неизвестных параметров преобразований, которым подвергнуты входные изображения, и последующем приведении их к эталонному виду. Процедура преобразований производится с помощью операторов нормализации (нормализаторов), а вычисление параметров выполняется функционалами, действующими на множестве изображений.
Обработка микроструктуры — достаточно трудоемкий процесс и поэтому на сегодняшний день разработан ряд программных продуктов, которые облегчают исследование микроструктуры. В частности, широкую известность получили такие продукты, как Thixomet (Санкт-Петербург), Видеотест-Металл (Санкт-Петербург), SIAMS (Екатеринбург). Менее известны продукты ImageExpert Pro 3, SPECTR MET 3.0 (Москва) и др. Это программное обеспечение позволяет определять такие характеристики микроструктуры металла, как неметаллические включения, определение размера зерна, соотношение фаз, шаровидность графита в чугуне, производить оценку полосчатости стали и анализ пористости и др. Применение этих продуктов дает возможность получить значительное сокращение времени обработки и повышение точности результатов. Автоматизация обработки макроструктуры металлов долгое время не являлась актуальной из-за не развитости компьютерных методов, да и их отсутствия в необходимом количестве на предприятиях. Поэтому уже сложились традиции и их следует менять, давая при этом серьезные обоснования в необходимости и актуальности автоматизации. Зачем тратить деньги на программное обеспечение по обработке изображений, если качество устраивает.
Проведем небольшой анализ, что может дать автоматизация изображений в металлургии. Известно, что оценка качества заготовок проводится по следующим характеристикам макроструктуры.
1. Осевая ликвация (точки и ликвационное пятно или группа пятен в центре темплета). Анализ проводится в середине изображения (область 7, рис. 2). Анализируются следующие характеристики:
• рассредоточенность ликвационных пятен и точек (примерный радиус);
/хттгги: г/жшятт:п
- 1 (05), 2008
1/81
П Область 1 И! Область 2 ЕШ Область 3 EQ Область 4
Рис. 2. Области определения дефектов макроструктуры металла по темплету
• число ликвационных пятен и точек, в том числе соотношение числа точек дефектов и всех точек области обработки;
• размер ликвационных пятен.
2. Ликвационные полоски и трещины общие (единичные или групповые тонкие полоски). Анализ производится в области 2 (рис. 2) темп-лета. Анализируются характеристики: число и длина ликвационных полос.
3. Ликвационные полоски и трещины угловые. Анализ производится в области 3 (рис. 2) темплета. Анализируются характеристики: число и длина ликвационных полос.
4. Краевое точечное загрязнение (точки или скоплен™ точек в виде «дорожки»). Анализ производится в области 4 (рис. 2) темплета. Анализируются характеристики: число и диаметр точек, длина «дорожки точек» (если она имеется).
5. Подкорковые пузыри (отдельные пузыри или скопление пузырей, расположенных по периметру темплета).
6. Светлая полоса (одно- и двухслойный контур или серия контуров различной яркости, расположенные по периметру темплета). Анализируются яркость, толщина и длина полосы.
Оценка дефектов производится в бальной системе (от 1 — минимальная степень дефекта до 4 — максимальная степень дефекта).
Следует отметить, что современное производство нуждается не только в констатации фактов о количестве и типе дефектов в изготавливаемых объектах, но и представляет основу для выявления причин образования дефектности получаемой структуры. Причины неудовлетворительного качества и дефектности структуры скрываются в технологических факторах. Поэтому исследование взаимосвязей между характеристиками макроструктуры и характеристиками технологии является важнейшей задачей металлургии заготовок. Для установления взаимосвя-
зей необходимым условием является уровень среднеквадратического отклонения, характеризующего погрешность. Чем выше точность определения характеристик структуры, тем выше вероятность найти взаимосвязи между факторами технологии и характеристиками микроструктуры. На сегодняшний день такие задачи сложны из-за того, что большинство характеристик определяется по качественной, а не по количественной бальной шкале, которая требуется для большинства статистических методов анализа. Поэтому повышение точности измерения характеристик макро- и микроструктуры создает платформу для статистических методов анализа, которые составляют основу теории статистического анализа на производстве [9].
Рассмотрим проблему обработки изображений применительно к темплетам заготовок, получаемых на РУП «БМЗ».
Чтобы определять основные типы дефектов макроструктуры металлов, необходимо использовать алгоритмы сегментации изображения для выделения области и линии ликвационных точек и последующего определения их геометрических характеристик, таких, как площадь и длина. Для достижения этой цели можно использовать методы выделения контуров и последующего выделения областей. Область расположения будет определять тип дефекта, а именно: если это пятно в середине темплета, то это осевая ликвация, если линия на диагонали, то это угловая ликвацион-ная трещина и т.д.
На рис. 3 приведен алгоритм обработки изображения с целью анализа дефектов макроструктуры металла. Проиллюстрируем работу некоторых блоков.
Блок бинаризации. В результате анализа цифрового изображения определяется максимальный цвет и создается матрица относительных цветов пикселов изображения, а именно элемент
82/
1 (45), 2008
Рис. 3. Алгоритм обработки изображения темплета заготовки
матрицы равен: текущий цвет/максимальный цвет. Таким образом, эта матрица будет содержать значения от 0 до 1, причем близкие к 1 — более светлые пиксели, к 0 — более темные. С использованием этих значений в дальнейшем производим бинаризацию, которая заключается в выборе некоторого значения порога и все пикселя, цвет
Открыть-. |
Исходное изображение
"Обработка Яркость
Г
0.46
II и ПН1 МММ II 1И1
Минимальное число точек пятна 3
(Обработка изобра:
Разница между пятнами Соединение
ГШ
-Яикваиия-
Число ликвационных пятен 0 Максимальная площадь 0 пике Общая площадь Пятно |о Площадь
Изображение макроструктуры
Ш ^ ' :■ > - и * , V ...
которых в матрице меньше значения порога, станут черными, остальные белыми. Бинаризация — процесс один из наиболее важных для распознавания дефектов изображения, поскольку корректность распознавания зависит от правильно выбранного порога бинаризации.
Блок выделения контуров. Производится по алгоритму «жука». Более подробный алгоритм этого блока приведен на рис. 3. После того, как выделены все контуры пятен, можно определить все пиксели пятна. Процедура выделения пятен производится с помощью алгоритма последовательного просмотра изображения в пределах полученных контуров пятен и анализа по пороговому значению цвета пикселя, одновременно происходит анализ межконтурного расстояния и объединение соответствующих областей. После выделения пятен определяются морфологические и геометрические характеристики пятен и линий, а именно: периметр, площадь, длина, плотность точек в области обработки изображения и т.д.
Для реализации обработки изображения была разработана программа Микрофото-1, в которой последовательно реализуются все перечисленные выше блоки операций. На рис. 4 приведен интерфейс программы. Программа позволяет интерактивно менять значения порога бинаризации, межконтурного расстояния между пятнами для объединения, просматривать полученные результаты и их характеристики. В частности, на рис. 5 показаны различные изображения темплета в результате компьютерной обработки для различных порогов чувствительности (порог бинаризации). Наиболее приемлемыми значениями порога для корректно-
ОШ
Ч/-^ Г-'" ...Г - ^ ^У | ; ,^ ^
Рис. 4. Интерфейс компьютерной программы Микрофото-1 по обработке изображений макроструктуры темплета
•.ЕС*!
лгсттгг, г: (гтшшр* I до
- I (45), 2008/ 110
V
7
^ 1
^ д •
• - 'у
в г
Рис. 5. Результаты компьютерной обработки изображений темплета для различных порогов чувствительности при различных значениях порога чувствительности: а — 0,37; б — 0,4; в — 0,5; г — 0,55
го распознавания дефектов темплетов являются значения, близкие к 0,4.
На рис. 6 показан алгоритм выделения контуров пятен. Выделение производится по алгоритму «жука», реализующему обход контура с левой нижней границы контура. Обход контура выполняется по точкам окрестности, которую составляет восемь соседних точек. Схематичное изображение этого алгоритма на сеточной структуре приведено на рис. 7. Вначале производится определение области обработки изображения, затем в ней происходит поиск начальной точки контура путем последовательного перебора всех пикселов выбранной области. Точка считается подходящей, если ее ярко-стная характеристика (интенсивность цвета) входит в диапазон выбранного порога бинаризации. Когда точка найдена, она становится центром окрестности, в которой производится поиск следующей точки контура. Обход окрестности происходит против часовой стрелки, пока не будет найдена следующая точка контура. Когда найдена новая точка, она принимается за центр окрестности, в которой опять осуществляется поиск и т.д. Причем обход окрестности новой точки начинается с послед-
ней рассматриваемой точки окрестности предыдущей точки. Таким образом, реализация поиска точки контура осуществляется с помощью рекурсивной процедуры, для которой задается условие выхода из процедуры: рассматриваемая в данный момент точка является первой точкой контура. Поскольку пятно дефекта может иметь неправильные формы, может быть невыпуклым, может иметь внутренние полости, алгоритм модифицирован анализом точек двойного прохода. Для этого производится поиск подходящих точек возврата, по которым будет осуществляться проход, пока не будет найдена новая или первая точка контура.
На рис. 8 показаны результаты компьютерной обработки по выявлению контуров дефектов для различных порогов чувствительности.
Для реализации идентификации (распознавания) дефектов макроструктуры необходимо произвести анализ соответствия баллов и морфологических характеристик пятен, в результате которого можно будет точно знать, какие именно точные числовые характеристики соответствуют значению балла дефекта.
Приведенные выше алгоритмы позволяют определять такие характеристики макро- и
Mi гшг^игш^ж^
I 1 W5), 2008 -
Рис.
6. Алгоритм выделения контуров дефектов макроструктуры метал лургического слитка
Рис. 7. Схематичное изображение алгоритма «жука» на сеточной структуре
микроструктуры, как периметр, площадь, длина и др.
Таким образом, представленные алгоритмы дают возможность провести полуколичественную характеристику микроструктуры. Введенные характеристики могут представлять интерес для исследователей, занимающихся микро- и макро-структурными исследованиями.
Рис. 8. Результаты компьютерной обработки по выявлению контуров дефектов для различных порогов чувствительности
Литература
1. Путятин Е.П., Аверин С.И. Обработка изображений в робототехнике. М.: Машиностроение, 1990.
2. Сойфер В.А. Компьютерная обработка изображений. Ч. 2. Методы и алгоритмы // Соро-совский образовательный журнал. 1996. № 3. С. 110— 121.
3. Абламейко С.В., Л агуновски й Д.М. Обработка изображений. Мн.: Амалфея, 2000. С. 118—120.
4. Методы компьютерной обработки изображений / Под ред. В.А. Сойфера. М.: Физматлит, 2001.
5. С a n п у J.F. Finding edges and lines in images // Master's thesis. MIT. Cambridge, USA, 1983.
6. Kaas M.,Witkin A.,Terzopoulos D. Snakes: Active Contour Models // Int. Journal of Computer Vision. 1987. N1. P. 312-331.
7. Smith S.M., Brady J.M. SUSAN - a new approach to Low Level Image Processing // DRA Technical Report TR95SMMSlb. 1995.
8. Куссуль Э.М. Ассоциативные нейроподобные структуры. Киев: Наукова думка, 1990.
9. Чичко А.Н., Соболев В.Ф., Чичко О.И. Статистические методы регулирования качества продукции в литейном производстве. Мн., 2006.
