CC BY
16АДАПТИВНАЯ МОРФОЛОГИЧЕСКАЯ ОБРАБОТКА БИНАРНЫХ КОНТУРОВ Коневский О. Л. fo.konevsky@computer.org)
Новгородский государственный университет
1. Введение
Для многих приложений, связанных с распознаванием образов и системами понимания изображений (автоматизированная механическая обработка, сборка изделий, сварка и т. п.) необходимо создание векторной модели объекта манипулирования.
Чтобы идентифицировать и "понять" объект необходимо исследовать топологические связи между примитивами и преобразовать изображение в векторный формат, чтобы получить семантическую информацию высокого уровня, базирующуюся на топологических и функциональных характеристиках объекта. В работе [1] мы предложили новую парадигму, базирующуюся на методологии визуальных прототипов для достижения данной цели.
Созданная векторная модель должна адекватно отражать топологию объекта: каждая линия или узел модели должна соответствовать грани или вершине объекта. Однако,
бинарные растровые изображения, полученные с помощью различного рода сканеров и видеодатчиков, характеризуются присутствием дефектов линий и шумов (рис. 1), которые способны уменьшить адекватность между моделью и объектом.
Решение данной проблемы часто возлагается на модуль векторизации [2, 3]. Программа должна определять, не отклонился ли вектор от своего "номинального" положения под действием шума, рассчитывая на каждом шаге наиболее вероятное позицию вектора, что увеличивает функциональную нагрузку на модуль векторизации и снижает качество модели.
Метод, предложенный в данной статье позволяет сглаживать бинарные растровые изображения, используя основные операторы математической морфологии, чтобы устранить дефекты, уменьшить шум, сохраняя топологию объекта.
2. Сглаживание с помощью базовых морфологических операторов
Для достижения эффекта сглаживания бинарных растровых изображений и удаления отдельных дефектов используется комбинация базовых операторов математической морфологии - эрозии и расширения. Данный метод относится к группе нелинейных методов цифровой обработки изображений [4].
Пусть подмножество £ - совокупность точек изображения, принадлежащих интересующему объекту, В - структурирующий элемент. Операция эрозии определяется в математической морфологии следующим образом [5, 6]:
ев (£) = £ - В = [В, с 8\И е Е} (1)
где еБ (S) означает "эрозия подмножества £ со структурирующим элементом В"; Е - дискретная плоскость;
к - вектор, определяющий каждую позицию В на Е;
Bh - перенос B вдоль вектора h: Bh = {b + h\b e B}
(2)
Во время процедуры эрозии элементы не удаляются с изображения, а лишь помечаются для удаления после окончания всей процедуры. Расширение определяется как:
I ножества S со структурирующим элементом
Последовательное применение эрозии и расширения ведет к сглаживанию бинарных изображений [7].
Результат обработки существенно зависит от двух факторов: конфигурации структурирующего элемента и его размера [8]. Как известно, выбор конфигурации является скорее эмпирическим и интуитивным процессом. Протестировав различные комбинации структурирующих элементов, мы пришли к выводу, что в наибольшей степени поставленной задаче соответствует следующая: структурирующий элемент для эрозии представляет собой совокупность дальних соседей опорного пиксела, а для расширения - полное множество соседей опорного пиксела.
Что касается размера структурирующего элемента, то очевидно, что операции эрозии и расширения должны использовать один и тот же размер, в противном случае толщина линий объекта изменится по окончании процесса обработки.
Однако корректный выбор размера структурирующего элемента для конкретного изображения или его отдельных частей является оптимизационной задачей, решение которой зависит от ряда факторов. Во-первых, желательно освободить изображение от дефектов настолько, насколько методы математической морфологии позволяют в принципе; во-вторых, одним из основных условий является сохранение топологии интересующего объекта; в-третьих, время обработки должно быть достаточно малым для использования метода для on-line систем. В следующем разделе данной статьи мы предлагаем новый алгоритм, принимающий в внимание указанные обстоятельства и позволяющий выбирать оптимальный размер структурирующего элемента для конкретного изображения.
3. Выбор размера структурирующего элемента
3.1. Общий подход к решению
Общая схема предлагаемого адаптивного метода сглаживания бинарных растровых изображений представлена на рис. 2. Метод включает четыре основных этапа:
1) тестовая обработка;
2) анализ;
3) контроль параметра эффективности;
4) коррекция структурирующего элемента.
Первых два этапа выполняются до тех пор, пока некоторые условия, описанные ниже, не удовлетворяются.
Тестовая обработка представляет собой процедуру эрозии с текущим значением размера структурирующего элемента Bcur. Перед первой итерацией Bcur инициализируется
(3)
В".
Рис. 2. Общая схема адаптивного алгоритма сглаживания.
величиной 3 пиксела и увеличивается на 2 перед каждой следующей процедурой.
После каждой итерации выполняется анализ результатов тестовой обработки, включающий два основных аспекта:
1) поиск разрывов линий объекта;
2) проверка текущего параметра эффективности.
Соответственно, условием завершения тестовой обработки является удовлетворение по меньшей мере одного из следующих условий:
- обнаружены разрывы линий объекта;
- параметр эффективности процесса ниже некоторого заданного априорно порогового значения.
3.2. Процедура поиска разрывов
Процедура поиска разрывов линий объекта имеет ключевое значение для всего метода, поскольку сохранение топологии исходного изображения - одно из принципиальных условий для успешного преобразования.
До начала собственно верификации наличия разрывов формируются два новых подмножества (рис. 3 а, б, в):
= *Вв( 5) (4)
У = 5 -Зв3 (5') (5)
где Ве и В8 структурирующие элементы, используемые для эрозии и расширения соответственно, имеющие размер Всиг.
Далее необходимо найти максимальную ширину удаленной области W, чтобы сравнить ее с некоторым критерием. Для этой цели для каждого элемента подмножества 5' вычисляется параметры // и ¡¡у представляющие собой ширину соответственно горизонтального и вертикального сечений подмножества 5', проходящих через точку s'i (рис. 3 г). Здесь г - индекс элемента, изменяющийся от 0 до ш'-1, где т' -количество элементов подмножества 5'. Минимальное из найденных значений
а)
б)
в)
г)
Рис. 3. Исходное изображение (а), сформированные подмножества 8' (б) и 8" (в), расчет параметров I, и №).
принимается в качестве ширины удаленной области для данной точки. К дальнейшему рассмотрению принимаются только те элементы, которые не были бы восстановлены, если бы процедура расширения имела место:
w
] h i v l: < li
ih >
и 5,.' e S''
и s' e S'
0.....m'-1
(6)
i. :
i: : . . 0 : s,.' й S"
За тем вычисляется глобальный параметр W, как максимум из найденных значений w,:
w = max{w,} (7)
i=0, ..., m'—1
Достаточным условием наличия разрывов на изображении является превышение параметром W критической величины, равной текущему размеру структурирующего элемента Bcur, уменьшенному на 1. Если данная проверка наличия разрывов не показала, необходима дополнительная верификация.
Достаточное условие наличия разрывов вытекает из особенностей взаимодействия структурирующего элемента и элементов изображения. Если интересующий объект представляет собой прямую вертикальную или горизонтальную линию, процедура эрозии способна воздействовать на элементы, удаленные от границ фона не далее чем на величину структурирующего элемента, уменьшенную на 1 (если объект не имеет дефектов). И только если удаленные области с противоположных границ линии "встречаются" в центре, т. е. когда возникает разрыв, указанный порог может быть превышен.
Блок-схема описанного алгоритма представлена на рис 4.
Как уже было сказано выше, если разрывы не обнаружены на этапе основной верификации, необходимо дополнительная проверка. Причиной для этого является существование случаев, когда приведенный выше критерий не показывает присутствия разрывов линий при фактическом их наличии. Например, когда объект состоит из линий толщиной один или два пиксела. По окончании процедуры тестовой эрозии со структурирующим элементом величиной 3 пиксела, проведя верификацию и рассчитав значение W, мы найдем, что оно меньше критического значения, хотя во время обработки изображение, безусловно, разрушится. Аналогичные ситуации, хотя и не столь очевидные,
Рис. 4. Блок-схема алгоритма основной проверки на наличие разрывов.
могут иметь место и со структурирующими элементами других размеров.
Чтобы избежать подобных проблем, необходимы следующие шаги (рис. 5). Для каждого элемента подмножества 5" (здесь г - индекс элемента подмножества 5") рассчитывается длина вертикального и горизонтального сечения (1,И и I? соответственно), аналогично тому, как это выполнялось ранее для подмножества 5'. Однако в отличие от
1И IV
последнего, wi определяется как максимум из двух параметров и :
wi
] И IV 1г > \г
1И < V
г = о, ..., ш"-1
(8)
где т" - количество элементов подмножества 5".
За тем по формуле (7) вновь определяется глобальный параметр Ж. Геометрическая интерпретация этого параметра следующая: какова была бы максимальная длина разрушенной области, если бы процедура расширения со структурирующим элементом текущего размера имела место. Если найденный параметр Ж больше или равен критическому значению, а именно, размеру структурирующего элемента, делается вывод о присутствии, по меньшей мере, одного разрыва на изображении.
И
V
3.3. Проверка параметра эффективности
Если изображение имеет небольшое количество дефектов, то может оказаться бессмысленным использование структурирующего элемента больше некоторой определенной величины, даже если толщина линий объекта это позволяет. В этом случае относительно малые улучшения, которые могут быть достигнуты благодаря применению структурирующего элемента большего размера, не окупают вычислительных затрат. Для того чтобы отслеживать подобные ситуации, необходимо ввести параметр эффективности.
Наиболее очевидный параметр, который может быть использован в качестве критерия эффективности обработки - это относительное увеличение количества удаленных дефектов благодаря использованию структурирующего элемента большего размера. Чем больше параметр, тем больше изображение улучшается от итерации к итерации. Параметр может быть рассчитан следующим образом:
где: тВ и тВ-2 - количество элементов подмножества £ после процедуры сглаживания со структурирующим элементом размера В и В-2 соответственно.
Данный параметр эффективности может быть определен только после полной процедуры сглаживания, включающей эрозию и расширение.
Исключая некоторые особые случаи, изображение имеет приблизительно равное количество впадин и наростов. Принимая во внимание, что эрозия воздействует на впадины, а расширение - на наросты, мы можем записать еще одно выражение для того же параметра эффективности:
где: т"В и т"В-2 - количество элементов подмножества 8" после тестовой эрозии со структурирующим элементом размером В и В-2 соответственно;
Возникает вопрос, какое из выражений (9) и (10) является предпочтительным. В п. 3.1. настоящей статьи мы указали, что тестовая обработка состоит только из процедуры эрозии без расширения. Поэтому мы можем заключить, что формула (10) является более подходящим, если используется предложенный подход выбора размера структурирующего элемента. Однако данное выражение дает корректный результат только при выполнении условия эквивалентного количества впадин и наростов на исходном изображении. В противном случае необходимо использовать тестовую обработку, включающую эрозию и расширение, и выражение (9) для расчета параметра эффективности. Подобные случаи могут возникать, как результат определенного типа предварительной обработки или присутствия особого типа шума на изображении.
Необходимо также заметить, что поскольку результат предыдущей итерации тестовой обработки должен быть известен, прежде чем текущий параметр эффективности может быть рассчитан. Поэтому предлагаемый подход может быть применен, начиная со второй итерации процедуры, т. е. когда структурирующий элемент имеет размер 5 пикселов и более.
Автором экспериментально установлено, что оптимальное значение порога приблизительно равно 25%. Другими словами, эффективность обработки удовлетворительна, если использование текущего размера структурирующего элемента позволяет удалять на 25% больше дефектов, чем в случае предыдущего. Уменьшение порога ведет к небольшому возможному улучшению результата за счет использования структурирующего элемента большего размера и соответствующего увеличения времени обработки; увеличение порога ведет к небольшой экономии ресурсов за счет ухудшения качества.
3.4. Коррекция структурирующего элемента
Постепенно увеличивая размер структурирующего элемента, мы неизбежно приходим к одному из двух результатов:
- на изображении обнаружены разрывы и, следовательно, его топология нарушена;
(9)
(10)
- эффективность обработки признана неудовлетворительной.
В любом из этих случаев текущий размер структурирующего элемента Всиг не может быть использован для окончательной обработки и, следовательно, должен быть скорректирован. Уменьшив его значение на 2, мы получим оптимальный размер структурирующего элемента В, который может быть использован для сглаживания данного бинарного растрового изображения по методу, описанному в п. 2.
4. Практические результаты
Вначале мы бы хотели уделить внимание вопросу, связанному с обработкой наклонных линий. Чтобы оценить результаты обработки мы использовали коммерческую программу - векторизатор, которая преобразовывала исходные и обработанные линии в контуры, состоящие из кривых Безье. Чем больше неровностей имеет линия, тем больше количество узлов на векторном контуре. Наклон линии изменялся от 0 до 45 градусов. Результаты обработки представлены в таб. 1. Общее заключение таково: чем больше наклон линии, тем меньше эффективность процедуры сглаживания. Данное обстоятельство может быть отнесено к недостаткам оригинального метода сглаживания средствами математической морфологии. При приближении к 0 или 90 градусам линия представляет собой совокупность коротких горизонтальных или вертикальных сегментов. В этом случае алгоритм выбора оптимального размера структурирующего элемента функционирует, как если бы эти сегменты были отдельными линиями. Однако, необходимо отметить, что не зависимо от положения линий изображения описанный выше алгоритм позволяет гарантировать сохранение топологии объекта.
Мы протестировали программу на базе описанного алгоритма на множестве различных изображений, включая сканированный текст (печатный и рукописный), рисованные бинарные растровые изображения (логотипы, картинки из библиотек и т. п.), машиностроительные чертежи и другие объекты (рис. 6). Если оригинальное изображение
Таблица 1.
Угол Изображение Увеличенная чаеть изображения Размер структ. эл-та Количество узлов
До обработки После обработки обработки После обработки
0° - ■ ■ ■ 5 88 24
9° -- 5 118 68
18° 5 149 107
27° \ N 3 188 164
36° \ \ \ 3 200 183
45° \ Ч ч 3 209 204
было полутоновым (gray scale), то предварительно использовалась бинаризация по порогу для перевода в бинарную форму.
Необходимо отметить, что мы изначально пытались найти решение проблемы только для тех изображений, которые представляют собой комбинацию графических примитивов: отрезков, окружностей, дуг, эллипсов, кривых Безье и т. п., т. е. таких изображений, которые обычно подвергаются векторизации для извлечения низкоуровневой информации. Поэтому использование описанного метода для обработки фотоизображений (даже если они бинаризованы) неэффективно, поскольку подобные изображения обрабатываются с помощью отличных от векторизации методов для извлечения сущностей иного рода.
Особенный интерес может представлять использование предлагаемого метода для предварительной обработки рукописного или печатного текста перед распознаванием. Присутствие небелого фона, низкий контраст, многократное копирование приводят к появлению шумов на цифровом изображении. Шумы проявляются как отдельные пикселы и "зазубренные" границы линий объекта, что ведет к ухудшению результатов распознавания. Задача удаления шума усложняется тем, что отдельные символы могут иметь элементы различной толщины, поэтому необходимо настраивать параметры обработки для каждого отдельного символа. Мы использовали предложенный метод для решения этой проблемы и получили обнадеживающие результаты: количество нераспознанных или распознанных неправильно OCR - системой символов уменьшилось. Однако, данное приложение требует дополнительного рассмотрения, и, возможно, создания адаптированной и/или модифицированной версии алгоритма, которая бы
Рис. 6. Примеры работы алгоритма. Слева - начальное изображение, справа - обработанное.
учитывала особенности работы конкретных OCR - систем.
Другое приложение связано с необходимостью преобразования твердых копий конструкторской документации (рабочих и сборочных чертежей, "синек", и т. п.) в цифровой векторный формат. Такого рода документация обычно содержит изображения низкого качества, что ведет к некорректному результату
процесса векторизации. Чтобы уменьшить количество ошибок, необходимо подвергнуть
изображение фильтрации,
например, с помощью средств математической морфологии.
Главное ограничение для указанных фильтров заключается в различной толщине линий объектов (Рис. 7). Описанный метод позволяет преодолеть указанное ограничение, предоставляя информацию для разделения изображение на участки в зависимости от размера структурирующего элемента, использующегося для обработки каждого из них.
Рис. 7. Пример обработки сканированного чертежа. Слева исходное изображение, справа - обработанное.
5. Заключение
В данной работе описан новый алгоритм, позволяющий автоматически выбирать размер структурирующего элемента для сглаживания бинарных растровых изображений при помощи базовых операторов математической морфологии. С одной стороны, использование указанного алгоритма позволяет гарантировать сохранение топологии объекта, с другой - обеспечивает выбор оптимального размера структурирующего элемента.
6. Литература
1. N. I. Tikhonov, O. L. Konevsky, I. V. Pikalev, "Intelligent Parametric Product Modelling System (IPPMS) as New Paradigm for Visual Thinking Prototypes in Real-Time Control Strategies", Proc. of the International Symposium Artificial Intelligence in Real-Time Control-AIRTC '98, pp. 118-121, 1998.
2. C. F. Olson, "Decomposition of the Hough Transform: Curve Detection with Efficient Error Propagation", Proc. of the European Conference on Computer Vision, pp. 263-272, 1996.
3. C. F. Olson, "Constrained Hough Transform for Curve Detection", Computer Vision and Image Understanding, vol. 73, No. 3, March, pp. 329-345, 1999.
4. J. Serra, Image Analysis and Mathematical Morphology, Vol. 2, Academic Press, 1988.
5. H. J. A. M. Heijmans, "Mathematical morphology: a Geometric Approach to Image Processing", Nieuw Archief voor Wiskunde, Vierde Serie, Deel 10, No 3, pp. 237-276, 1992.
6. H.J.A.M. Heijmans, "Connected morphological operators for binary images", Computer
Vision and Image Understanding, vol. 73, No 1, pp. 99-120, 1999.
7. U. Braga-Neto, J. Goutsias, "Automatic Target Detection and Tracking in Forward-looking Infrared Image Sequences Using Morphological Connected Operators", Proc. of the 23rd Conference on Information Sciences and Systems (CISS), Vol. 1, pp. 173-178, 1999.
8. S. Batman, N. Osman, J. Prince and J. Goutsias, "Automatic Myocardial Segmentation of Tagged MR Cardiac Images Using Morphology", Proc. of the 24th Conference on Information Sciences and Systems (CISS), Vol. 1, pp. 65-70, 2000.
