CC BY
8
УДК 004.932.72 DOI: 10.21122/2309-4923-2022-3-4-11
ЗАЕРКО Д.В., ЛИПНИЦИКИИВ. А., БОБРОВА Н. Л., ЗАЕРКО Дм. В.
ОПРЕДЕЛЕНИЕ КОНТУРОВ ОБЪЕКТОВ МЕТОДАМИ НЕ ЛИНЕЙНОЙ ФИЛЬТРАЦИИ ДЛЯ ГРАНИЧНЫХ ПИКСЕЛЕЙ
Белорусский государственный университет информатики и радиоэлектроники
При работе с алгоритмами выделения контуров объектов на растровых изображениях, основанных на операции двумерной свертки, возникает проблема обработки ими граничных пикселей в пиксельной матрице. Проблема связана с необходимостью самого алгоритма свертки использовать дополнительный набор пикселей, находящийся вне границ пиксельной матрицы обрабатываемого изображения. Эта проблема актуальна и в иных алгоритмах, объединенных общей чертой - использование операции двумерной свертки. Степень важности задачи определяется из необходимости многократного применения нелинейных фильтров к граничным пикселям, с последующим объединением нескольких изображений без искажений на границах. Существующие способы «доопределения» граничного набора пикселей, на этапе предварительной обработки пиксельной матрицы, примитивны и существенным образом влияют на последующие этапы обработки. Именно такая зависимость существует между методами «доопределения» граничных пикселей и алгоритмами выделения контуров объектов: Щарра, Прюитта, Собеля. Объект исследования в статье - пиксельная матрица полутонового изображения. Предмет изучения - оценка взаимосвязи алгоритмов выделения контуров объектов, с методами «доопределения» граничных пикселей. Основная цель - описание характеристик эффективного алгоритма заполнения граничных пикселей положительно воздействующих на последующую оценку откликов этих пикселей алгоритмами выделения контуров объектов, на основе операции двумерной свертки. Анализ, влияния алгоритма выделения контуров объектов на граничные пиксели от предварительного выбора методов «доопределения», проводится на примере объединения нескольких спутниковых снимков по контурам объектов городской инфраструктуры. Для простоты восприятия и необходимости визуализации большого объема данных (размера пиксельных матриц кодов полутонов) представлены графики: кодов полутонов доопределенных и граничных пикселей, пиксельных откликов для алгоритмов выделения контуров объекта. По проведенному анализу описаны критерии и характеристики эффективного метода «доопределения» граничных пикселей, с учетом последующего влияния их на работу алгоритмов выделения контуров объектов на растровых изображениях.
Ключевые слова: полутоновые изображения; объектов; операция двумерной свертки; оператор Собеля; доопределенные пиксели.
Введение
Процесс распознавания изображения состоит из множества взаимосвязанных и упорядоченных этапов, число которых зависит от поставленной задачи. Часто, результаты, полученные на предыдущем этапе, непосредственно влияют на дальнейший результат обработки изображения. Задача сегментации не является исключением и полностью зависит от точности и полноты информации, содержавшейся в пиксельной матрице растрового изображения - главного объекта изучения, с точки зрения компьютерной обработки [1,2,3]. Сегментация описывает широкий спектр практических задач в различных сферах (медицинская томография, идентификация лиц, системы управления роботизированной техникой, анализ спутниковая фотосъемка и т.д.), однако методы их решения имеют общие черты.
Один из вариантов решения задачи сегментации - выделение контуров объектов на растровых изображениях. Выделение контуров объектов основано на оценке яркости пикселей изображения и предполагает использование специфических математических операторов работы с матрицами. Связующим звеном в них, кроме использования пиксельной матрицы как
пиксельная матрица; сегментация; выделение контуров оператор Привитта; оператор Щарра; граничные пиксели;
объекта преобразования, является использование алгоритма двумерной свертки [4,5]. Использование данного алгоритма связано с проблемой вычисления значений сверки на граничных пикселях матрицы растрового изображения и прямой зависимостью выбора метода «доопределения» пикселей вне границ изображения, с последующей оценкой яркости пикселей [6,7]. Рассмотрим подробнее эту проблему и связь методов «доопределения» граничных пикселей с алгоритмами выделения контуров объектов.
Сегментация. Оценка яркости. Проблема выделения контуров объектов на границах растрового изображения
В цифровой обработке изображения сегментация - это процесс разделения цифрового изображения на несколько сегментов (областей, объектов), однородных по какому-либо критерию. Для решения задачи сегментации существуют два альтернативных подхода: путем наращивания точек областей (объектов), путем определения и выделения точек контуров областей (объектов). Второй подход основывается на базовом свойстве яркости сигнала - разрывности, при переходе от одной области к другой. Наиболее общий способ поиска разрывов яркости - использование сколь-
зящей маски. Скользящая маска представляет собой квадратную матрицу К, состоящую из компонентов К(х, у) или коэффициентов, над соответствующей группой пикселей растрового изображения / (х, у). Процесс применения скользящей маски к растровому изображению называется пространственной фильтрацией. Процесс фильтрации представляет собой перемещение маски фильтра от пикселя к пикселю изображения /(х, у). Для каждого из пикселей (точки) определяется отклик скользящей маски Я(х, у) с учетом ее вида. Отклик является дискретным аналогом производной яркости и вычисляется по значениям яркости в окрестности некоторого элемента изображения.
На практике для быстрого вычисления приближенных частных производных в точке (х, у) используются специального вида операторы (маски). Например, при не линейной пространственной фильтрации операторы: Прюитт, Собеля, Щарра. При линейной фильтрации операторы: Кэнни, Айверсона, Ротуэлла.
Суть операторов заключается в способности коэффициентов матрицы понижать или увеличивать значения перепадов яркости. В однотонных участках изображения, все точки имеют примерно одинаковую яркость, градиент уровней яркости низок, и в результирующем изображении подобные участки просто темнеют. Там, где имеются перепады или высокая крутизна изменения яркости на изображении будут появляются яркие линии. Схема работы операторов основана на алгоритме двумерной свертки, это значит, что последние граничные пиксели не будут обработаны из-за выхода алгоритма за пределы границ исходного изображения.
Это влечет за собой ряд вопросов [8]. Какой метод «доопределения» пикселей по оригинальному изображению выбрать? Как отразится этот выбор при оценке перепадов яркости граничных пикселей? Ведь все операторы используют схему двумерной свертки, при которой последние граничные пиксели не будут обработаны из-за выхода алгоритма за пределы границ исходного изображения. Для предотвращения выхода за границы оригинального изображения, часто используется дополнительный набор пикселей. Метод заполнения их разнится, и нет четкого критерия его выбора того или иного метода, а иногда, и вовсе предлагается использовать пиксели с нулевыми значениями. Часто методам «доопределения» не уделяется существенного внимания. Из особенности операции двумерной свертки следует, что при многократном применении, влияние доопределенного пикселя
будет увеличиваться по цепочке, воздействуя на все большее число пикселей внутри изображения.
Рисунок 1. Схема кварталов города Барселона
Рисунок 2. Полутоновая схема города Барселона
Иногда специфика прикладной задачи предъявляет требования именно на граничные пиксели, и шаблонный метод заполнения не приемлем. Например, при преобразовании спутниковых снимков в план схемы используются алгоритмы определения контуров объектов на растровых изображениях (рис 1). Соединение нескольких снимков между собой может повлечь сложности в состыковке контуров объектов, располагающихся сразу на двух снимках. Так как объекты инфраструктуры города отделены друг от друга улицами, то требуется состыковать контур объекта с контуром этого же объекта без смещений, чтобы они представляли собой единое целое. Неверно определенная граница может привести к искажениям на границах соединения снимков.
Статистические методы «доопределения» граничных пикселей и их оценка яркости
Для «доопределения» дополнительного
пикселя к граничному пикселю на границах изображения, по имеющимся пикселям оригинального изображения можно для первоначальной оценки воспользоваться широко известными статистическими методами: среднеарифметическим, среднеарифметическим взвешенным, среднегеометрическим, простым среднегармоническим, среднеквадратическим, среднекубическим, медианой, модой. Выбранные методы «доопределения» позволяют сформировать расширенное изображение, включающее как оригинальное изображение, так и дополнительные пиксели вне границы оригинального изображения. Основной интерес представляет не только выбор метода «доопределения» граничных пикселей, но и влияние доопределенных пикселей на процесс выделения контуров объектов по изменению отклика (яркости). Применяя к доопределенному изображению методы нелинейной
пространственной фильтрации, такие как: Прюитта, Собеля, Щарра, можно получить ожидаемый эффект выделения контуров объектов, согласно перепадам яркости. Методы пространственной фильтрации выбираются, исходя из одинакового размера масок и четко выраженного центрального элемента, однако, можно использовать и иные методы. Оговоримся сразу, что применение общеизвестных статистических методов, в качестве методов «доопределения», позволяет лишь очень грубо доопределить недостающий набор пикселей для дальнейшего использования на них алгоритмов выделения контуров объектов. Даже такая грубая оценка статистическими методами позволяет выделить преимущества или недостатки используемых методов, а так же, влияние на работу алгоритмов выделения контуров объектов.
Пример
Проанализируем влияние
вышеперечисленных методов «доопределения» на алгоритмы выделения контуров объектов по изображению рис 1. Пример будет носить как демонстрационный характер, так и практический, так как выделение контуров объектов на границах этого изображения необходимо для дальнейшей состыковки с другими изображениями, в соответствии с контурами объектов на обоих изображениях. Исходя из того, что интерес для анализа представляют только граничные и доопределенные пиксели полутоновой матрицы изображения и, из-за большой размерности пиксельной матрицы представим данные в виде графическом виде. С целью избежать
загромождения излишними данными на рисунках, с сохранением всей полноты информации, достаточной для аргументации выводов, можно рассмотреть одну из сторон анализируемого изображения, например левую (левый столбец пиксельной матрицы). Выбор стороны изображения произвольный, аналогичные выводы можно получить, анализируя другие стороны. Скомпонуем графики значений кодов полутонов пикселей и значений пиксельных откликов по рассматриваемым методам «доопределения». Графики черного цвета описывают значения кодов полутонов и откликов по ним после применения алгоритмов выделения контуров объектов по граничным пикселям. Графики красного цвета аналогичные значения, но по «доопреденным» пикселям. При анализе кодов полутонов, полученных методами среднегеометрическим,
среднегармоническим, среднеквадратическим, среднекубическим определено их
близкое сходство со значениями по среднеарифметическому методу.
Следовательно, их графики близки к графикам по среднеарифметическому методу, а различия не существенны. Графики для среднеарифметического метода «доопределения» имеют вид:
Сос1е'
200 150 100 50
п
0 200 400 600 800 *
Рисунок 3. Коды полутонов для граничных и «доопределенных» пикселей
о 200 400 600 800 *
Рисунок 4. Значение откликов по методу Собеля для граничных и «доопределенных» пикселей
R *
500
400 300 200 100
0
200
400
600
800 ж
200
400
600
800 л
Рисунок 5. Значение откликов по методу Прюитта для граничных и «доопределенных» пикселей
Рисунок 6. Значение откликов по методу Щарра для граничных и «доопределенных» пикселей
Графики для среднеарифметического взвешенного метода «доопределения»
Code 200 150 100 50
О
200
400
600
■ ■ ) 800 j
200
Рисунок 7. Коды полутонов для граничных и «доопределенных» пикселей
400 600 800
Рисунок 8. Значение откликов по методу Собеля для граничных и «доопределенных» пикселей
Рисунок 9. Значение откликов по методу Прюитта для граничных и «доопределенных» пикселей
Рисунок 10. Значение откликов по методу Щарра для граничных и «доопределенных» пикселей
Графики для «доопределения» методом медианны
Code
200
Рисунок 11. Коды полутонов для граничных и «доопределенных» пикселей
0 200 400 600 800 *
Рисунок 12. Значение откликов по методу Собеля для граничных и «доопределенных» пикселей
200 400 600 800 х
Рисунок 13. Значение откликов по методу Приютта для граничных и «доопределенных» пикселей
800 *
Рисунок 14. Значение откликов по методу Щарра для граничных и «доопределенных» пикселей
Графики для «доопределения» методом мода
Рисунок 15. Коды полутонов для граничных и «доопределенных» пикселей
Рисунок 16. Значение откликов по методу Собеля для граничных и «доопределенных» пикселей
R f
0 200 400 600 800 x
Рисунок 17. Значение откликов по
методу Прюитта для граничных и «доопределенных» пикселей
С первого взгляда графики на рисунках рис 3, рис 7, рис 11, рис 15 близки, однако при детальном рассмотрении заметны отличия. Например, видны отличия в числе пиков на графиках доопределенных значений. Методов «доопределения» среднеарифметическим, среднеарифметическим взвешенным и медианой имеют фиктивные скачкообразные значения в местах, где скачкообразных значений для граничного пикселя не наблюдается. Метод «доопределения» модой не имеет такого недостатка. Для метода моды на графиках наблюдается частое преобладание значений по граничным пикселям над «доопределенными» и отсутствие сглаживающего эффекта, который наблюдается при других методах. Сглаживание экстремальных значений, ожидаемо и исходит из специфики методов вычисления среднего. Такое поведение приведет к отсутствию учета небольших колебаний в граничных значениях для одной и той же строки матрицы. Описанный случай является негативным, и на практике приведет к ошибкам определения кодов полутонов, видоизменению или смещению границ объектов. Анализируя числовые данные для всех методов, кроме метода моды, присутствует тенденция «запаздывания», когда значения по граничным пикселям возрастают или убывают позже, чем для методов «доопределения». На практике этот феномен негативно скажется на «пиксельной размытости» или нечеткости границ объектов.
Проведем промежуточный анализ дисперсий кодов полутонов до и после включения доопределенных значений. Для всех методов, кроме метода моды, значения дисперсии до включения доопределенного пикселя преобладают над дисперсиями после их включения. Такой эффект сглаживания значений кодов полутонов приводит к размытости границ объектов. Особенностью оценки дисперсии является то, что в точках обнуления дисперсия фактически указывает на место объектной сегментации. В прикладной интерпретации -
R А
2500
0 200 400 600 800 *
Рисунок 18. Значение откликов по методу Щарра для граничных и «доопределенных» пикселей
улиц и прочих объектов городской инфраструктуры между домами.
Визуальный анализ графиков значений откликов для граничных и доопределенных писклей показал прямую зависимость значений откликов на границах изображения от выбора метода «доопределения» пикселей (рис 8-10), (рис 12-14), (рис 16-19). Выводы, полученные при оценке значений кодов полутонов и их дисперсии справедливы и в отношении оцениваемых откликов. Наиболее близкие значения откликов, по доопределенным значениям к откликам по граничным пикселям, были получены с использованием моды. Оценивая влияние оценки яркости от выбора метода, лучшие результаты были получены при использовании моды, независимо от выбранного алгоритма выделения контуров объектов. Однако, учитывая преимущества этого метода «доопределения» (отсутствие фиктивных скачкообразных значений, отсутствие сглаживающего эффекта и запаздывания), выявлен его главный недостаток - единичные пропуски пиковых доопределенных значений, при наличии таковых у граничных.
Заключение
Проблема неучтенных граничных пикселей, возникающая при использовании операции двумерной свертки в алгоритмах выделения контуров объектов, широко распространена и оказывает существенное влияние на обработку граничных пикселей растровых изображений. Краткий сравнительный анализ методов «доопределения» граничных пикселей позволил учитывать сильные и слабые стороны общеизвестных статистических методов, при использовании их для решения описанной задачи. Выявлена высокая степень влияние выбранного метода «доопределения» граничного пикселя на алгоритмы, использующие в своей основе операцию двумерной свертки: Собеля, При-ютта, Щарра.
ЛИТЕРАТУРА
1. Яне Б. Цифровая обработка изображений. Москва: Техносфера, 2007. - 584с.
2. Фисенко В. Т. Фисенко. Т.Ю. Компьютерная обработка и распознавание изображений: учеб. пособие. - СПб: СПбГУ ИТМО, 2008. -192 с.
3. Форсайт Д. Понс Ж. Компьютерное зрение. Современный подход. - Вильямс, 2004. — 928 с.
4. Брейсуэлл Р Н. Преобразование Хартли: Пер с англ. - М.:Мир, 1990. - 175 с.
5. Оппенгейм А. Шафер Р. Цифровая обработка сигналов, Москва, Связь, 1979.
6. Заерко, Д. В. Анализ методов определения граничных пикселей полутонового изображения при операции двумерной свертки. / Д. В. Заерко, В.А. Липницкий // Новости науки и технологии. - 2021. - № 2. - С 43 - 52.
7. Bailey DG. Image border management for FPGA based filters. In: 6th IEEE international symposium on electronic design, test and applications, Queenstown, 17-19 Jan 2011, pp 144-149.
8. Заерко, Д. В. Оценка откликов в методах не линейной пространственной фильтрации для контуров объектов на границах изображения / Д. В. Заерко, В. А. Липницкий // «Молодежь в науке - 2.0'21»: тезисы докладов XVIII Международная конференция молодых ученых, Минск, 6 июня 2021 г. / Национальная академия наук Республики Беларусь; редкол. : Т. В. Бор-ботько [и др.]. - Минск, 2021.
REFERENCES
1. Yane B. Cifrovaya obrabotka izobrazhenij. Moskva: Tekhnosfera, 2007. - 584p.
2. Fisenko V T. Fisenko. T. U. Komp'yuternaya obrabotka i raspoznavanie izobrazhenij: ucheb. posobie. - SPb: SPbGU ITMO, 2008. -192 p.
3. Forsyth. D, Ponce. J. Computer vision: a modern approach. Upper Saddle River, N.J., Prentice Hall, 2003.
4. Ronald N. B. The Hartley Transform. //Oxford University Press, Inc. 1986 Madison Ave. New York, NY United States.
5. Oppenheim. A. Schafer R. Digital signal processing, 1979. - 283 p.
6. Zaerko, D. V. Analiz metodov opredeleniya granichnyh pikselej polutonovogo izobrazheniya pri operacii dvumernoj svertki. / D.V Zaerko, VA. Lipnitski // Novosti nauki i tekhnologii. - 2021. - № 2. - P 43 - 52.
7. Bailey DG. Image border management for FPGA based filters. In: 6th IEEE international symposium on electronic design, test and applications, Queenstown, 17-19 Jan 2011, pp 144-149.
8. Zaerko, D. V. Ocenka otklikov v metodah ne linejnoj prostranstvennoj fil'tracii dlya konturov ob»ektov na granicah izobrazheniya / D.V. Zaerko, V.A. Lipnitski // «Molodezh' v nauke - 2.0'21»: materials of the international scientific conference, National Academy of Sciences of Belarus, Minsk, Rep. Belarus, 27-30 Sep, 2021.
ZAERKO D. V., LIPNITSKI V. A., BOBROVA N. L, ZAERKO Dm. V.
OBJECTS OUTLINE DELINEATION BY NONLINIEAR FILTRATION METHODS
FOR BOUNDARY PIXELS
Belarusian State University of Informatics and Radioelectronics
A processing of border pixel from pixel map originate problem while work with outline objects segmentation algorithm on bitmap images, which are based on 2D convolution operation. The problem correspond with addition set of pixels which are outside pixel matrix border of processing image. This problem is actual also in other algorithms, which have a common feature - 2D convolution operation. The level of importance are defined by multi used nonlinearfilters to border pixels and then union a few images without distortions at the boundaries. The existing methods of pixel set redefining on pre processing step are primitive and affects on subsequent stages ofprocessing. This affects exist between methods of redefining border pixels and algorithms of outline objects segmentation: Sharra, Pruitta, Sobel. The object of investigation is pixel map of halftone image. The subject of investigation is relation assessment between algorithms of outline objects segmentation with methods redefining border pixels. The main target is describing of features special methods to redefining border pixels which positively affecting the subsequent evaluation of the responses for this pixels by algorithms of outline objects segmentation. Analysis, the influence of the algorithm for the outline objects segmentation on the boundary pixels from the preliminary selection of methods of redefinition is carried out by example of combining several satellite images along the outline of urban infrastructure. For simplicity and by necessary of large data volume visualization (pixel half tone matrix size) presented graphs: halftone codes for redefining and border pixels, pixels requests for the algorithm of outline objects segmentation. By analysis criteria and characteristics of an effective method of redefining boundary pixels are described with correspond affects on algorithms of outline objects segmentation on bitmap images.
Keywords: half-tone image; pixel matrix; segmentation; outline of objects; convolution; Sobel operator; Prewitt operator; operator Sharra; boundary pixels; pixel redefining.
Заерко Денис Владимирович, аспирант кафедры информатики БГУИР, область научных исследований - машинные алгоритмы распознавания объектов, машинное обучение, анализ данных. Zaerko D. V., postgraduate student, Informatics department of BSUR.
Email: zaerko1991@gmial.com
Липницкий Валерий Антонович, профессор, доктор технических наук, кафедра информатики БГУИР, область научных интересов - алгебра и ее приложения, защита информации от помех и несанкционированного доступа.
Lipnitski.VA, Doctor of technical sciences, Professor, Informatics department of BSUR. E-mail: valipnitski@yandex.by
Боброва Наталия Леонидовна, кандидат технических наук, доцент кафедры информатики БГУИР, область научных исследований - прикладная логика, нечеткие множества, система поддержки принятия решений.
Bobrova N. L, Ph. D of technical sciences, associate Professor of the Informatics Department of BSUR. Email: bobrova@bsuir.by
Заерко Дмитрий Владимирович, старший преподаватель кафедры электротехники и электроники ГрГУ им. Я. Купалы, область научных интересов - радиоэлектроника, статическая радиофизика, взаимодействия электромагнитного излучения с периодическими структурами и композиционными материалами.
Zaerko. Dm. V., Senior Lecturer, Electrotechnics and electronic department of GRSU. E-mail: zaerko1983@gmail.com
