АЛГОРИТМ ВЕСОВОГО ОПРЕДЕЛЕНИЯ ГРАНИЧНЫХ ПИКСЕЛЕЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.932.72

Д. В. ЗАЕРКО, В. А. ЛИПНИЦИКИЙ

АЛГОРИТМ ВЕСОВОГО ОПРЕДЕЛЕНИЯ ГРАНИЧНЫХ ПИКСЕЛЕЙ

Белорусский государственный университет информатики и радиоэлектроники,

Минск, Республика Беларусь

При работе с методами подавления цифрового шума, основанных на операций двумерной свертки, возникает необходимость обхода алгоритмами граничных пикселей в пиксельной матрице полутонового изображения. Проблема возникает в связи с особенностью самого алгоритма свертки, по которому происходит воздействие центра ядра матрицы свертки к элементу пиксельной матрицы. Данная особенность характерна для целого класса методов, использующих операцию двумерной свертки. Существует ряд примитивных способов ее решения, однако, ни один из этих способов не соблюдает консенсус между экономным использованием ресурсов и заполнением граничных пикселей кодом (числом бит на пиксел) полутона, наиболее близким по полутонам с соседними пикселями. Объект исследования в статье - пиксельная матрица полутонового изображения. Предмет изучения - алгоритмы заполнения граничных пикселей близким кодом полутона при воздействии ядра на пиксельную матрицу полутонового изображения. Основная цель - создание эффективного алгоритма заполнения граничных пикселей матрицы близкими по коду полутона с соседними для последующего использования этих граничных значений при выполнении двумерной свертки. Заполненные граничные пиксели позволят учесть в операции свертки все пиксели исходного полутонового изображения. Предлагается алгоритм заполнения проблемного граничного пикселя на этапе пошагового вычисления величины влияния центра ядра свертки на пиксел, при обращении к которому алгоритм свертки выходит за границы пиксельной матрицы оригинального полутонового изображения. Алгоритм учитывает «особые» случаи выхода за границы и позволяет при обращении к несуществующему элементу определить код полутона пикселя. Алгоритм прост для программирования и легко интегрируется с базовым алгоритмом работы двумерной свертки в методах подавления цифрового шума.

Ключевые слова: Пиксельная матрица, дефекты цифрового изображения, подавление цифрового шума, операция двумерной свертки, шумофильтрация, граничные пиксели, полутоновые изображения.

Введение

Пиксельная матрица, с точки зрения компьютерной обработки, является главным объектом изучения и содержит всю полноту информационных характеристик растрового изображения. Логично, что при обработке исходной пиксельной матрицы машина работает лишь с численными значениями и не имеет понятия об эффектах, критически важных для восприятия человеческим глазом: эффектах отсутствия четкости, цветовых дефектах, наличии цифрового шума и т.д. Все эти дефекты цифрового изображения должны быть устранены на этапе предварительной обработки. Данный этап предполагает получение на основе оригинала максимально точного и адаптированного для автоматического анализа изображения. От его выполнения существенно зависит сохранение или изменение полноты информационных характеристик анализируемого изображения.

Предварительная обработка изображения [1-5] для подавления цифрового шума, как основного побочного эффекта, возникающего при работе с фото-сенсорами и электронными устройствами, предполагает использование математических методов работы с матрицами линейного усреднения точек по соседям и т.д. Связующим звеном в этих методах, кроме использования пиксельной матрицы как объекта преобразования, является использование алгоритма двумерной свертки. Однако, использование данного алгоритма сопряжено с проблемой вычисления значений сверки на граничных пикселях матрицы растрового изображения [6]. Рассмотрим подробнее эту проблему и предложим метод ее решения.

Операция двумерной свертки, проблема граничных пикселей

В практике цифровой обработки изображений широко используется некаузальная

масочная фильтрация. Маской называют функцию а(г, j), которая представляет собой весовые коэффициенты, заданные во всех точках окрестности, обычно симметрично окружающую рабочую точку кадра. В теории масочной фильтрации часто используется понятие двумерной свертки, с помощью которой можно создавать графические фильтры и воздействовать на изображения. Как известно, в работе с изображениями, свёртка - это операция вычисления нового значения заданного пикселя, при которой учитываются значения окружающих его соседних пикселей [7, с. 47]. Главным элементом свёртки является ядро свёртки, представляющее собой матрицу произвольного размера и отношения сторон (чаще всего матрица размером 3х3). Основная идея работы свертки проста [8, 9]. При вычислении нового значения выбранного пикселя изображения, ядро свёртки воздействует своим центром ядра на пиксел изображения. Соседние пиксели так же взаимодействуют с ядром. Далее, вычисляется сумма произведений значений пикселей изображения на значения, сопоставляемого с данным пикселем элемента ядра. Полученная сумма и является новым значением выбранного пикселя. Если применить двумерную свёртку к каждому пикселю изображения, то получится некий эффект, зависящий от выбранного ядра свертки. А теперь зададимся вопросом, как должен отработать алгоритм свертки на краях изображения? Существует множество ответов на этот вопрос, однако оптимального, с точки зрения объемов использования памяти и уменьшения шума на преобразованном изображении, без потери основных дескрипторов, пока не найдено. Наиболее часто используются следующие подходы.

1. Создание изображения большего размера, чем исходное, у которого на краях будут заданы дополнительные значения пикселей. Дополнительные значения могут быть: равными 0, полученными с другой стороны изображения, продублированным крайним пикселем изображения, отраженными относительно границ, полученными экстраполяцией и т.д.

2. Создание промежуточного изображения. В центр изображения копируется входная картинка, а края заполняются крайними пикселями изображения. Размытие применяется

к промежуточному буферу, а потом из него извлекается результат.

Это лишь немногие методы решения возникшей проблемы. Учитывая все возрастающий интерес к визуальному распознаванию и коррекции растровых изображений, однозначно можно утверждать то, что число разнообразных фильтров на основе операции двумерной свертки будет лишь увеличиваться. В свою очередь, это приводит к поиску более эффективных способов решения проблемы граничных пикселей в алгоритме двумерной свертки. Применение различных методов для обработки одного и того же изображения предполагает неодинаковое использование вычислительных ресурсов. Основной же целью является улучшение качества обрабатываемого изображения. Это указывает на необходимость соблюдения консенсуса между экономией вычислительных ресурсов и улучшением обрабатываемого изображения. Алгоритм свертки, дополненный модификацией для корректной обработки граничных пикселей, не должен расточительно использовать ресурсы, но определять наиболее близко код полутона граничных пикселей относительно исходного изображения.

Весовой алгоритм определения кода полутона

для граничных пикселей полутонового изображения

На наш взгляд, наиболее эффективным здесь является следующий, альтернативный, весовой метод работы с кодами полутона граничных пикселей для алгоритма двумерной свертки, основные черты которого были впервые представлены в [10]. Модификация не предполагает создания промежуточного изображения, а лишь использования квадратной

подматрицы пикселей А + = {а+у }пхп порядка

~ 2 « ' п, состоящей из п пикселей оригинальной

матрицы А = {а1 J }Нхм; п < тт(Н + 2 м + 2). Номера строк и столбцов матрицы А обозначим через I = 0 , Н +1 , J = 0 , м +1.

Очень важны диапазоны изменения индексов строк и столбцов г, у (далее так же k,р ) элементов пиксельной подматрицы. Диапазоны изменений будут существенно разниться, в зависимости от расположения стороны (левая, нижняя, правая, верхняя)

граничных пикселей относительно оригинальной пиксельной матрицы полутонового изображения А. Расположение и соответствующие ему диапазоны индексов будут

(i, j ) =

Далее указание изменения диапазонов строк и столбцов в описании формул будет опускаться, предполагая выбор его заранее, в зависимости от I = 0, h +1, I = 0, w +1.

Код полутона проблемного пикселя определяется, исходя из наиболее часто встречающихся кода полутонов среди других (2 пикселей а+! подматрицы АА и располагается в непосредственной близости от граничного пикселя.

Под близкими, имеется в виду 12 пикселей, являющихся смежными к граничному пикселю на глубину до t пикселей. Величина t определяется произвольно, исходя только из трех условий: четного значения, ограничений вычислительных возможностей системы и размера изображения, ограниченных меньшей

„ [ 3,5, -1; h < w;

границей т.е t = < .

[3,5,...,w-1; w < к

Модификация предполагает использование специальных весовых коэффициентов пикселей а, ■ для каждого пикселя, отвечающего за оценку «встречаемости» этого кода полутона среди других кодов полутонов t2 пикселей.

Итак, опишем основные этапы алгоритма, учитывая известные строку и столбец I = 0, h +1, I = 0, w +1 граничного пикселя, для которого необходимо провести вычисление.

1. Вычисление угловых точек. Особым случаем будет расчёт 4 «угловых» граничных пикселей относительно оригинального полутонового изображения, которые могут быть вычислены сразу же, и из-за их небольшого числа не будут играть существенную роль.

а0,0 = а1,1;ай+1,0 = ай,1; а0;п+1 = ;ай+^+1 = .

2. Подготовка весовых коэффициентов пикселей. Все весовые коэффициенты а, 3 для элементов а+3 принимают равные значения

определяться, исходя из заданных номеров строк и столбцов I = 0, h +1, I = 0, w +1 граничного элемента матрицы требующего вычисления по правилу:

I = 0;0 < I < h +1;

0 < I < w +1; I = h +1;

1 = w +1;0< I < h +1; 0 < I < w +1;I = 0.

а:: = . Значение t выбирается, исходя их

, 3 t

двух приведенных выше ограничений.

3. Вычисление результирующих весовых коэффициентов. Для вычисления результирующего весового коэффициента res(а, 3) для пикселя а+3 необходимо суммировать весовые коэффициенты ак р; для пикселей а+ при а+: = а+ . Иначе, оставить результирующий вес :) неизменным, то есть

а: , 3) = а к , р 1 а+3 = ак, р

к р

Определение значения кода полутона граничного пикселя. Значения граничных пикселей определяется по оценке результирующих весовых коэффициентов, полученных на шаге 2.

Среди результирующих весовых коэффициентов res(аi 3) для пикселей а+3 находится коэффициент с максимальным значением. Если его значение не равно заданному значению на первом шаге: тах{га(а, 3)} ^ —, то очевидно, что коэффициент характеризует пиксель а+з с наиболее часто повторяемым полутоном среди других t2 пикселей, и граничный пиксель примет его значение. Если максимальное значение не изменилось: 1 2 шах{ге5(а,- 3)} = то все t пиксели имеют

различные коды/ полутона или сформировались группы пикселей, равные по числу пикселей, но различные по коду полутона. В этом случае граничным пикселем будет первый ближайший смежный пиксель, то есть: а+ для левых граничных пикселей на изображении, а+у/ для правых, для верхних, а+ , для нижних. Представим вышесказанное в виде формул, подставляя вместо I = 0 ,h +1,1 = 0 , w +1 номер строки и столбца для пикселя, для которого необходимо провести вычисление.

Для угловых граничных пикселей справедливы следующие выражения 1-4:

: = 1 + пЦ -1) , Ы; 3 = 1, п; если,

: = (^ +1) - п, Ь, 3 = 1 + п(1 -1), 1п; если,

: = 1 + пЦ -1), Ы;3 = ^ +1) - п, w; если,

, = 1, п',3 = 1 + п(1 -1), 1п; если,

При / = 0;1< I <

+1; или / = 0; Н -

< I < Н для левых граничных пикселей

а1,0 =

а+у, если тах{^(аг у)} Ф —; г = 1,

t t

Н - , Н; у = 1,

2 2

аг+1, если max{res(аi ,)} = -2; г = 1, , t

t t

Н- , Н; у = 1,

2 2

(1)

При I = Н +1;1 < J <

+1; или I = Н +1; Н -

< / < Н; для нижних граничных пикселей:

-*Н+1,/

1 t , Н; у = 1,

т ;г=н - +1; у = м -

г2 _ 2 ] _ 2 ] 1_ 2 ]

-2 ;г = Н - t , Н; у = 1, t +1; у = м - t

t2 2 2 2

(2)

При J = м +1;1< I <

+1; или / = м +1; м -

< I < щ для нижних граничных пикселей:

а

I +1

3+1,<

1 • , + 1;г = Н - , t; у = м -

-Г; г = 1,

t2 _ 2 ] _ 2 ] _ 2 ]

1 t + 1;г = Н - t , ^ у = м -

-г;г = 1,

t2 2 2 2

При I = 0;1< / <

+1 или I = 0; м -

< / < м для нижних граничных пикселей:

а0,/ =

1 г г г

т ;г = 1, +1; у = 1, +1; у = м -

t2 _ 2 ] _ 2 ] _ 2 ]

1 ;г = 1, t +1; у = 1, t +1; у = м - t

t2 2 2 2

При / = 0;

t t

< I < Н -

_ 2 _ _ 2 _

а1,0 =

а+ у, если тах{^(аг- у)} ф —; г = I -

для левых граничных пикселей:

; у = 1, ^

1

I +

а+, если тах{^(аг у)} = -1; г = I -

, Г

, I +

; у = 1, ^

При I = Н +1;

t t

< / < м -

_ 2 _ _ 2 _

для нижних граничных пикселей:

',]П ? 1

Г Г

/ - , / +

_ 2 ] _ 2 ]

аН1, если тах{^(аг ,)} = — ;г = Н +1 -1, Н;у = 1 + -1), Д.

t

При / = м +1;

t t

< I < Н -

_ 2 _ _ 2 _

для правых граничных пикселей:

а

I +1

а+у, если тах{^(аг- у)} ф —; г = I -

I +

;у = м -1, м;

а+м,если тах{^(а,- у)} = — ;г = 1 + -1),It;у = м +1 -t,м. , t2

(3)

(4)

(5)

(6)

(7)

+

+

+

+

+

+

При

t < J < w - t

L 2 J L 2 J

; I = 0 для верхних граничных пикселей:

aoj =

a j, если

a1 j, если

max{res(a;- j )} ф -2; i = 1, t;j = I -

t

I +

max{res(a;,j)} = -2;i = 1,t;j = I -

f° 1

0 0 0

° 0;

I+

(8)

Пример. Пусть необходимо выполнить операцию двумерной свертки матриц Л*^ где, А = [а1 з };*' = 1, к; у = 1, п; h = 5, п = 5; центр ядра К равен 1 и для оценки граничных пикселей будут использоваться t2 = 32 смежных пикселей.

( 85 93 236 226 66 ^

55 13 30 30 194

А *К = 185 94 144 46 92

73 121 207 252 121

54 219 252 250 9

Для граничных элементов матрицы А алгоритм свертки требуется получить недостающие элементы. Эля этого воспользуемся формулами весового алгоритма (1)-(8). Алгоритм не требует одновременное определение всех «граничных» элементов, а только по мере обращения к ним алгоритма двумерной свертки. Для наглядности определим их все сразу. Не линейное действие алгоритма заметно на подчёркнутых элементах.

a°,° =a1,1 = 85; a6,0 = a5,1 = 54; a0,6 = a1,5 = 66; a0,0 = a1,1 = 85;

a1,0 = a1+1 = 85; a6,1 = a5,1 =54; a1,6 = a+5 = 66; a0,1 = a1,1 = 85;

a2,0 =a+,1 = 55; a6,2 = a5+,2 =219; a2, = a2,3 = a2,4 = 30; a0,2 = a1,2 = 93;

a3,0 = a3+1 = 185; a6,3 = a4,4 = a5,3 = 252; a3, = a2,3 = a2,4 = 30; a0,3 = a2,3 = a2,4 = 30'

a4,0 =a+,1 = 73; a6 4 = a4 4 = a5 3 = 252; a4,6 = a4 4 = a5 3 = 252; a0 4 = a2 3 = a2 4 = 30;

a5,0 = a5+,1 = 54; a6,5 = a+,5 =9; a5,6 = a+,5 =9; a0 , 5 = a+5 = 66;

a6,0 = a5+,1 = 54; a6,6 = a+,5 =9; a6,6 = a+,5 =9; a0,6 = = 66

Алгоритм свертки матриц А * К будет работать с граничными элементами доопределенной матрицы Ар. Матрица Ар = {а^}; I = М + 1; I = 0, п +1; h = 5, п = 5; состоит только из элементов оригинальной матрицы А и уже вычисленных доопределенных элементов. Матрица Ар указана в приме-

ре лишь для наглядности. На практике хранить промежуточную матрицу Ар не требуется, в связи с тем что, не требуется вычислять одновременно все недостающие элементы и для вычислений можно обойтись обращением к элементам оригинальной матрицы А , а не к элементам ее копии.

Af *K =

8 1<л 85 93 30 30 66 66 ^ 8 1<л 85 93 30 30 66 66 N

85 85 93 236 226 66 66 85 85 93 30 30 66 66

55 55 13 30 30 194 30 f0 1 0^ 55 85 93 236 226 66 30

185 185 94 144 46 92 30 * 0 0 0 = 185 55 13 30 30 194 30

73 73 121 207 252 121 252 ,0 0 0; 73 185 94 144 46 92 252

54 54 219 252 250 9 9 54 73 121 207 252 121 9

v54 54 219 252 252 9 9 ; .54 54 219 252 252 9 9 ;

Далее, с учетом размерности оригинальной матрицы А, получим свертку матриц следующего вида:

A* * K ^ A * K =

8 85 93 30 30 66 66 ^

85 85 93 30 30 66 66 Г 85 93 30 30 66 "

55 85 93 236 226 66 30 85 93 236 226 66

185 55 13 30 30 194 30 55 13 30 30 194

73 185 94 144 46 92 252 185 94 144 46 92

54 73 121 207 252 121 9 73 V 121 207 252 121V

v 54 54 219 252 252 9 9 V

В результате получена матрица, в которой граничные пиксели были учтены в операции двумерной свертки, а ядро свертки, в случае с граничными пикселями, воздействовало с учетом пикселей вычисленных по весовому принципу. Это значит, что каждый граничный пиксел матрицы получен с учетом близости кода полутона близлежащих пикселей.

Заключение

Проблема необработанных граничных пикселей, возникающая при работе с операциями двумерной свертки для подавления цифрового шума, широко распространена в связи с повсеместным использованием методов на основе свертки в области машинного зрения. Описанный алгоритм позволяет учесть все граничные пиксели при

предварительной обработке пиксельного изображения, и решить проблему целого класса методов, а не только отдельных случаев. Особенность представленного алгоритма в том, что он не предполагает хранение промежуточного изображения, а лишь обращения к элементам оригинальной матрицы. Это экономит ресурсы системы и одновременно заполняет недостающие пиксели близкими по полутону значениям по весовому критерию. Алгоритм позволяет варьировать величину t , отвечающую за рассмотрение t2 близлежащих элементов пиксельной матрицы для граничного пикселя и тем самым подстраиваться под вычислительные возможности используемой системы. Отсутствие жестких ограничений позволяет использовать алгоритм для широкого спектра методов, где задействована операция двумерной свертки.

ЛИТЕРАТУРА

1. Гашников М. В. Методы компьютерной обработки изображений., Методы компьютерной обработки изображений / Под ред. В. А. Сойфера.- 2-е изд., испр.- М.: ФИЗМАТЛИТ, 2003.- 784 с.

2. Яне Б. Цифровая обработка изображений. Москва: Техносфера, 2007.- 584с.

3. Фисенко В. Т., Фисенко Т. Ю. Компьютерная обработка и распознавание изображений: учеб. пособие.- СПб: СПбГУ ИТМО, 2008.-192 с.

4. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход.- Вильямс, 2004.- 928 с.

5. Шапиро Л. Компьютерное зрение / Л Шапиро, Дж. Стокман; Пер. с анг.- М.: БИНОМ. Лаборатория знаний, 2006.- 752 с.

6. Bailey D. G. Image border management for FPGA based filters. In: 6th IEEE international symposium on electronic design, test and applications, Queenstown, 17-19 Jan 2011, pp 144-149.

7. Брейсуэлл Р. Н. Преобразование Хартли: Пер с англ.- М.: Мир, 1990.- 175 с.

8. Хиршман И. И., Уиддер Д. В. Преобразования типа свертки. М.: Издательство иностранной литературы, 1958.- 312 с.

9. Оппенгейм А., Шафер Р. Цифровая обработка сигналов, Москва, Связь, 1979.

10. Заерко Д. В. Весовой метод решения проблемы граничных пикселей в алгоритме сверточной фильтрации цифрового шума / Д. В. Заерко, В. А. Липницкий // Кодирование и цифровая обработка сигналов в инфокоммуникациях: материалы международной научно-практической конференции, Минск, 24 апреля 2020 г. /; редкол.: В. К. Конопелько, В. Ю. Цветков, Л. А. Шич-ко.- Минск, 2020.- С. 59-63.

REFERENCES

1. M. V. Gashnikov, N. I. Glumov, N. Yu. Il'yasova, V. V. Myasnikov, et al., Computer Image Processing Methods, Ed. by V.A. Soifer, Fizmatlit, Moscow, 2003.- 784 p.

2. Yane B. Cifrovaya obrabotka izobrazhenij. Moskva: Tekhnosfera, 2007.- 584p.

3. Fisenko V. T., Fisenko T. U. Komp'yuternaya obrabotka i raspoznavanie izobrazhenij: ucheb. poso-bie.- SPb: SPbGU ITMO, 2008.-192 p.

4. Forsyth. D, Ponce. J. Computer vision: a modern approach. Upper Saddle River, N.J., Prentice Hall, 2003.

5. Shapiro L. Kompyuternoezrenie / L Shapiro, Dzh. Stokman; Per. s ang.- M.: BINOM. Laboratoriy aznanij, 2006.- 752 p.

6. Bailey D. G. Image border management for FPGA based filters. In: 6th IEEE international symposium on electronic design, test and applications, Queenstown, 17-19 Jan 2011, pp 144-149.

7. Ronald N. B. The Hartley Transform. //Oxford University Press, Inc. 1986 Madison Ave. New York, NY United States.

8. Hirshman I. I., Uidder D. V. Convolution / Hirshman I. I, Uidder D. V. Conversion type svertki, 1958.- 312 p.

9. Oppenheim A., Schafer R. Digital signal processing, 1979.- 283 p.

10. Zaerko, D. V. Weighted method solving of boundary pixels problem in digital noise convolution filtering algorithm / D. V. Zaerko, V.A. Lipnitski // Kodirovanie i cifrovaya obrabotka signalov info-kommunikaciyah: materials of the international scientific conference, BSUIR, Minsk, Rep. Belarus, 24 April 2020 г.- P. 59-63.

Поступила После доработки Принята к печати

01.08.2020 01.12.2020 01.12.2020

ZAERKO D. V., LIPNITSKI V A.

WEIGHTED DETERMINATION ALGORITM OF BOUNDARY PIXELS

Belarusian State University of Informatics and Radioelectronics, Minks, Republic Belarus

While working with digital noise reduction techniques, which are based on theory of convolution matrix and used convolution operation, it necessary to use algorithms to bypass boundary pixels in the image pixel matrix. The problem exists because convolution itself algorithm have peculiarity, it mean that peculiarity convolution kernel used to each element ofpixel matrix. Thatfeature characterize a lot of classes of methods which used idea of convolution matrix. There are a lot ofprimitive ways to solve it, but none of these ways made a consensus between economical use of resources and filling border pixels with colour coding, which is not so far from colours of corresponding pixels. The object of research is pixel matrix of image. The subject of study is algorithms forfilling boundary pixels when superimposing a convolution matrix on a pixel matrix of an image. The main target is creating of effective filled algorithm for border pixels which are close to code colour to relation pixels for used in convolution matrix. Filled border pixels will use to operation convolution for each pixels original image. Algorithm of filled border pixels by step of applied convolution kernel anchors to the pixel, when pixel accessing in convolution algorithm goes beyond the pixel matrix of the original image. Algorithm takes into account the «special» cases of overstepping and allows to do fast calculation to determine the colour code of the missing pixel. The algorithm is simple to program and easily integrates with the basic convolution matrix algorithm in digital image defects.

Keywords: pixel matrix, digital image defects, digital noise suppression, 2D convolution, noise filtering, boundary pixels,

Заерко Денис Владимирович, аспирант кафедры информатики БГУИР, область научных исследований - машинные алгоритмы распознавания объектов, машинное обучение, анализ данных. Zaerko. D., postgraduate student, Informatics department of BSUR. Email: zaerko1991@gmail.com

halftone image.

Липницкий Валерий Антонович, профессор, доктор технических наук, кафедра информатики БГУИР, область научных интересов - алгебра и ее приложения, защита информации от помех и несанкционированного доступа.

Lipnitski.V.A., Doctor of technical sciences, Professor, Informatics department of BSUR.

E-mail: valipnitski@yandex.by.