CC BY
26
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
Система признаков для расширенного суперпиксельного представления изображений
А.А. Егорова1, В.В. Сергеев 12 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34, 2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151
Аннотация
Как правило, при решении прикладных задач анализа и обработки изображений на основе суперпиксельного представления используется малый набор признаков суперпикселей. Расширение описания суперпикселей может повысить качество обрабатывающих алгоритмов. В статье предлагается набор из 25 базовых признаков суперпикселей, характеризующих их форму, яркость, геометрические параметры и положение на плоскости. Предлагаемые признаки отвечают требованиям низкой сложности вычисления в процессе сегментации изображения и достаточности для решения широкого класса прикладных задач. На их основе представлена модификация известного подхода к формированию суперпикселей, которая заключается в быстрой первичной суперпиксельной сегментации изображения со строгим предикатом однородности, обеспечивающим получение суперпикселей, с высокой точностью сохраняющих информацию исходного растрового изображения, и последующем укрупнении суперпикселей при более мягких предикатах однородности. Экспериментально показано, что такой подход позволяет существенно сократить число элементов изображения, что способствует снижению сложности обрабатывающих алгоритмов, а расширенные суперпиксели более точно соответствуют содержательным областям изображения.
Ключевые слова: суперпиксельная сегментация, признак, моментные инварианты, полиномиальная аппроксимация.
Цитирование: Егорова, А.А. Система признаков для расширенного суперпиксельного представления изображений / А.А. Егорова, В.В. Сергеев // Компьютерная оптика. - 2021. -Т. 45, № 4. - С. 562-574. - DOI: 10.18287/2412-6179-CO-876.
Citation: Egorova AA, Sergeyev VV. Extended set of superpixel features. Computer Optics 2021; 45(4): 562-574. DOI: 10.18287/2412-6179-CO-876.
Введение
Большинство известных методов обработки и анализа изображений использует «растровое» представление обрабатываемых двумерных данных в виде регулярной решётки значений (отсчётов, пикселей) функции яркости или какого-либо иного физического параметра, распределённого на плоскости [1 - 6]. С одной стороны, такое представление является наиболее простым и естественным, позволяет создать глубокую теорию и хорошо обоснованные алгоритмы обработки многомерных сигналов. С другой стороны, растровое представление порождает слишком большой объём данных, ограничивающий вычислительную эффективность обработки. Кроме того, оно является заведомо избыточным, не учитывает семантику изображения: состав, форму, взаимное расположение и другие характеристики объектов на изображённой сцене.
Сравнительно недавно некоторые зарубежные авторы стали интенсивно развивать концепцию суперпиксельного представления изображения, т.е. разбие-
ния всего множества пикселей на связные области, отвечающие некоторым предустановленным требованиям однородности [7 - 21]. Поскольку число этих областей (суперпикселей) во много раз меньше числа пикселей, а каждый суперпиксель, в идеале, соответствует отдельному изображённому объекту, можно ожидать значительного ускорения и повышения качества обработки изображения.
По существу, эти авторы «переоткрыли» (с некоторыми непринципиальными модификациями) давно известные процедуры сегментации [2, 4, 22 - 26] и представления изображения в виде плоского неориентированного графа, каждый узел которого соответствует отдельной области и задаёт её параметры (чаще всего усреднённую яркость), а рёбра описывают связи смежных областей [4, 23, 27]. В этом смысле новизна идеи суперпикселей выглядит сомнительной, хотя её детализация и реализационные аспекты представляют определённый научный и прикладной интерес.
Научные публикации и фреймворки, представленные в интернете, демонстрируют чрезмерное разно-
образие эвристических алгоритмов генерации суперпиксельного представления изображений [7 - 21, 28, 29]. Как правило, эти алгоритмы требуют выполнения значительного объёма вычислений, ориентированы на решение узких классов прикладных задач, причём решают эти задачи не всегда с удовлетворительным качеством. К формируемым суперпикселям зачастую предъявляются искусственные (не продиктованные практикой) требования: их заданного количества [8], близости по размерам [7, 8, 11 - 13], выпуклости формы [7, 8, 11, 12, 30, 31] и т.п.
По нашему мнению, потенциал суперпиксельной обработки изображений далеко не исчерпан, но его раскрытие требует существенного развития как с точки зрения расширения содержания (признакового описания) суперпикселей, так и в направлении повышения вычислительной эффективности и унификации обрабатывающих алгоритмов.
1. Алгоритм формирования суперпиксельного представления изображения
В основу материала, излагаемого ниже, положен алгоритм сегментации, предложенный более 40 лет назад одним из авторов данной статьи применительно к задаче компрессии изображений [3, 5, 32, 33]. Он входит в класс подобных алгоритмов, позже получивших общее название «метода наращивания областей» [4, 6, 24, 26], однако выгодно отличается от них низкой вычислительной сложностью (получение суперпикселей осуществляется за один проход по изображению) и простотой настройки (единственный управляющий параметр). Для полноты картины кратко опишем принцип его работы в чуть более общей форме, нежели в опубликованных вариантах.
Пусть \х (пь п2 ) - матрица пикселей ис-
V ^ ^пь п2=0
ходного полутонового изображения, П1, п2 - их целочисленные индексы, М, N - размеры изображения. Обозначим Бе = {0 < п\ <N - 1, 0 < П2 <N2 - 1} множество целочисленных координат всех пикселей. Сег-
ментация изображения означает разбиение этого множества на M подмножеств так, что [6]:
M-1
DE = U Dm, Dm П D„ = 0, V m Ф n, (1)
m=0
причём каждое подмножество Dm образует на плоскости изображения связную область (см. ниже), а входящие в неё пиксели обеспечивают истинность некоторого логического предиката однородности, определённого на этом подмножестве:
Q {Dm ) = True, V m,
Q (Dm U Dn ) = False, для V смежных Dm и Dn.
Далее пусть пиксели покрывают плоскость изображения квадратами единичной площади. Пара пикселей считается смежной, если соответствующие им квадраты имеют общую сторону. Иными словами, в описываемом алгоритме используется известный принцип четырёхсвязности областей [2, 6].
Изображение обрабатывается последовательно, в порядке возрастания индексов пикселей (слева направо в строке и сверху вниз по строкам). Обработка каждого пикселя x (n1, n2), не принадлежащего первой строке и первому столбцу матрицы (т.е. при n1 Ф о, n2 Ф 0), выполняется по простой схеме, которая приведена на рис. 1, где через A и B обозначены подмножества (области), к которым принадлежат пиксели, уже обработанные ранее и смежные с текущим: x (n1 - 1, n2) и x (n1, n2 - 1) соответственно, а через (П1, n2) обозначена область, состоящая из одного текущего пикселя.
На каждом шаге алгоритма решается, присоединить ли этот пиксель к области A, к области B, или он не принадлежит ни A , ни B, а открывает собой новую область, или же эти области должны быть объединены (вместе с текущим пикселем). Особенности (дополнительные упрощения) обработки пикселей первой строки и первого столбца матрицы представляются очевидными.
НА
■ш х(п„п2-1) x{nItn2)
I
Новая область
Присоединение по вертикали: Аи(п,,п2)
I
Присоединение по горизонтали: Ви(п,,п2)
I
Объединение областей: АиВи(П],п2) -1-
Рис. 1. Схема обработки каждого пикселя при сегментации изображения
В [3, 5, 32, 33] описанный алгоритм работал с конкретным предикатом однородности:
Q (Dm):
max x(щ,n2)- min x(щ,n2)<2em
(m,m )Dm (и,,И2 )Dm У '
(3)
где бтах - входной параметр алгоритма - порог сегментации, имеющий смысл максимально допустимой погрешности сохранения значения каждого пикселя в сегментированном (суперпиксельном) представлении изображения. Мы также будем ис-
пользовать этот предикат. Во-первых, он крайне просто вычисляется.
Во-вторых, (и это главное) целью применения алгоритма является именно сохранение информации, содержащейся в исходном изображении, при существенном сокращении числа его элементов, т.е. достижение полезного эффекта: М « N N2 при малых бтах.
Проиллюстрируем последний тезис на примерах тестовых полутоновых изображений, показанных на рис. 2. Каждое изображение содержит полутоновые пиксели, представленные в байтовом формате (с целочисленными значениями яркости в диапазоне 0 ^ 255).
I б) ^» 'ЖШ в) I
Рис. 2. Тестовые изображения: «Лена» (а), «Космоснимок» б), «Бабочка» в)
На рис. 3 представлены экспериментально полученные для этих изображений зависимости сокращения числа элементов, достигнутого в результате сегментации, от параметра бтах, где N = N1 N2.
АЖ
0,6 0,5
0,4
0,3
0,2
0,1
О
-♦- «Jleua» -о- «Космоснимок» * «Бабочка»
\'
\
\
s x
H
0 2 4 б 8 10 12 14 16 18 гтах Рис. 3. Сокращение числа элементов описания изображений при переходе к суперпиксельному представлению
Видно, что суперпиксельное представление, формируемое описанным алгоритмом, резко сокращает число элементов описания изображений (уже при бтах = 2 число элементов сокращается более, чем на 50 %), т.е. даёт ресурс для повышения вычислительной эффективности их дальнейшей обработки. Вместе с тем оно сохраняет достаточно высокую информативность исходных растровых данных: погрешность пикселей в байтовом формате, не превышающая 3- 5 квантов функции яркости, приемлема для большинства практических приложений, поскольку не порождает визуально различимых искажений
изображений, находится на уровне шумов регистрации и естественных колебаний яркости изображённых объектов.
В рамках данной статьи мы будем рассматривать только полутоновые изображения. Обобщение описанного алгоритма на случай цветных (многокомпонентных) изображений представляется очевидным: просто в процессе сегментации нужно контролировать истинность используемого предиката однородности для каждой компоненты.
2. Общие требования к содержанию суперпикселей
В литературе, посвящённой работе с изображениями в суперпиксельном представлении, описание суперпикселей, как правило, ограничено узким набором признаков. Обычно он включает в себя спектральные характеристики суперпикселей: математическое ожидание яркости [13, 34 - 43], дисперсию яркости [13, 34, 36, 39, 41, 42], энтропию яркости [36, 37, 40, 43] и гистограмму её распределения [40, 41, 44]. Некоторые авторы дополняют набор спектральных характеристик аналогичными признаками, рассчитанными в цветовом пространстве LAB [38, 39, 43] или HSV [37, 40, 44]. В работах [34, 36, 38 - 43, 45] авторами, помимо спектральных характеристик, рассматриваются также геометрические признаки: площадь, периметр, компактность (показывает близость формы суперпикселя к окружности), отношение площади суперпикселя к площади описывающего его прямоугольника. В [38, 39, 43], помимо этого, учитываются координаты центра масс суперпикселя. Признаки, определяющие текстуру суперпикселей, представлены в литературе
как отклики на различные фильтры: MR8, HOG [37], Гаусса [39], Габора и локальных бинарных шаблонов [13].
По нашему мнению, описание суперпикселей небольшим набором признаков слишком сужает возможности обработки изображений. Кроме того, нет работ, представляющих формализованное описание признаков суперпикселей, а также рекомендации по выбору признаков суперпикселей в конкретных прикладных задачах анализа и обработки изображений.
В настоящей работе мы предлагаем расширить содержание суперпикселей и включать в них множество характеристик (признаков) изображения, отвечающее двум требованиям:
• низкой сложности вычисления в процессе сегментации изображения;
• достаточности для решения широкого класса прикладных задач (универсальности формируемого суперпиксельного представления изображения). Первое требование можно формализовать следующим образом (см. также [5]). Пусть F(D) - признак, вычисленный по некоторому множеству пикселей (области) D. Для любых непересекающихся областей Dm, Dn должно существовать правило Ф, такое, что
F(Dm U Dn) = Ф[F(Dm),F(Dn)]. (4)
Условие (4) оставляет широчайший простор для выбора конкретных вариантов этого правила. Не претендуя на их исчерпывающий список, ограничимся несколькими классами признаков, которые представляются наиболее легко вычисляемыми и потенциально полезными для решения прикладных задач.
1. «Экстремальные» признаки:
F(D)= max ф[п1,n2,x(n1,n2) (5)
V ' (n,,n2eD) L V /J
или
F(D)= min фГпьn2,x(n1,n2)]. (6)
^ ^ (n1,n2eD) L ^
2. «Аддитивные» признаки:
F(D)= X ni,П2,x(n„П2)]. (7)
(n,,n2ED)
В формулах (5) - (7) ф[-] и у[-] - произвольные функции координат и значений пикселей изображения в рассматриваемой области.
3. «Векторные» признаки:
F (D ) = {F )(D ^ (8)
где K - число компонент F (k) вектора, в качестве которых могут браться любые скалярные признаки, в том числе перечисленные выше. Характерной особенностью признаков этого типа является постоянство K, одинаковый смысл и порядок ком-
понент вектора признаков для всех суперпикселей. Их частным случаем являются ненормированные гистограммы, то есть распределения числа каких-либо параметров изображения, вычисляемых по области суперпикселя в заданном диапазоне значений. Для них правило объединения (4) сводится к покомпонентному объединению векторов. 4. «Множественные» признаки:
F (D ) = { >(D )£', (9)
где KD - число элементов F (k) некоторого конечного множества, не обязательно числового, определённого на области D. Состав элементов может меняться от области к области, а правило (4) имеет конкретный вид объединения множеств:
F(Dm UD,) = F(Dm)U F(D,) =
={f<4(d. с -и {чя«с (10)
Признаки, заданные в общем виде выражениями (5) - (9), выбраны исключительно из соображений быстрого пересчёта при объединении суперпикселей (в частности, при их формировании алгоритмом, описанным в параграфе 1). Придерживаясь терминологии, введённой в [5], будем называть такие признаки первичными (базовыми). Они не обязательно впрямую используются для обработки изображения. Однако по ним можно вычислить некоторые вторичные (производные) признаки, которые, хотя сами по себе и не удовлетворяют условию объединяемости (4), но нужны для решения различных прикладных задач. Ниже мы конкретизируем базовые признаки, составляющие расширенное содержание суперпикселей, связав их с производными признаками, которые, в свою очередь, вытекают из задач обработки изображений.
3. Признаки суперпикселей для различных задач обработки изображений
Рассмотрим несколько типовых задач, инспирирующих конкретные наборы признаков суперпикселей.
Далее ради краткости записи формул будем опускать аргументы признаков и считать, что индексы пикселей (n1, n2) принадлежат множеству D.
3.1. Формирование суперпиксельного представления изображений
Поскольку сегментация изображения осуществляется по алгоритму, описанному в параграфе 1, c предикатом однородности (3), левую часть выражения для этого предиката (до сравнения с порогом) можно рассматривать как производный признак. Очевидно, он вычисляется как разность двух базовых признаков, относящихся к группе экстремальных:
F1 = max х (n1, n2), (11)
n ,П2
¥2 = 1ШПX(пь п2 ).
(12)
То есть здесь мы получаем частный случай формул (5) и (6) при ф [п1, п2, х (п1, п2)] = х (п1, п2).
Далее следует иметь в виду, что в процессе обработки изображения может возникнуть потребность в дополнительном загрублении изначально сформированного суперпиксельного представления, например, посредством увеличения порога в формуле (3) или вообще использования иного, менее строгого предиката однородности (см. параграф 4). При этом каждый суперпиксель будет проверяться на возможность объединения с соседними, а значит, в состав его параметров должен входить и список соседей:
¥3 = {)}
Кв-1 к=0 '
(13)
где Ь(к) - условные индексы (метки) областей, смежных с областью Б, однозначно заданные для обрабатываемого изображения, КБ - длина этого списка. Выражение (13) задаёт конкретный множественный признак, получающийся из общей формулы (9) при ¥(к)=Ь(к). Заметим, что правило объединения двух множеств (10) для признака (13) должно быть модифицировано следующим образом:
¥( иБп) = ¥()и¥() =
!Кбп -1 к=0
{Ь(к )(Бт )}-'и {(А, )}}
{т, п}
где т, п - метки объединяемых областей.
3.2. Геометрические характеристики областей
Во многих прикладных задачах требуется определить геометрические характеристики областей, соответствующих суперпикселям: размеры, положение, площадь, ориентацию и другие признаки формы. Перечислим наиболее простые базовые признаки, отвечающие за геометрию [5, 46, 47].
Экстремальные признаки, описывающие положение «краёв» суперпикселя по вертикали, горизонтали и двум диагональным направлениям:
¥4 = тах {п1}, ¥5 = тт {п1}, ¥6 = тах {п2}, ¥7 = т1п {п2},
И1,И2 и,,и2
¥8 = тах {п1 + п2}, ¥9 = т1п {п1 + п2}, ¥10 = тах {п1 - п2}, ¥11 = т1п {п1 - п2}.
(14)
(15)
(16) (17)
Признаки (14) - (17) получаются из общих формул (5) и (6) соответственно при
ф [п1, п2, х (п1, п2)] = п1; п2; п1 + п2; п1 - п2.
Из аддитивных признаков представляется перспективным использование двумерных начальных степенных моментов области суперпикселя:
Щ} = X п1, п!,,
(18)
где i, } - целочисленные степени, определяющие порядок моментов. Очевидно, что моменты соответствуют общей формуле (7) при у [п1, п2, х (п1, п2) = п/, п]2.
Придерживаясь в рамках данной статьи сквозной нумерации базовых признаков суперпикселей, введём в рассмотрение наиболее употребимые.
Начальный момент нулевого порядка, имеющий смысл площади суперпикселя:
¥12 = Щ)0 = X 1
Начальные моменты первого порядка:
¥13 = М-10 = X п1,
¥14 = Щ01 = X п2.
Начальные моменты второго порядка:
¥15 =Щ20 = X п2, ¥16 = Щ)2 = X п1,
¥17 = Щ11 = X п1п2.
(19)
(20) (21)
(22)
(23)
(24)
Среди базовых признаков (14) - (17), (19) - (24) только площадь (19) непосредственно характеризует суперпиксель, остальные - служат исходным материалом для расчёта многочисленных производных характеристик областей. Приведём примеры.
Размеры суперпикселя по вертикали и горизонтали:
Дп1 = тах {п1} — тт {п1} +1 = ¥4 - ¥5 +1,
«1,«2 И1.И2
Дп2 = тах{п2}-тт{п2} +1 = ¥6 -¥7 +1.
(25)
Координаты центра прямоугольника, описывающего суперпиксель:
щ = 0,5(¥4 + ¥5 +1), п2 = 0,5(¥6 + ¥7 +1). (26)
Площадь описывающего прямоугольника:
5 = ДпхДп2 =(¥4 - ¥5 +1) ( - ¥7 +1). (27)
Площадь описывающего выпуклого восьмиугольника (с исправлением ошибок, допущенных в [46]):
5 = (¥4 -¥5 +1)( -¥7 +1)-0,5[(¥4 + ¥6 -¥8)2 + +(¥5 + ¥7 -¥9)2 (¥4 -¥7 -¥ю)2 +(¥5 -¥6 -¥и)2
(28)
Коэффициент аспекта [46] - признак, характеризующий форму, а именно, вытянутость области суперпикселя, рассчитывается по формуле:
Qa =■
, j( - F¡ + 1),( - Fn + 1)
( - F9 + 2 ) (Fio - Fu + 2)
V2 , ^/2
:j( - F5 + 1),(F6 - F7 + 1)
Коэффициент площади, показывающий, насколько площадь суперпикселя меньше площади описывающего многоугольника (также характеризует форму суперпикселя, косвенно - извилистость его границ, длину периметра):
= ^2/Б,
где Б вычисляется по формуле (27) или (28).
Геометрический центр тяжести суперпикселя:
- Но
Н-оо
F13 _ Н 01 П2 = —
F1
Н 00
Fu
F12
(29)
Для описания формы области суперпикселя, инвариантного к положению области на плоскости изображения, вместо начальных моментов (18) должны использоваться центральные моменты:
Hij = X(1 - П1 )' ("2 - П2 ) .
Они легко пересчитываются из начальных:
Н 00 = М"00 = F12.
Н10 = Н10 - "1Н00 = F - W1F12 = 0, Н01 = Н01 - "2Н00 = F14 - n2F12 = 0, Н20 = Н20 - 2п1Ню + "12Н00 =
= Fu - 2"1F13 + П12F12,
Н02 = М"02 - 2n2H01 + П2 Н00 =
= F„ - 2"2F14 + F12,
Н11 = Н11 - П2Н10 - "1Н01 + Й1Й2Н00 = = F16 - n2 F13 - nF + П1П2 F12.
(30)
(31)
(32)
(33)
(34)
(35)
(36)
Заметим, что можно иначе центрировать область суперпикселя, например, в формулах (30), (32) - (36), вместо центра тяжести (29), использовать центр описывающего прямоугольника (26). Тогда центральные моменты первого порядка (32) и (33) уже не будут равны нулю и смогут рассматриваться как ещё два информативных признака области.
3.3. Яркостные характеристики областей
Базовые и производные признаки, рассмотренные в предыдущем подпараграфе, характеризовали исключительно форму области суперпикселя. Однако часто возникает необходимость использования признаков, которые учитывают и функцию яркости изображения, ме-няюшуюся в пределах области. В качестве таких признаков традиционно рассматриваются двумерные степенные моменты функции яркости [5, 6, 46, 48 - 51]:
% = X "1,njx ("1, "2)
(37)
(F8 - F9 + 2 ) (F„ - Fu + 2 )
отличающиеся от моментов (18) учётом значений пикселей исходного изображения. Они являются базовыми аддитивными признаками, соответствующими при
у [n1, n2, x (n1, n2)] = n1njx (n1, n2) общей формуле (7).
Перечислим несколько моментов младших порядков, которые будут использоваться далее. Моменты нулевого порядка:
F18 = 1 = X X (1, n2 ).
n,,n2
Моменты первого порядка:
F19 =Г|10 = X "1x("1, n2 ),
n,,n2
F20 =|01 = X n2X (1, n2 ).
n¡,n¡
Моменты второго порядка:
Fü =|20 = X n2X (n1, n2 ),
n¡,n¡
F22 =|02 = X n2x (n1, n2 ),
n,,n2
F23 =|11 = X X("1, n2 ).
(38)
(39)
(40)
(41)
(42)
(43)
Признаками суперпикселя, инвариантными к положению области на плоскости изображения, могут служить центральные моменты функции яркости:
1 = X(n - n1 У (2 - n2 У x(1, n2 ),
(44)
где величины п1, п2 можно вычислять либо как координаты центра тяжести функции яркости в области суперпикселя:
- |10 n1 =-
|00
F18
- |01 n2 =-
|00
F20 Fx
(45)
либо как координаты геометрического центра тяжести (29), либо ещё каким-то способом. Эти производные признаки, как и ранее признаки (31) - (36), легко рассчитываются по базовым:
^00 = ^00 = F18,
|10 = |10 - n1|00 = F19 - n1F18,
I01 =|01 - ñ2|00 = F>0 - ñ>F18,
|20 = |20 - 2ПЦю + ñ12|00 = F>1 - 2ñ1F19 + ñ2F18
|02 = |02 - 2n2|01 + n?|00 =
= F22 - 2Й2F>0 + n?F18,
I11 =111 - П21Ю - Й1Л01 + Й1Й2100 =
= F>3 - n F19 - n1F20 + W2 F18.
(46)
(47)
(48)
(49)
(50)
(51)
Заметим, что если координаты центра вычисляются по формуле (45), то признаки (47) и (48) тождественно равны нулю, но в общем случае они могут быть и ненулевыми.
Заметим также, что учёт в признаках-моментах значений пикселей имеет смысл, если нужно описывать не только форму области суперпикселя, но и форму функции яркости в её пределах. При этом в большинстве прикладных задач информативными являются не сами значения этой функции (они зависят от общей яркости изображения), а их вариации относительно некоторого опорного значения в области -х . Иными словами, вместо первичных начальных моментов (37) и производных центральных моментов (44) следует использовать производные признаки, получающиеся в результате центрирования функции яркости в областях:
Чу = X у [х(«1,«2) - х] = Чу - х^и, (52)
и,,и2
Чу = X («1 - «1 ) («2 - «2 ) [ X (, «2 ) - X ] =
(53)
= %-xPj.
Напрашивающийся способ центрирования - использование в качестве опорного значения средней яркости изображения, взятой по области:
. f00 = F
p00 F18
(54)
имеет принципиальный недостаток: младшие моменты (52) и (53) оказываются тождественно равными нулю: fj 00 = j00 = 0, что делает невозможным деление на них, которое необходимо для формирования мо-ментных признаков, инвариантных к масштабу (размерам) распознаваемых объектов [5, 6, 48, 50]. Другой простой способ - центрирование по минимальному значению пикселя в области:
x = min x (nb n2) = F2 -
(55)
также не выглядит рациональным, поскольку это значение сильно подвержено случайным колебаниям в пределах области, особенно при наличии шума. Мы предлагаем производить центрирование функции яркости по более устойчивому квантилю распределения вероятностей пикселей. Пусть пиксели принимают целочисленные значения в диапазоне 0 < к < К - 1. Сформируем векторный признак - ненормированную гистограмму, т. е. эмпирическое распределение их числа в пределах области суперпикселя:
F24 = {(k)}
K-1 k=0 ''
(56)
где ^к) - число пикселей, равных к. Очевидно, что (56) задаёт конкретный векторный признак, получающийся из общей формулы (8) при ¥к) = ,Мк). Нетруд-
но заметить, что X N(к) = X1 = ^12, поэтому искомое
к=0 « ,«2
значение квантиля х может быть найдено как приближённое решение уравнения
X N(k PF12
(57)
где Р - заданная вероятность того, что произвольный пиксель в области не превышает величины х . Приближённость решения обусловлена дискретностью распределения и конечным числом пикселей в области. Значение Р может подбираться экспериментально, исходя из условий конкретной прикладной задачи. Чтобы использовать квантиль в качестве опорного значения при центрировании функции яркости, он должен быть смещен ближе к минимальным значениям пикселей области, т.е. следует задавать 0 < Р << 0,5.
Применение гистограммы (56) не ограничивается вычислением квантилей, этот первичный векторный признак позволяет получить множество производных признаков, характеризующих форму вероятностного распределения пикселей и являющихся полезными, например, при текстурном анализе изображений [2, 6].
3.4. Полиномиальная аппроксимация поля яркости в областях
Поставим задачу полиномиальной аппроксимации изображения в области суперпикселя, а именно, приближённого представления пикселей х («1, «2) в виде
X (ni, П2) = X afi (n, П2), (ni, П2) e D,
(58)
где {al j^1 - коэффициенты, {f (n1, n2 )} 0 - базисные
^1-1 . . I „ , ч^Ь-1
7=0 --ТТ ' - ' у->-\ " -П1=0
функции аппроксимирующего полинома, Ь - число используемых базисных функций.
Аппроксимирующее значение поля яркости (58) сформируем методом наименьших квадратов [52], т.е. при заданных базисных функциях найдём коэффициенты, минимизирующие суммарную квадратичную ошибку аппроксимации:
= X[ X (1, П2)-X (1, n2)]2 =
= X
X afi (n1, П2)- x(n1, П2)
(59)
^ min.
{ai}
Выражение (59) задаёт положительно определённую квадратичную форму относительно коэффициентов аппроксимации, условием её минимизации является равенство нулю всех частных производных:
ds2 da,
= 0,
0 < l < L -1.
(60)
k =0
l=0
Из (59) и (60), выполнив несложные преобразования, получаем систему линейных алгебраических уравнений (СЛАУ):
X a¡ X f (1, n2 )fm (1, n2 ) =
l =0 n1,n2
= X x (n1, n2 ))m (n1, n2 ), 0 < l < L - 1.
(61)
В матричной форме СЛАУ (61) имеет вид:
ВА = С, (62)
где
В = { ^=0 = 1 X /' ("1, П2 ) /т (П1, П2 ) [
квадратная симметрическая матрица, А = {а;}
- (63)
i 1=0 '
C = {Cl Ll = ] X x (n1, n2 )fl (n1, n2 )
(64)
векторы-столбцы искомых коэффициентов и свободных членов СЛАУ соответственно.
Как известно, решение СЛАУ (62) имеет вид:
A = B-1C,
(65)
где верхний индекс -1 означает обращение матрицы.
Подставив это решение в (59), получаем выражение для достигаемого минимума ошибки аппроксимации:
е2 = X x2 ( n2 )-X а,с, =
n1 ,n2 l =0
= X x2 (n1, n2)-AT C,
(66)
где верхний индекс Т - транспонирование вектора.
Из (66) вытекает необходимость вычисления ещё одного, последнего в контексте данной статьи, аддитивного признака суперпикселя:
F25 = X x2 (1, n2 ),
(67)
который соответствует общей формуле (7) при у [п1, п2, X (п1, п2)] = X2 (п1, п2).
Рассмотрим два простейших примера описанной аппроксимации.
1. Аппроксимация константой (ступенчатая). Пусть Ь = 1, /о ("1, "2) = 1. Тогда
¿00 = X 1 = F12, ¿0 = X x (n1, n2 )= F18
a = = Fu
¿00 F12
(68)
Последняя формула описывает простое усреднение яркости внутри суперпикселя, осуществляемое через
вычисление аддитивных признаков (19) и (38). Суммарная квадратичная ошибка такой аппроксимации:
2
е2 = F25 -F18. 25 F12
(69)
2. Аппроксимация плоскостью (линейная). Пусть
Ь = 3, /о ("1, П2) = 1, /1 ("1, "2) = "1, /2 ("1, "2) = "2. В этом случае из (62) получаем СЛАУ третьего порядка, которая с учётом (19) - (23), (38) - (40), может быть записана следующим образом:
( F
12
FH
F,4
F13
F15 .. F17 F16
F V
14
F17
ÍF А -<18
F19
F>0
(70)
Решение этой системы находится стандартными методами. Суммарная квадратичная ошибка такой аппроксимации:
е2 = F25 - a0F18 - a1^19 - a2F20. 4. Объединение областей (суперпикселей)
(71)
Применение алгоритма сегментации, описанного в параграфе 1, преследует цель быстрого формирования суперпиксельного представления изображения, в котором с высокой точностью сохранялась бы яр-костная информация. При этом нет гарантии, что каждый суперпиксель соответствует содержательно интерпретируемой области (объекту) изображения, скорее всего, эти объекты окажутся разбитыми на некоторое число сегментов. Более того, отдельные малые области будут создаваться для пикселей, существенно отличающихся от соседних, когда, например, изображение искажено импульсными шумами. Для улучшения соответствия суперпикселей объектам может быть применена процедура укрупнения (объединения) областей [4, 6].
4.1. Процедура объединения областей
Изображение, представленное суперпикселями, традиционно описывается неориентированным пла-нарным графом смежности, в котором узлы соответствуют областям суперпикселей (содержат их признаковое описание), а рёбра указывают на смежные области [21, 53 - 57]. В рамках нашего подхода нет необходимости специально создавать подобную структуру данных, т.к. граф смежности задаётся косвенно, через множественные признаки Е3 - списки соседей для суперпикселей, см. формулу (13).
Пусть в результате первичной сегментации (см. параграф 1) изображение разбито на М областей-суперпикселей, проиндексированных таким же числом уникальных (не повторяющихся) меток. И пусть описание области Бт включает в себя множественный признак (13) с метками, указывающими на Кот смежных областей (0 < т <М- 1). Тогда простейшая процедура укрупнения суперпикселей состоит в том,
что последовательно рассматриваются все суперпиксели и для каждого из них выполняется проверка всех соседей на возможность их присоединения к текущему суперпикселю. Объединение текущей области Бт со смежной областью Б„ будет осуществляться при истинности заданного предиката однородности для укрупнённой области:
0 (От и Б, ) = Тгие.
(72)
Заметим, что максимальное число указанных проверок равно удвоенному числу рёбер графа смежности (каждому ребру соответствуют две «встречные» ссылки в признаках ¥3 смежных суперпикселей):
Е КОт = 2Я,
(7з)
где Я - число рёбер графа. На практике проверок может быть и меньше, если динамически корректировать (сокращать) списки ссылок по мере присоединения областей. Заметим также, что по формуле Эйлера для планарных графов [58]
Я < 3М - 6.
(74)
Из (73), (74) следует, что объём вычислений при объединении областей будет не быстрее, чем линейно, зависеть от числа суперпикселей первично сегментированного изображения. Учитывая, что это число относительно мало (см. рис. 3), можно ожидать, что процедура объединения не будет вычислительно сложной.
4.2. Предикаты однородности при объединении областей и пересчёт признаков
Конкретные формы предиката (72), используемого при объединении областей, могут быть весьма разнообразны, включать в себя как простые операции сравнения с порогом каких-либо признаков объединяемых областей, так и сложные нейросетевые процедуры классификации с обучением по «эталонной сегментации» изображений, выполненной экспертами [59 - 61].
Один из простейших предикатов однородности (3) уже использовался в параграфе 1 при первичной сегментации изображения. Для объединяемых областей Бт и Б„ его можно переписать в виде:
0(( и Б, ):тахх(ь, )-
(П1,П2 )
|Ц X (,1, ,2 )< 2бШах, (,1, ,2 )е Бт и Бп.
,П2 )
- Ш1П
(п1
(75)
Если порог ешах увеличить по сравнению тем, что был принят при первичной сегментации, то данный предикат вполне может обеспечить укрупнение суперпикселей. Однако, на наш взгляд, он является избыточно строгим для получения финального суперпиксельного описания изображения, не может обес-
печить сокращение числа элементов изображения, что продемонстрировано на рис. 3. Рассмотрим два других предиката, которые будут ниже использованы в иллюстративных вычислительных экспериментах. 1. Результатом первичной сегментации, описанной в параграфе 1, является формирование областей, в каждой из которых яркость задаётся константой, аппроксимирующей пиксели исходного изображения с погрешностью в диапазоне [- ешах, ешах ]. Однако во многих прикладных задачах достаточно контролировать не максимальную, а среднеквадратичную ошибку аппроксимации, т.е. при объединении областей, вместо (75), использовать предикат
0 (Бт и Б„): £2 (т и Бп) ^
1 т ' ^ (Бт и Бп) "
(76)
где е2 (Бт и Б,) - суммарная квадратичная ошибка аппроксимации изображения в объединённой области, которая, в частности, для аппроксимации константой задаётся формулой (69), а для линейной аппроксимации - формулой (71), ¥12 (Бт и Б,) -площадь объединённой области, е2в - допустимая среднеквадратичная ошибка аппроксимации. 2. Из-за шумовых искажений или локальных колебаний яркости исходного изображения в результате его первичной сегментации могут возникать «лишние» суперпиксели малой площади. Для их удаления мы предлагаем применить процедуру слияния областей с предикатом однородности вида
0 (Бт и Б, ) : ¥,2 (Бт ) < ^шш V ¥12 (Б, ) < ^шш, (77)
где £шт - допустимая минимальная площадь суперпикселя.
Если при выполнении (77) для объединённой области соблюдается и истинность предиката (76), то пересчёт базовых признаков выполняется по общей схеме, вытекающей из их описания в параграфе 2: берётся максимальное (или минимальное) значение экстремальных признаков, суммарное значение для аддитивных признаков и т.д. В противном случае считаем, что суперпиксель малой площади Б,, подлежащий объединению с суперпикселем Бт, порожден шумом и, следовательно, его яркостные характеристики должны быть проигнорированы. При этом возникают особенности пересчёта некоторых базовых признаков: два экстремальных признака не меняют свои значения:
¥1 (Бт и Б, ) = ¥1 (Бт ),
¥2 (Бт и Б, ) = ¥2 (Бт ),
(78)
а связанные с яркостью аддитивные признаки могут быть пересчитаны с допущением постоянства яркости исходного изображения в пределах укрупнённого суперпикселя:
т=0
I (Dm и D„ ) = l18^ F^ (Dm U Dn ),
^2 (Dm )
125 (Dm U D„ ) =
Iis (Dm )' Ü2 (Dm )
Ü2 (Dm U D„ ),
(79)
(80)
где I = 18,23 .
Остальные базовые признаки пересчитываются по общей схеме.
4.3. Иллюстрация применения процедуры укрупнения суперпикселей
Применим процедуру укрупнения суперпикселей к тестовым изображениям, прошедшим первичную сегментацию (см. параграф 1, рис. 2). На графиках рис. 4а - в представлены зависимости числа суперпикселей, отнесённого к числу пикселей исходного изображения, от допускаемой среднеквадратичной ошибки аппроксимации екв. Предикат однородности (76) использовался для двух видов аппроксимации, рассмотренных в подпараграфе 3.4. Также представлены аналогичные зависимости, полученные после предварительного удаления из суперпиксельного изображения областей малой площади: использовался предикат (77) при Бтт = 3. Первичная сегментация изображений выполнялась при етах = 5. Для сравнения на указанные графики пунктиром добавлены зависимости, взятые из рис. 3 с пересчётом максимальной ошибки в среднеквадратичную: ек„ = етах/^3.
Из приведённых на рис. 4 зависимостей видно, что применение предложенной процедуры укрупнения областей, полученных после первичной сегментации, приводит к сильному сокращению их числа при любых значениях среднеквадратичной ошибки аппроксимации.
При объединении по предикату однородности (76) для аппроксимации константой уже при екв = 3 количество полученных областей для изображений «Лена», «Бабочка» (рис. 2а и рис. 2в), с преимущественно плавными изменениями яркости, составляет менее 10 % от общего числа пикселей, а для изображения «Космоснимок» (рис. 2б), содержащего большое число мелких деталей, - менее 22 %. При линейной аппроксимации и тех же значениях параметров етах и екв количество областей изображений «Лена», «Бабочка» составляет менее 6% от общего числа пикселей, а изображения «Космоснимок» - менее 14 %.
Предварительное удаление областей малой площади (порождённых шумом или чрезмерной первичной сегментацией), по предикату (77) позволяет сократить число элементов изображения, не вызывая нарушения границ объектов. Видно, что результаты выполнения этой операции при Бтш = 3 для аппроксимации константой и линейной аппроксимации различаются не более, чем на 1 % от числа пикселей при любых екв.
На рис. 5 на примере изображения «Лена» продемонстрирован другой полезный эффект применения предложенной процедуры укрупнения суперпиксе-
лей - их более точное соответствие содержательным областям изображения.
О-12^ —Первичная
сегментация ......... 1 _о_ 3
2 -*-4
EKB
Рис. 4. Сокращение числа элементов изображения после объединения суперпикселей (безудаления малых областей):
1 - аппроксимация константой, 2 - линейная аппроксимация; после удаления малых областей (Smm=3): 3 - аппроксимация константой, 4 - линейная аппроксимация): «Лена» (а), «Космоснимок» (б), «Бабочка» (в)
Рис. 5. Пример работы процедуры укрупнения суперпикселей: изображение после первичной сегментации (етах=5) (а), укрупнение суперпикселей (аппроксимация константой, Вкв=3) (б), укрупнение суперпикселей (линейная аппроксимация, Вкв=3 (в), тоже после удаления малых областей (Бтт=3) (г)
Видно, что после первичной сегментации (рис. 5а) на изображении выделяется множество областей, площадь которых составляет порядка нескольких пикселей. Объединение по ошибке аппроксимации (рис. 5б, рис. 5в) устраняет чрезмерное деление изображения на области. Линейная аппроксимация позволяет получить более крупные суперпиксели в местах плавной смены яркости, а предварительное удаление мелких суперпикселей способствует устранению суперпикселей размера меньше заданного (рис. 5г).
Таким образом, предложенная процедура укрупнения суперпикселей обеспечивает наилучшие результаты по сокращению числа элементов изображения и соблюдению границ объектов при использовании линейной полиномиальной аппроксимации с предварительным удалением областей малой площади.
Заключение
В статье предложена модификация известного подхода к формированию и использованию суперпиксельного представления цифровых изображений. Она состоит:
• в расширении состава признаков, описывающих суперпиксели;
• в быстрой первичной сегментации изображения со строгим предикатом однородности, обеспечивающим получение суперпикселей, с высокой точностью сохраняющих информацию исходного растрового изображения;
• в последующем объединении (укрупнении) суперпикселей при более мягких предикатах однородности. Сформулированы общие требования к базовым признакам, быстро формируемым при первичной сегментации. На основании анализа ряда типовых задач обработки и распознавания изображений введена в рассмотрение система из 25 базовых признаков, которые в первую очередь следует включать в суперпиксели. Показано, как эти базовые признаки пересчитываются в производные признаки, непосредственно используемые при решении конкретных прикладных задач.
Продемонстрировано сокращение числа элементов изображения (до 1- 5 % от общего числа пикселей при среднеквадратичной ошибке, равной 3) в его расширенном суперпиксельном представлении и, следовательно, возможность снижения вычислительной сложности обрабатывающих алгоритмов. Также показано, что предложенная процедура объединения областей сохраняет границы объектов изображения.
Дальнейшие исследования планируется вести в направлении использования расширенного суперпиксельного описания изображений в прикладных задачах: фильтрации, компрессии, распознавания объектов, анализа текстур и др.
Благодарности
Работа выполнена при поддержке гранта РФФИ (№ 19-37-90116), а также Министерства науки и выс-
шего образования РФ в рамках выполнения работ по
Государственному заданию ФНИЦ «Кристаллография и фотоника» РАН (соглашение № 007-
ГЗ/Ч3363/26).
Литература
1. Введение в цифровую обработку изображений / Л.П. Ярославский. - М.: Сов. радио, 1979. - 312 с.
2. Pratt, W.K Digital image processing / W.K. Pratt. - 4th ed. -Hoboken, NJ: John Wiley & Sons, Inc., 2007. - 812 p.
3. Обработка изображений в автоматизированных системах научных исследований / В.А. Виттих, В.В. Сергеев, В .А. Сойфер. - М.: Наука, 1982. - 214 с.
4. Алгоритмы машинной графики и обработки изображений / Т. Павлидис. - М.: Радио и связь, 1986. - 400 с.
5. Методы компьютерной обработки изображений / М.В. Гашников и др.; под ред. В.А. Сойфера. - Изд. 2-е, испр. - М.: Физматлит, 2003. - 784 с.
6. Gonzalez, R.C. Digital image processing / R.C. Gonzalez, R.E. Woods. - London: Pearson, 2018. - 1168 p.
7. Achanta, R. SLIC superpixels compared to state-of-the-art superpixel methods / Achanta [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2012. -Vol. 34, Issue 11. - P. 2274-2282.
8. Stutz, D. Superpixels: An evaluation of the state-of-the-art / D. Stutz, A. Hermans, B. Leibe // Computer Vision and Image Understanding. - 2018. - Vol. 166. - P. 1-27.
9. Felzenszwalb, P.F. Efficient graph-based image segmentation / P.F. Felzenszwalb, D.P. Huttenlocher // International Journal of Computer Vision. - 2004. - Vol. 59, Issue 2. -P. 167-181.
10. Vedaldi, A. Quick shift and kernel methods for mode seeking / A. Vedaldi, S. Soatto // Proceedings of the European Conference on Computer Vision. - 2008. - P. 705-718.
11. Levinshtein, A. Turbopixels: Fast superpixels using geometric flows / A. Levinshtein [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2009. -Vol. 31, Issue 12. - P. 2290-2297.
12. Veksler, O. Superpixels and supervoxels in an energy optimization framework / O. Veksler, Y. Boykov, P. Mehrani.
- In: Computer Vision - ECCV 2010 / ed. by K. Daniilidis, P. Maragos, N. Paragios. - Berlin, Heidelberg: SpringerVerlag, 2010. - P. 211-224.
13. Блохинов, Ю.Б. Разработка алгоритма семантической сегментации аэрофотоснимков реального времени / Ю.Б. Блохинов, В.А. Горбачев, Ю.О. Ракутин, А. Д. Никитин // Компьютерная оптика. - 2018. - Т. 42, № 1. - С. 141-148. - DOI: 10.18287/2412-6179-2018-42-1141-148.
14. Liu, M. Entropy rate superpixel segmentation / M. Liu [et al.] // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. - 2011.
- P. 2097-2104.
15. Wang, J. VCells: Simple and efficient superpixels using edge-weighted centroidal Voronoi tessellations / J. Wang, X. Wang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2012. - Vol. 34, Issue 6. - P. 1241-1247.
16. Conrad, C. Contour-relaxed superpixels / C. Conrad, M. Mertz, R. Mester. - In: Energy minimization methods in computer vision and pattern recognition / ed. by A. Heyden, F. Kahl, C. Olsson, M. Oskarsson, X.-C. Tai. - Heidelberg: Springer, 2013. - P. 280-293.
17. Shen, J. Lazy random walks for superpixel segmentation / J. Shen, Y. Du, W. Wang, X. Li // IEEE Transactions on Image Processing. - 2014. - Vol. 23, Issue 4. - P. 1451-1462.
18. Neubert, P. Compact watershed and preemptive SLIC: On improving trade-offs of superpixel segmentation algorithms / P. Neubert, P. Protzel // 2014 22nd International Conference on Pattern Recognition. - 2014. - P. 996-1001.
19. Van den Bergh, M. SEEDS: Superpixels extracted via energy-driven sampling / M. Van den Bergh [et al.] // International Journal of Computer Vision. - 2015. - Vol. 111, Issue 3. - P. 298-314.
20. Li, Z. Superpixel segmentation using linear spectral clustering / Z. Li, J. Chen // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2015. - P. 1356-1363.
21. Wei, X. Superpixel hierarchy / X. Wei [et al.] // IEEE Transactions on Image Processing. - 2018. - Vol. 27, Issue 10. - P. 4838-4849.
22. Fu, K. A survey on image segmentation / K. Fu, J. Mui // Pattern Recognition. - 1981. - Vol. 13, Issue 1. - P. 3-16.
23. Денисов, Д.А. Сегментация изображений на ЭВМ / Д.А. Денисов, В.А. Низовкин // Зарубежная радиоэлектроника. - 1985. - № 10. - C. 5-31.
24. Haralick, R. Image segmentation techniques / R. Haralick, L. Shapiro // Computer Vision, Graphics and Image Processing. - 1985. - Vol. 29. Issue 2. - P. 100-132.
25. Pal, N. A review on image segmentation techniques / N. Pal, S. Pal // Pattern Recognition. - 1993. - Vol. 26, Issue 9. - P. 1277-1294.
26. Mehnert, A. An improved seeded region growing algorithm / A. Mehnert, O. Jackway // Pattern Recognition Letters. -1997. - Vol. 18, Issue 10. - P. 1065-1071.
27. Чукин, Ю.В. Структуры данных для представления изображений / Ю.В. Чукин // Зарубежная радиоэлектроника. - 1983. - № 8. - С. 35-47.
28. Wang, M. Superpixel segmentation: A benchmark / M. Wang [et al.] // Signal processing: Image Communication. - 2017. - Vol. 56. - P. 28-39.
29. Neubert, P. Superpixel benchmark and comparison / P. Neubert, P. Protzel // Forum Bildverarbeitung. - 2012. -P. 1-12.
30. Schick, A. An evaluation of the compactness of superpixels / A. Schick, M. Fischer, R. Stiefelhagen // Pattern Recognition Letters. - 2014. - Vol. 43. - P. 71-80.
31. Schick, A. Measuring and evaluating the compactness of superpixels / A. Schick, M. Fischer, R. Stiefelhagen // Proceedings of the International Conference on Pattern Recognition. - 2012. - P. 930-934.
32. Сергеев, В.В. Имитационная модель изображения и метод сжатия данных / В.В Сергеев, В.А Сойфер // Автоматика и вычислительная техника. - 1978. - Т. 12, № 3.
- С. 76-78.
33. Сергеев, В.В. Метод сжатия видеоданных с использованием критерия равномерного приближения / В. В Сергеев // Вопросы кибернетики. Кодирование и передача информации в вычислительных сетях. - 1978.
- № 42. - С. 146-149.
34. Csillik, O. Fast segmentation and classification of very high resolution remote sensing data using SLIC superpixels / O. Csillik // Remote Sensing. - 2017. - Vol. 9, Issue 3. - P. 1-19.
35. Li, S. Multi-scale superpixel spectral-spatial classification of hyperspectral images / S. Li [et al.] // International Journal of Remote Sensing. - 2016. - Vol. 37, Issue 20. -P. 4905-4922.
36. Левчук, В.А. Методика количественного описания биомедицинских изображений на основе словарей суперпикселов / В.А. Левчук, В.А. Ковалев // Информатика. - 2016. - Т. 1. - С. 49-57.
37. Lucks, L. Superpixel-wise assessment of building damage from aerial images / L. Lucks [et al.] // Proceedings of the
14th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications.
- 2019. - Vol. 4. - P. 211-220.
38. Gould, S. Multi-class segmentation with relative location prior / S. Gould [et al.] // International Journal of Computer Vision. - 2008. - Vol. 80. - P. 300-316.
39. Barnard, K. Matching words and pictures / K. Barnard [et al.] // Journal of Machine Learning Research. - 2003. -Vol. 3, Issue 2. - P. 1107-1135.
40. Hoiem, D. Geometric context from a single image / D. Hoiem, A.A. Efros, M. Hebert // Tenth IEEE International Conference on Computer Vision (ICCV'05). - 2005.
- Vol. 1. - P. 654-661.
41. Tighe, J. SuperParsing: Scalable nonparametric image parsing with superpixels / J. Tighe, S. Lazebnik // International Journal of Computer Vision. - 2010. - Vol. 101, Issue 2. - P. 352-365.
42. Malisiewicz, T. Recognition by association via learning per-exemplar distances / T. Malisiewicz, A.A. Efros // 2008 IEEE Conference on Computer Vision and Pattern Recognition. - 2008. - P. 1-8.
43. Hoiem, D. Recovering occlusion boundaries from a single image / D. Hoiem [et al.] // 2007 IEEE 11th International Conference on Computer Vision. - 2007. - P. 1-8.
44. Cheng, J. Superpixel classification for initialization in model based optic disc segmentation / J. Cheng, J. Liu, Y. Xu // Annual International Conference of the IEEE Engineering in Medicine and Biology Society. - 2012. - P. 1450-1453.
45. Pont-Tuset, J. Multiscale combinatorial grouping for image segmentation and object proposal generation / J. Pont-Tuset [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2016. - Vol. 39, Issue 1. - P. 128-140.
46. Ильясова, Н.Ю. Алгоритмы автоматической кластеризации изображения микрочастиц / Н.Ю. Ильясова, А.В. Устинов, А.Г. Храмов // Компьютерная оптика. -1993. - Вып. 13. - С. 39-46.
47. Абрамов, Н.С. Распознавание на основе инвариантных моментов / Н.С. Абрамов, В.М. Хачумов // Вестник РУДН. Серия Математика. Информатика. Физика. -2014. - № 2. - C. 142-149.
48. Распознавание и цифровая обработка изображений / Б.В. Анисимов, В.Д. Курганов, В.К. Злобин. - М.: Высшая школа, 1983. - 295 с.
49. Hu, M.K. Visual pattern recognition by moment invariants / M.K. Hu // IRE Transactions on Information Theory. -1962. - Vol. 8, Issue 2. - P. 179-187.
50. Maitra, S. Moment invariants / S. Maitra // Proceedings of the IEEE. - 1979. - Vol. 67, Issue 4. - P. 697-699.
51. Глумов, Н.И. Построение и применение моментных инвариантов для обработки изображений в скользящем окне / Н.И. Глумов // Компьютерная оптика. - 1995. -Вып. 14-15, Часть 1. - С. 46-54.
52. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений / А.Ю. Линник. - М.: Физматлит, 1962. - 349 c.
53. Liu, T. Image segmentation using hierarchical merge tree / T. Liu, M. Seyedhosseini, T. Tasdizen // IEEE Transactions on Image Processing. - 2016. - Vol. 25, Issue 10. -P. 4596-4607.
54. Setyanto, A. Hierarchical visual content modelling and query based on trees / A. Setyanto, J. Woods // Electronic Letters on Computer Vision and Image Analysis. - 2016. -Vol. 15, Issue 2. - P. 40-42.
55. Jiao, X. An unsupervised image segmentation method combining graph clustering and high-level feature representation / X. Jiao, Y. Chen, R. Dong // Neurocomputing. - 2020. -Vol. 409. - P. 83-92.
56. Galväo, F.L. Image segmentation using dense and sparse hierarchies of superpixels / F.L. Galväo [et al.] // Pattern Recognition. - 2020. - Vol. 108. - P. 1-14.
57. Treméau, A. Regions adjacency graph applied to color image segmentation / A. Treméau, P. Colantoni // IEEE Transactions on Image Processing. - 2000. - Vol. 9, Issue 4. - P. 735-744.
58. Harary, F. Graph theory / F. Harary. - Boston: Addison-Wesley, 1971. - 274 p.
59. Ren, Z. Image Segmentation by cascaded region agglomeration / Z. Ren, G. Shakhnarovich // 2013 IEEE Conference on Computer Vision and Pattern Recognition. - 2013. -P. 2011-2018.
60. Wang, K. End-to-end trainable network for superpixel and image segmentation / K. Wang, L. Li, J. Zhang // Pattern Recognition Letters. - 2020. - Vol. 140. - P. 135-142.
61. Chang, K. Machine learning based image segmentation / K. Chang. - Paris: Université PSL, 2019. - 153 p.
Сведения об авторах
Егорова Анна Александровна, 1995 года рождения, в 2017 году окончила Самарский национальный исследовательский университет имени академика С.П. Королева с отличием по специальности «Информационная безопасность автоматизированных систем». В настоящее время является аспирантом Самарского университета. Основные сферы научных интересов: обработка изображений, обнаружение искажений на цифровых изображениях, защита информации. E-mail: varlamova.anna.95@mail.ru .
Сергеев Владислав Викторович, 1951 года рождения, в 1974 году окончил Куйбышевский авиационный институт (ныне - Самарский университет), в 1993 году защитил диссертацию на соискание ученой степени доктора технических наук. Основное место работы - директор института информатики, математики и электроники, заведующий кафедрой геоинформатики и информационной безопасности Самарского университета. По совместительству - заведующий лабораторией математических методов обработки изображений в Институте систем обработки изображений РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН. Круг научных интересов: цифровая обработка сигналов, анализ изображений, распознавание образов, геоинформатика, информационная безопасность. E-mail: vserg@geosamara.ru .
ГРНТИ: 28.21.15
Поступила в редакцию 8 февраля 2021 г. Окончательный вариант - 3 апреля 2021 г.
Extended set of superpixel features
A.A. Egorova1, V.V. Sergeyev1,2 1 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34, 2 Samara IPSI RAS - Branch of the FSRC "Crystallography and Photonics" RAS, 443001, Samara, Russia, Molodogvardeyskaya 151
Abstract
Superpixel-based image processing and analysis methods usually use a small set of superpixel features. Expanding the description of superpixels can improve the quality of processing algorithms. In the paper, a set of 25 basic superpixel features of shape, intensity, geometry, and location is proposed. The features meet the requirements of low computational complexity in the process of image superpixel segmentation and sufficiency for solving a wide class of application tasks. Applying the set, we present a modification of the well-known approach to the superpixel generation. It consists of fast primary superpixel segmentation of the image with a strict homogeneity predicate, which provides superpixels preserving the intensity information of the original image with high accuracy, and the subsequent enlargement of the superpixels with softer homogeneity predicates. The experiments show that the approach can significantly reduce the number of image elements, which helps to reduce the complexity of processing algorithms, meanwhile the expanded superpixels more accurately correspond to the image objects.
Keywords: superpixel segmentation, feature, invariant moments, polynomial approximation.
Citation: Egorova AA, Sergeyev VV. Extended set of superpixel features. Computer Optics 2021; 45(4): 562-574. DOI: 10.18287/2412-6179-C0-876.
Acknowledgements: This work was supported by the Russian Foundation for Basic Research under project No. 19-37-90116 and the Russian Federation Ministry of Science and Higher Education within a state contract with the "Crystallography and Photonics" Research Center of the RAS under agreement 007-0/^3363/26.
References
[1] Yaroslavskiy LP. Introduction to digital imaging [In Russian]. Moscow: "Sovetskoe Radio" Publisher; 1979.
[2] Pratt WK. Digital image processing. 4th ed. Hoboken, NJ: John Wiley & Sons Inc; 2007.
[3] Vittikh VA, Sergeev VV, Soifer VA. Image processing in automated systems for scientific research [In Russian]. Moscow: "Nauka" Publisher; 1982.
[4] Pavlidis T. Algorithms for graphics and image processing. Berlin: Springer Science & Business Media; 2012.
[5] Soifer VA, ed. Computer image processing, Part II: Methods and algorithms. Saarbrücken: VDM Verlag Dr Müller; 2010. ISBN: 978-3-639-17545-5.
[6] Gonzalez RC, Woods RE. Digital image processing. London: Pearson; 2018.
[7] Achanta R, et al. SLIC superpixels compared to state-of-the-art superpixel methods. IEEE Trans Pattern Anal Mach Intell 2012; 34(11): 2274-2282.
[8] Stutz D, Hermans A, Leibe B. Superpixels: An evaluation of the state-of-the-art. Comput Vis Image Underst 2018; 166: 1-27.
[9] Felzenszwalb PF, Huttenlocher DP. Efficient graph-based image segmentation. Int J Comput Vis 2004; 59(2): 167-181.
[10] Vedaldi A, Soatto S. Quick shift and kernel methods for mode seeking. Proc European Conference on Computer Vision 2008: 705-718.
[11] Levinshtein A, Stere A, Kutulakos K, Fleet D, Dickinson S, Siddiqi K. Turbopixels: Fast superpixels using geometric flows. IEEE Trans Pattern Anal Mach Intell 2009; 31(12): 2290-2297.
[12] Veksler O, Boykov Y, Mehrani P. Superpixels and super-voxels in an energy optimization framework. In Book:
Daniilidis K, Maragos P, Paragios N, eds. Berlin, Heidelberg: Springer-Verlag; 2010: 211-224.
[13] Blokhinov YB, Gorbachev VA, Rakutin YO, Nikitin AD. A real-time semantic segmentation algorithm for aerial imagery. Computer Optics 2018; 42(1): 141-148. DOI: 10.18287/2412-6179-2018-42-1-141-148.
[14] Liu M, et al. Entropy rate superpixel segmentation. Proc IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2011: 2097-2104.
[15] Wang J, Wang X. VCells: Simple and efficient superpixels using edge-weighted centroidal Voronoi tessellations. IEEE Trans Pattern Anal Mach Intell 2012; 34(6): 12411247.
[16] Conrad C, Mertz M, Mester R. Contour-relaxed superpixels. In Book: Heyden A, Kahl F, Olsson C, Oskarsson M, Tai X-C, eds. Energy minimization methods in computer vision and pattern recognition. Heidelberg: Springer; 2013: 280-293.
[17] Shen J, Du Y, Wang W, Li X. Lazy random walks for superpixel segmentation. IEEE Trans Image Process 2014; 23(4): 1451-1462.
[18] Neubert P, Protzel P. Compact watershed and preemptive SLIC: On improving trade-offs of superpixel segmentation algorithms. 2014 22nd Int Conf on Pattern Recognition 2014; 996-1001.
[19] Van den Bergh M, et al. SEEDS: Superpixels extracted via energy-driven sampling. Int J Comput Vis 2015; 111(3): 298-314.
[20] Li Z, Chen J. Superpixel segmentation using linear spectral clustering. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2015: 1356-1363.
[21] Wei X, et al. Superpixel hierarchy. IEEE Trans Image Process 2018; 27(10): 4838-4849.
[22] Fu K, Mui J. A survey on image segmentation. Pattern Recogn 1981; 13(1): 3-16.
[23] Denisov DA, Nizovkin VA. Segmentation of images on computers [In Russian]. Zarubegnaya Radioelektronika 1985; 10: 5-31.
[24] Haralick R, Shapiro L. Image segmentation techniques. Comput Vis Graph Image Process 1985; 29(2): 100-132.
[25] Pal N, Pal S. A review on image segmentation techniques. Pattern Recogn 1993; 26(9): 1277-1294.
[26] Mehnert A, Jackway O. An improved seeded region growing algorithm. Pattern Recogn Lett 1997; 18(10): 1065-1071.
[27] Chukin YuV. Data structures for representing images [In Russian]. Zarubegnaya Radioelektronika 1983; 8: 35-47.
[28] Wang M, et al. Superpixel segmentation: A benchmark. Signal Process Image Commun 2017; 56: 28-39.
[29] Neubert P, Protzel P. Superpixel benchmark and comparison. Forum Bildverarbeitung 2012: 1-12.
[30] Schick A, Fischer M, Stiefelhagen R. An evaluation of the compactness of superpixels. Pattern Recogn Lett 2014; 43: 71-80.
[31] Schick A, Fischer M, Stiefelhagen R. Measuring and evaluating the compactness of superpixels. Proc International Conference on Pattern Recognition 2012: 930-934.
[32] Sergeev VV, Soifer VA. Imitation model of images and a data compression method. Automatic Control and Computer Sciences 1978; 12(3): 75-77.
[33] Sergeev VV. Method of video data compression using the criterion of uniform approximation [In Russian]. Questions of Cybernetics. Coding and Transmission of Information in Computer Networks 1978; (42): 146-149.
[34] Csillik O. Fast segmentation and classification of very high resolution remote sensing data using SLIC superpixels. Remote Sensing 2017; 9(3): 1-19.
[35] Li S, et al. Multi-scale superpixel spectral-spatial classification of hyperspectral images. Int J Remote Sens 2016; 37(20): 4905-4922.
[36] Liauchuk VA, Kovalev VA. A method for quantitative description of biomedical images based on superpixel dictionaries [In Russian]. Informatics 2016; (1): 49-57.
[37] Lucks L, et al. Superpixel-wise assessment of building damage from aerial images. Proc 14th Int Joint Conf on Computer Vision, Imaging and Computer Graphics Theory and Applications 2019; 4: 211-220.
[38] Gould S, et al. Multi-class segmentation with relative location prior. Int J Comput Vis 2008; 80: 300-316.
[39] Barnard K, et al. Matching words and pictures. J Mach Learn Res 2003; 3(2): 1107-1135.
[40] Hoiem D, Efros AA, Hebert M. Geometric context from a single image. 10th IEEE Int Conf on Computer Vision (ICCV'05) 2005; 1: 654-661.
[41] Tighe J, Lazebnik S. SuperParsing: Scalable nonparamet-ric image parsing with superpixels. Int J Comput Vis 2010; 101(2): 352-365.
[42] Malisiewicz T, Efros AA. Recognition by association via learning per-exemplar distances. 2008 IEEE Conference on Computer Vision and Pattern Recognition 2008: 1-8.
[43] Hoiem D, et al. Recovering occlusion boundaries from a single image. 2007 IEEE 11th Int Conf on Computer Vision 2007: 1-8.
[44] Cheng J, Liu J, Xu Y. Superpixel classification for initialization in model based optic disc segmentation. Annual Int Conf IEEE Engineering in Medicine and Biology Society 2012; 1450-1453.
[45] Pont-Tuset J, et al. Multiscale combinatorial grouping for image segmentation and object proposal generation. IEEE Trans Pattern Anal Mach Intell 2016; 39(1): 128140.
[46] Ilyasova NYu, Ustinov, AV, Khramov, AG. Algorithms for the automated clustering of the microparticles image [In Russian]. Computer Optics 1993; 13: 39-46.
[47] Abramov NS, Khachumov, VM. Object recognition based on invariant moments [In Russian]. Bulletin of the Peoples' Friendship University of Russia Series Mathematics, Computer science, Physics 2014; 2: 142-149.
[48] Anisimov BV, Kurganov VD, Zlobin VK. Recognition and digital image processing [In Russian]. Moscow: "Vysshaya shkola" Publisher; 1983.
[49] Hu MK. Visual pattern recognition by moment invariants. IEEE Trans Inf Theory 1962; 8(2): 179-187.
[50] Maitra S. Moment invariants. Proc IEEE 1979; 67(4): 697-699.
[51] Glumov NI. Construction and application of moment invariants for image processing in a sliding window [In Russian]. Computer Optics 1995; 14-15(1): 46-54.
[52] Linnik YuV. The method of least squares and the foundations of the mathematical and statistical theory of observation processing [In Russian]. Moscow: "Fizmatlit" Publisher; 1952.
[53] Liu T, Seyedhosseini M, Tasdizen T. Image segmentation using hierarchical merge tree. IEEE Trans Image Process 2016; 25(10): 4596-4607.
[54] Setyanto A, Woods J. Hierarchical visual content modelling and query based on trees. Electron Lett Comput Vis Image Anal 2016; 15(2): 40-42.
[55] Jiao X, Chen Y, Dong R. An unsupervised image segmentation method combining graph clustering and highlevel feature representation. Neurocomputing 2020; 409: 83-92.
[56] Galvâo FL, et al. Image segmentation using dense and sparse hierarchies of superpixels. Pattern Recogn 2020; 108: 1-14.
[57] Treméau A, Colantoni P. Regions adjacency graph applied to color image segmentation. IEEE Trans Image Process 2000; 9(4): 735-744.
[58] Harary F. Graph theory. Boston: Addison-Wesley; 1971.
[59] Ren Z, Shakhnarovich G. Image Segmentation by cascaded region agglomeration. 2013 IEEE Conf on Computer Vision and Pattern Recognition 2013: 2011-2018.
[60] Wang K, Li L, Zhang J. End-to-end trainable network for superpixel and image segmentation. Pattern Recogn Lett 2020; 140: 135-142.
[61] Chang K. Machine learning based image segmentation. Paris: Université PSL; 2019.
Authors' information
Anna Aleksandrovna Egorova (b. 1995) graduated with honors from Samara National Research University majoring in Information Security of Computer-Aided Systems in 2017. Nowadays she is a postgraduate at Samara National Research University. Main research interests: image processing, digital image forgery detection and information security. E-mail: varlamova.anna.95@mail.ru .
Vladislav Victorovich Sergeyev (b. 1951) graduated from Kuibyshev Aviation Institute in 1974 (presently, Samara National Research University). He received his PhD in Technical Sciences (1978) and DRSc degree in Applied Mathematics and Physics (1993). At present, he is a director of Institute of IT, Mathematics and Electronics, a head of Geoin-formatics and Information Security department, and holding a part-time position as the head of laboratory at the Image Processing Systems Institute of RAS - Branch of the FSRC "Crystallography and Photonics" RAS. Research interests are digital signals, image processing, geoinformatics, pattern recognition, and information security. E-mail: vserg@geosamara.ru .
Received February 8, 2021. The final version - April 3, 2021.
