Сегментация в объектно-ориентированном кодировании и передаче многоракурсных изображений

Цветков В. Ю.

Доклады БГУИР

Doklady BGUIR

2019, № 3 (121) УДК 621.391

2019, No. 3 (121)

СЕГМЕНТАЦИЯ В ОБЪЕКТНО-ОРИЕНТИРОВАННОМ КОДИРОВАНИИ И ПЕРЕДАЧЕ МНОГОРАКУРСНЫХ ИЗОБРАЖЕНИЙ

В.Ю. ЦВЕТКОВ

Белорусский государственный университет информатики и радиоэлектроники, Республика Беларусь

Поступила в редакцию 1 марта 2019

Аннотация. Показаны актуальность проблемы повышения эффективности кодирования многоракурсных изображений для передачи по радиоканалам в мобильных системах видеонаблюдения и необходимость разработки методов, алгоритмов и специализированных кодеков сжатия с приемлемой вычислительной сложностью. Определено место сегментации в объектно-ориентированном кодировании многоракурсных изображений. Предложены выражения для относительной оценки вычислительной сложности алгоритмов сегментации и объектно-ориентированного кодирования многоракурсных изображений. Показано, что применение древовидно-волновой сегментации и узловых квадросеток пикселей позволяет снизить вычислительную сложность объектно-ориентированного кодирования многоракурсных изображений и соответственно уменьшить задержку их передачи в мобильных системах видеонаблюдения.

Ключевые слова: сегментация изображений, многоракурсные изображения, объектно-ориентированное кодирование изображений, передача многоракурсных изображений.

Abstract. The urgency of the problem efficiency increasing of coding of the multi-view images for transmission over radio channels in mobile video surveillance systems and the need to develop methods, algorithms and specialized compression codecs with acceptable computational complexity are shown. The segmentation place in the object-oriented coding of multi-view images is determined. Expressions for the relative evaluation of the computational complexity of segmentation algorithms and object-oriented coding of multi-view images are proposed. It is shown that tree-wave segmentation and nodal quad-grids use reduces the computational complexity of object-oriented coding of multi-view images and, accordingly, reduces the delay in their transmission in mobile video surveillance systems.

Keywords: image segmentation, multi-view images, object-oriented image coding, transfer of multi-view images.

Doklady BGUIR. 2019, Vol. 121, ]Чо. 3, pp. 25-36

Segmentation in object-oriented encoding and multi-view images transmission V.Yu. Tsviatkou

Введение

Развитие мобильных систем наблюдения наземного, воздушного и космического базирования ставит новые задачи в кодировании и передаче многоракурсных изображений (МРИ), формируемых одной или несколькими видеокамерами. Это связано с увеличением размеров и скорости формирования изображений (от единиц Мбит/с до сотен Тбит/с), ограничениями на пропускную способность радиоканалов (единицы Кбит/с - десятки Гбит/с) и низкой эффективностью стандартных видеокодеков (максимальный коэффициент сжатия МРИ - десятки -сотни раз, вместо необходимого для передачи коэффициента сжатия - единицы - десятки тысяч раз). Причина неэффективности кодирования МРИ на основе стандартов MPEG-4, Н.264, Н.265 (НЕУС) [1, 2] заключается в отсутствии учета межракурсной избыточности перекрывающихся фрагментов МРИ, обработке кадров от одной видеокамеры, прогнозировании на основе блочной и пиксельной

компенсации движения. Стандарт МУС [3] и другие подходы [4-8], описывающие принципы кодирования стерео- и 3D-изображений в условиях малой стереобазы, одинаковых масштаба и угловой ориентации перекрывающихся фрагментов МРИ, также используют прогнозирование на основе блочной и пиксельной компенсации движения. Такое прогнозирование основано на геометрическом преобразовании переноса, с помощью которого из опорного изображения формируется прогнозное изображение. Однако это осуществляется без учета поворота, масштаба, а также проективных искажений, вызываемых перемещением видеокамеры. В стандарте MPEG-4 и работах [9-12] предлагается использовать сегментную и кадровую компенсацию движения на основе аффинного преобразования. Однако преобразования переноса и аффинное не в полной мере компенсируют межракурсную избыточность перекрывающихся фрагментов МРИ для произвольных геометрий пространств их формирования и траекторий перемещения видеокамеры. Это приводит к низким коэффициентам сжатия разноракурсных фрагментов МРИ, геометрическое соответствие между которыми связано проективным преобразованием. В стандарте MPEG-4 и работах [13-15] проективное преобразование используется в объектно-ориентированном кодировании изображений на основе объектной компенсации движения, но только для синтетических видеоданных. Для проективного преобразования реальных МРИ необходима объектная декомпозиция и идентификация их разноракурсных фрагментов. Объектная компенсация движения на основе проективных преобразований отдельных элементов изображений позволяет существенно повысить коэффициент сжатия МРИ в сравнении с блочной, пиксельной и кадровой компенсацией движения, но имеет высокую вычислительную сложность. Причина данного недостатка связана с сегментацией (разделением изображений на области со схожими характеристиками распределения яркости), необходимой для объектной декомпозиции и идентификации опорных и прогнозируемых фрагментов МРИ. Результатом сегментации является матрица, значение каждого элемента которой указывает на номер сегмента, которому принадлежит соответствующий пиксель изображения, или вектор, элементы которого указывают на положение пикселей, принадлежащих одному сегменту. Можно выделить методы сегментации на основе пороговой обработки [16], обработке областей (выращивание [17], разделение и слияние областей с использованием квадродерева [18, 19]) и водораздела [20]. Сегментация имеет высокую вычислительную сложность и вносит существенный вклад в общую вычислительную сложность объектно-ориентированного кодирования и задержку передачи МРИ в мобильных системах видеонаблюдения. В этой связи на кафедре инфокоммуникационных технологий БГУИР в период с 2014 по 2018 год разрабатывались и исследовались алгоритмы сегментации изображений с низкой вычислительной сложностью, основанные на древовидном разделении и слиянии областей, древовидно-волновом выращивании областей, узловых и сплошных квадросетках пикселей.

Целью работы является оценка эффекта от снижения вычислительной сложности сегментации для объектно-ориентированного кодирования и передачи МРИ в мобильных системах видеонаблюдения.

Многоракурсные изображения

МРИ представляет собой совокупность перекрывающихся фрагментов, которые формируются с помощью: а) одной движущейся видеокамеры; б) одной или нескольких циклически движущихся видеокамер; в) одновременно от нескольких видеокамер (рис. 1) [21, 22].

Увеличение числа видеокамер способствует повышению качества решения задач обнаружения, идентификации, сопровождения, определения координат объектов, построения панорам и трехмерной реконструкции, однако ведет к росту скорости формирования МРИ. Она составляет около 1 Мбит/с от 10 видеокамер при минимальном разрешении и быстро растет с увеличением их числа, пространственного, временного и спектрального разрешения, стремясь к 100 Тбит/с (рис. 2, а) [21, 22]. При этом диапазон пропускных способностей типовых радиоканалов составляет единицы Кбит/с - десятки Гбит/с, а необходимый коэффициент сжатия МРИ - единицы - десятки тысяч раз. Однако предельно допустимые коэффициенты сжатия современных видеокодеков значительно ниже. Для MPEG-4 в случае перемещения видеокамеры это 140 раз при отношении сигнал-шум 25 дБ (под шумом понимается разность исходного и восстановленного изображений).

- видеокамера

___-- - траектория

перемещения t¡ - момент времени формирования фрагмента МРИ

а

Рис. 1. Схемы формирования МРИ: а - формирование МРИ в различные моменты времени от одной перемещающейся видеокамеры; б - формирование МРИ от одной или нескольких циклически перемещающихся видеокамер; в - формирование МРИ в один момент времени

от нескольких видеокамер

На рис. 2, б, в представлены кадр видеопоследовательности и соответствующий ему восстановленный кадр после сжатия кодеком Н.264 в 200 раз с использованием блочной компенсации движения (значение PSNR составляет 25 дБ). При PSNR на уровне 20 дБ (коэффициент сжатия около 400 раз) восстановленный кадр полностью размывается. Аналогичные результаты получаются для кодека MPEG-2 при сжатии в 85 и 170 раз. Это свидетельствует об актуальности проблемы повышения эффективности кодирования МРИ, необходимости разработки методов, алгоритмов и специализированных кодеков сжатия МРИ с приемлемой вычислительной сложностью.

Тепловизор (max)

Видеокамера (min) ?

Тепловизор (min)

10°

10'

102 103 а

ю4

105 106

б в Рис. 2. Скорости формирования МРИ и сжатие изображений: а - зависимости минимальной (min) и максимальной (max) скоростей B (Мбит/с) формирования МРИ от числа N видеокамер (тепловизоров); б - исходный кадр; в - кадр, восстановленный после сжатия в 200 раз кодеком H.264

Объектно-ориентированное кодирование многоракурсных изображений

Для перекрывающихся фрагментов МРИ характерна межракурсная корреляция и, соответственно, межракурсная избыточность, которая проявляется в наличии на разноракурсных фрагментах МРИ однотипных сегментов, представляющих собой проекции одних и тех же объектов. Для эффективного кодирования МРИ необходимо учитывать эту избыточность. Однако из-за параллакса, возникающего в результате смещения видеокамеры при формировании МРИ, проекции объектов на разноракурсных фрагментах имеют различия в размере, форме, цвете, ориентации и взаимном расположении. Это делает неэффективным непосредственное применение для сжатия разностного кодирования. Устранение данного недостатка возможно за счет прогнозирования по опорному фрагменту МРИ других его разноракурсных фрагментов и их совмещения.

В видеокодеках MPEG-4, Н.264, HEVC/H.265, MVC опорный кадр 1В кодируется как неподвижное изображение независимо от других кадров. Остальные кадры I (прогнозируемые) заменяются прогнозными кадрами 1р, которые формируются в результате переноса опорного кадра или его блоков в режиме пиксельной (ПКД) или блочной (БКД) компенсации движения. Перенос, как и аффинное преобразование, используемое в сегментной (СКД) и кадровой (ККД) компенсации движения, не связывают разноракурсные проекции трехмерного

пространства. Расширение стандарта MPEG-4 предусматривает использование объектной компенсации движения (ОКД) на основе проективного преобразования (объектно-ориентированное кодирование) для синтетических объектов. Применение проективного преобразования к реальным МРИ требует сопоставления их опорных и прогнозируемых фрагментов на основе сегментации, объектной декомпозиции и идентификации.

В [21-24] предложен подход к решению проблемы повышения коэффициента сжатия МРИ, основанный на:

1) более точной компенсации межракурсной избыточности при использовании проективных преобразований;

2) учете геометрии пространства формирования МРИ и траектории движения видеокамеры.

Для реализации данного подхода предложено:

1) использовать идентификацию реперов для сопоставления фрагментов МРИ (вместо идентификации блоков в MPEG-4, Н.264);

2) выбирать тип преобразования и тип компенсации движения видеокамеры в зависимости от геометрии пространства формирования МРИ и траектории перемещения видеокамеры (вместо преобразования переноса, и постоянно используемой в MPEG-4, Н.264 ПКД и БКД);

3) использовать опорные фрагменты от нескольких видеокамер (вместо однокамерного режима MPEG-4, Н.264).

В результате разработаны правила выбора способов компенсации движения в зависимости от геометрии пространства формирования МРИ, траектории движения видеокамеры и ограничений на вычислительную сложность. Данные правила легли в основу адаптивных кодеков МРИ. Их отличиями от кодеков MPEG-4, Н.264 является использование комбинации методов компенсации движения с различной вычислительной сложностью, схем прогнозирования с различными способами оценки движения видеокамеры и формирования опорных изображений от одной или нескольких видеокамер. За счет согласования выбора методов компенсации движения с условиями формирования МРИ адаптивное прогнозирование на основе комбинированной компенсации движения видеокамеры обеспечивает наибольшее увеличение коэффициента сжатия МРИ по сравнению с прогнозированием на основе ПКД в 21 раз при использовании комбинированной ПКД и ОКД (при увеличении вычислительной сложности в 29 раз) (рис. 3, а) [24].

Прогнозирование МРИ с использованием ОКД является наиболее сложной операцией объектно-ориентированного кодирования. В [21, 22, 25, 26] предложен метод и разработаны алгоритмы прогнозирования МРИ с ОКД видеокамеры на основе определения расстояний до объектов. Сущность метода состоит в объектной декомпозиции опорного фрагмента МРИ, соответствующего начальному положению видеокамеры, и формировании прогнозного фрагмента МРИ, соответствующего смещенному положению видеокамеры (рис. 3, б). Для получения прогнозного фрагмента МРИ, близкого к прогнозируемому, воспроизводится параллакс, возникающий при перемещении видеокамеры, проявляющийся в различном смещении и деформации объектов опорного фрагмента МРИ с учетом их удаленности от видеокамеры и вектора ее перемещения в трехмерном пространстве. ОКД эффективна для прогнозирования фрагментов МРИ в условиях параллакса и малой динамики объектов (мобильные системы наблюдения на основе транспортных средств наземного и воздушного базирования). Из рис. 3, б следует, что базовыми операциями прогнозирования МРИ с ОКД являются объектно-ориентированная сегментация и объектная декомпозиция опорного фрагмента МРИ. В результате их выполнения формируется матрица объектной декомпозиции, содержащая информацию о количестве и расположении объектов на опорном фрагменте МРИ, которые представляются совокупностями одинаковых по яркости пикселей, выделяемых при сегментации опорного фрагмента МРИ. Пиксели, имеющие значение 1, относятся к поверхности, на которой размещаются объекты, и заднему плану.

Информация о перемещении и ориентации видеокамеры

Кодирование ошибки прогнозирования Кодир парам ттреобра звание етров зования

1 ! г

| Мультиплексор |

m

Код прогнозирования а

и

i

Опорный фрагмент МРИ

Объектно-ориентированная сегментация

Объектная декомпозиция

Прогнозный фрагмент МРИ

Аффинное преобразование

Определение расстояний до объектов

Определение коэффициентов преобразования

Информация об установке и ориентации видеокамеры

1 Информация о траектории перемещения и параметрах видеокамеры

б

Рис. 3. Адаптивное кодирование МРИ: а - схема адаптивного кодера прогнозируемых фрагментов МРИ на основе комбинированной (ПКД и ОКД) компенсации движения видеокамеры; б - схема прогнозирования МРИ с объектной компенсацией движения видеокамеры на основе определения расстояний до объектов

Методы сегментации изображений

Для сегментации изображений широко используются два метода, основанные на выращивании областей и разделении и слиянии областей с помощью квадродерева.

Выращивание областей предполагает построчное сканирование изображения в поиске несегментированных пикселей (1 операция на пиксель). Если такой пиксель обнаруживается, но осуществляется обработка его окрестности, включающей 8 смежных с ним пикселей, в ходе которой устанавливается соответствие между значениями центрального и смежных пикселей (8 операций на пиксель). Если такие пиксели обнаруживаются, то центральный пиксель становится точкой роста области. Смежные пиксели, удовлетворяющие условию соответствия, присоединяются к центральному пикселю и сами становятся потенциальными точками роста.

Таким образом, число ORG операций, необходимое для сегментации изображения размером YX

на основе выращивания областей, определяется выражением

Org = 9YX. (1)

Разделение и слияние областей реализуется в три этапа.

На первом этапе исходное изображение делится на кластеры размером 2*2 пикселя, и для каждого кластера оценивается схожесть значений элементов. По результатам этой оценки определяется значение элемента кластера следующего по иерархии уровня (0 - если значения всех элементов одинаковы, 1 - если имеется хотя бы один элемент с отличающимся значением). В результате формируются логические связи между элементами кластеров, образующими древовидную структуру - квадродерево, значение каждого элемента которого указывает на однородность или неоднородность элементов соответствующего кластера нижнего уровня иерархии. Число OqT 1 операций на данном этапе зависит только от размера изображения (значения

l-1 YX

Y, X должны быть кратны 21) и определяется выражением Oqt 1 = ^ -^ ~ 1,3YX ,

l=о

где L = |_log2 (min(Y, X))J; _ J - операция округления с недостатком.

(2 х 2)1

На втором этапе в результате обработки квадродерева происходит разделение областей - назначение (нулевому элементу неоднородного кластера присваивается новый номер сегмента) и распределение (элемент однородного кластера наследует номер сегмента соответствующего нулевого элемента кластера верхнего уровня) номеров сегментов,

ь-1 YX

что требует ОоТ 2 = -у * 1,3УХ операций.

На третьем этапе осуществляется слияние схожих смежных областей. Для этого определяются и корректируются избыточные номера сегментов, которые принадлежат нулевым элементам неоднородных кластеров, совпадающим по значениям с какими-либо смежными элементами однородных кластеров (5 операций на пиксель). В случае совпадения первый элемент наследует номер сегмента второго элемента. Экспериментально установлено, что число таких сегментов составляет от 1 до 10 % от общего числа элементов кластеров в зависимости от типа изображения. В таком случае число ОоТ3 операций на третьем этапе

Ь-1 ух

составляет ОоТ3 = (0,05..0,5)£?-^ * (0,07..0,7)УХ.

1=0 (2 х 2)

Общее число ОоТ операций, необходимое для сегментации изображения размером УХ на основе разделения и слияния областей, определяется с помощью выражения Оот = Оот 1 + Оот 2 + Оот 3 = (2,7..3,3)УХ. (2)

Из выражений (1) и (2) следует, что сегментация на основе разделения и слияния областей использует в 2,7 - 3,3 раза меньшее число операций в сравнении с сегментацией на основе выращивания областей.

Несмотря на выигрыш в числе операций метод сегментации на основе разделения и слияния областей, как и метод на основе выращивания областей, не предусматривает возможность повышения скорости обработки (или сокращения объема используемой оперативной памяти) за счет увеличения ошибки сегментации. К незначительному сокращению числа операций сегментации на основе разделения и слияния областей (за счет упрощения третьего этапа сегментации) приводят квантование, низкочастотная фильтрация, сжатие с потерями, однако при этом увеличивается общее число операций. Для обоих рассматриваемых методов отсутствует возможность адаптации к ограничениям вычислительных ресурсов.

Адаптивная сегментация изображений на основе древовидных структур

Для адаптации алгоритмов сегментации к ограничениям вычислительных ресурсов на кафедре инфокоммуникационных технологий БГУИР в период с 2014 по 2018 годы развивался подход, использующий: а) прерывание процесса сегментации по исчерпанию вычислительных ресурсов при условии выделения основных областей в различных частях изображения с приемлемой ошибкой определения их границ; б) уменьшение числа обрабатываемых пикселей в результате прореживания строк и столбцов изображения и выбора шага прореживания с учетом доступных вычислительных ресурсов и приемлемой ошибки сегментации. При этом разработаны алгоритмы: а) пиксельной сегментации, обеспечивающие выделение наиболее значимых сегментов в различных частях изображения и компактное представление результатов сегментации с приемлемой ошибкой в условиях ограниченных вычислительных ресурсов за счет вложенного кодирования областей и возможности прерывания процесса сегментации; б) блочной сегментации, обеспечивающие уменьшение числа обрабатываемых пикселей с учетом ограниченных вычислительных ресурсов и приемлемой ошибки сегментации за счет прореживания строк и столбцов изображения с помощью древовидных квадросеток с изменяемым размером ячеек.

Для адаптации к ограничениям на емкость памяти разработан алгоритм пиксельной сегментации изображений на основе древовидного разделения и слияния областей [27-29]. Алгоритм отличается вложенным кодированием структуры квадродерева, описывающего положения и формы сегментов, возможностью прерывания процесса кодирования и ограничением объема вложенного кода с учетом приемлемой ошибки сегментации. Алгоритм включает три этапа обработки:

1) древовидная кластеризация однородных по яркости областей и формирование множества кратномасштабных кластерных образов исходного изображения;

2) присвоение номеров кластеризованным областям на всех уровнях кратномасштабного представления исходного изображения и поиск избыточных границ однородных областей;

3) объединение смежных одинаковых по яркости кластеризованных областей (рис. 4).

Исходное изображение Квантованное Сегментированное

512х 512 изображение изображение (уровень 1)

Рис. 4. Многомасштабное представление сегментированного изображения

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

По сравнению с алгоритмом на основе разделения и слияния областей разработанный алгоритм позволяет уменьшить объем представления результатов сегментации до 4,5 раза при величине ошибки квантования до 3 бит/пиксель. Алгоритм обеспечивает адаптацию к ограничениям емкости SL памяти с учетом приемлемой ошибки Еь сегментации в результате проверки условия ((/) < SL ) V (ЕА (/) > EL ), где SA (/) - объем памяти, занимаемый переменными алгоритма на /-й итерации; ЕА (/) - ошибка сегментации на /-й итерации. Невыполнение данного условия вызывает прерывание процесса сегментации и приводит к ошибке сегментации ЕА (/) . Для адаптации к ограничениям на время обработки разработан алгоритм пиксельной сегментации изображений на основе древовидно-волнового выращивания областей [30]. Сущность алгоритма заключается в использовании октодерева для поиска одинаковых равноудаленных пикселей и прерывании процесса обработки при обеспечении приемлемой ошибки сегментации (рис. 5).

а б

Рис. 5. Схема обработки точек роста: а - начальные точки; б - схема проверки окрестных пикселей

Древовидно-волновое выращивание областей начинается с выбора начальных точек роста. Для этого могут использоваться локальные максимумы гистограммы значений пикселей изображения. Далее в цикле размеры сегментов вокруг начальных точек постепенно увеличиваются по структуре октодерева в результате анализа восьми окрестных пикселей для каждого граничного пикселя сегмента. Окрестный пиксель присоединяется к выращиваемой области, если абсолютное значение разности значений текущего выращиваемого пикселя и текущего окрестного пикселя не превышают заданный порог. Алгоритм обеспечивает адаптацию к ограниченному времени Т сегментации с учетом приемлемой ошибки Еь сегментации в результате проверки условия (ТА < Т) V (ЕА > Еь) , где ТА - время выполнения алгоритма; ЕА = YX — Сш - ошибка сегментации; Сш - число сегментированных пикселей. Невыполнение данного условия вызывает прерывание сегментации и приводит к ошибке ЕА .

Для адаптации к ограничениям на вычислительные ресурсы за счет сокращения числа обрабатываемых пикселей разработаны алгоритмы блочной сегментации изображений на основе древовидного разделения, слияния, древовидно-волнового выращивания областей, узловых (рис. 6) и сплошных квадросеток пикселей с изменяемым размером ячеек [31-33]. Они позволяют выделять области на основе анализа яркости пикселей в узлах и по периметру ячеек сетки, покрывающей изображение, и обеспечивают ускорение сегментации и адаптацию к вычислительным ресурсам за счет выбора шага сетки и возможности прерывания процесса сегментации.

Рис. 6. Схема прореживания пикселей изображения с помощью узловой квадросетки

Для адаптации к ограничениям на емкость 8Ь памяти с учетом приемлемой ошибки Еь сегментации шаги Ат и Ах квадросетки выбираются так, чтобы размеры Y = YF/ Ат и X = XF| А х прореженного изображения обеспечивали выполнение условия (V, X) < ) л (Ем (V, X) < Еь ) , где (V, X) - объем памяти, занимаемый переменными алгоритма; Ем (V, X) = YFXF — YX - ошибка сегментации; YFXF - размер исходного изображения. Проверка условия (ТА < Ть ЕА > Еь) обеспечивает адаптацию алгоритмов к ограничениям на время Т сегментации с учетом приемлемой ошибки Еь сегментации, где ТА - время выполнения алгоритма; ЕА - ошибка сегментации. При увеличении шага квадросетки до 9 пикселей алгоритмы древовидного разделения и слияния областей и древовидно-волнового выращивания областей на основе узловых квадросеток позволяют снизить вычислительную сложность сегментации в 77 и 8 раз соответственно при увеличении ошибки сегментации в 5 и 3 раз по сравнению с алгоритмами разделения и слияния областей и выращивания областей.

Оценка эффекта от снижения вычислительной сложности сегментации изображений для объектно-ориентированного кодирования и передачи МРИ

В [24] показано, что число операций, приходящихся на ОКД (с учетом прогнозирования), определяется с помощью выражения

20YX + 2Nr (Yr x XR )+ NR + 24NS , (3)

где Yr x Xr - размер окрестности реперной точки (20 x 20 пикселей); NR - среднее число реперных точек (примерно 0,0005YX ), выделяемых на изображении; NS - среднее число

сегментов (примерно (0, выделяемых на изображении. Причем на сегментацию

(с помощью алгоритма выращивания областей) опорного и прогнозного фрагментов МРИ приходится примерно 20YX операций (первое слагаемое выражения (3)) из общего числа (20 + 8 + 0,5 + (0,2..2,4))YX

операций. Из выражения (3) следует, что при сегментации фрагментов МРИ на основе древовидно-волнового выращивания областей и узловых квадросеток пикселей с шагом 9 пикселей, позволяющих снизить вычислительную сложность в 8 раз по сравнению с сегментацией на основе выращивания областей при увеличении ошибки сегментации в 3 раза, вычислительная сложность ОКД снижается примерно в 2,5 раза. При этом вычислительная сложность ОКД становится соизмерима с вычислительной сложностью БКД.

При оценке эффекта от снижения вычислительной сложности сегментации для объектно-ориентированного кодирования в целом необходимо учесть вычислительную сложность:

а) вейвлет-преобразования ( 16YX операций), квантования ( 6YX операций), кодирования опорного фрагмента МРИ ( 23,5YX операций - для 8-разрядных изображений, алгоритмов кодирования SPIHT, SPECK, MECT [34, 35]);

б) ОКД ( 31YX операций - для сегментации на основе выращивания областей, 13YX операций - для сегментации с использованием узловых квадросеток) и кодирования NP прогнозных фрагментов МРИ (23,5NPYX операций), что в сумме дает

(45,5 + 54,5Np )YX

операций при использовании сегментации на основе выращивания областей против (45,5 + 36,5NP )YX операций при использовании сегментации на основе древовидно-волнового выращивания областей и узловых квадросеток. Таким образом, вычислительная сложность объектно-ориентированного кодирования опорного и NP = {1,2,5} прогнозных фрагментов МРИ снижается в 1,2, 1,3, 1,4 раза соответственно за счет реализации ОКД с использованием сегментации на основе древовидно-волнового выращивания областей и узловых квадросеток с шагом 9 пикселей вместо сегментации на основе выращивания областей. В соответствующее число раз может быть увеличена скорость кодирования МРИ и снижена задержка при их передаче.

Заключение

За счет использования для объектной компенсации движения видеокамеры алгоритма сегментации на основе древовидно-волнового выращивания областей и узловых квадросеток с шагом 9 пикселей, имеющего в 8 раз меньшую вычислительную сложность по сравнению с алгоритмом выращивания областей, вычислительная сложность объектно-ориентированного кодирования многоракурсных изображений, состоящих из опорного и 1-5 прогнозных фрагментов, может быть снижена в 1,2-1,4 раза при увеличении ошибки сегментации в 3 раза. Соответственно, в 1,2-1,4 раза может быть повышена скорость кодирования многоракурсных изображений и снижена задержка при их передаче по радиоканалам в мобильных системах видеонаблюдения.

Список литературы

1. Richardson I. H.264 and MPEG-4 Video Compression and Video Coding for Next-generation Multimedia. The Robert Gordon University, Aberdeen, UK, John Wiley & Sons Ltd, 2003. 281 p.

2. Sze V., Budagavi M., Sullivan G.J. High Efficiency Video Coding (HEVC): Algorithms and Architectures. Springer, 2014. 372 p.

3. Vetro A., Wiegand T., Sullivan G.J. Overview of the stereo and multiview video coding extensions of the H.264/MPEG-4 AVC standard // Proc. of IEEE. 2011. Vol. 99, № 4. P. 626-642.

4. Sethuraman S.A., Siegel M.W., Jordan A.G. multiresolution framework for stereoscopic image sequence compression // Proc. of the First IEEE International Conference on Image Processing. 1994. Vol. 2. P. 361-365.

5. Ellinas J.N., Sangriotis M.S. Stereo image compression using wavelet coefficients morphology // Image and Vision Computing. 2004. Vol. 22. P. 281-290.

6. End-to-end stereoscopic video streaming with content-adaptive rate and format control / A. Aksay [et al.] // Signal Processing: Image Communication. 2007. Vol. 22. P. 157-168.

7. Zamarin M., Forchhammer S. Lossless Compression of Stereo Disparity Maps for 3D // IEEE International conf. on Multimedia and Expo Workshops, IEEE Computer Society. Washington, DC, USA, 2012. P. 617-622.

8. Wiegand T., Steinbach E., Girod B. Affine Multipicture Motion-Compensated Prediction // IEEE Transactions on Circuits and Systems for Video Technology. February 2005. Vol. 15, № 2. P. 197-209.

9. Yokoyama Y., Miyamoto Y., Ohta M. Very low bit rate video coding using arbitrarily shaped region-based motion compensation // IEEE Trans. Circuits System Video Technology. December 1995. Vol. 5, № 12. P. 500-507.

10. Structural motion segmentation for compact image sequence representation / C.K. Cheong [et al.] // Proc. SPIE conf. Visual Communication Image Processing, Orlando, FL, Mar, 1996. Orlando, 1996. Vol. 2727. P. 1152-1163.

11. Francois E., Vial J.-F., Chupeau B. Coding algorithm with region-based motion compensation // IEEE Trans. on Circuits and Systems for Video Technology. 1997. Vol. 7, № 1. P. 97-108.

12. Fast and accurate global motion compensation / O. Deniza [et al.] // Pattern Recognition. December 2011. Vol. 44, № 12. P. 2887-2901.

13. Diehl N. Object-oriented motion estimation and segmentation in image sequences // Signal Processing: Image Communications. 1991. Vol. 3, № 1. P. 23-56.

14. Wang J.Y.A., Adelson E.H. Representing moving images with layers // IEEE Trans. Image Processing. 1994. Vol. 3, № 9. P. 625-638.

15. Coding of Audio-Visual Objects: Visual / ISO/IEC JTC1/SC29/WG11 N2202. Tokyo, March 1998. 331 p.

16. A multi-level thresholding approach based on group search optimization algorithm and Otsu/ Z.Ye [et al.] // 8th International Symposium on Computational Intelligence and Design (ISCID). Hangzhou, 2015. P. 275-278.

17. Kamdi S., Krishna R.K. Image Segmentation and Region Growing Algorithm // International Journal of Computer Technology and Electronics Engineering (IJCTEE). 2012. Vol. 2. P. 103-107.

18. Raviraj P., Lydia A., Sanavullah M.Y. An accurate image segmentation using region splitting technique // Computer Science and Telecommunications. 2011. Vol. 31. P. 12-21.

19. M'arquez, G.R., Escalante H.J., Sucar L.E. Simplified Quadtree Image Segmentation for Image Annotation // Proceedings of the 1st Automatic Image Annotationand RetrievalWorkshop 2010. 2011. Vol. 1. P. 24-34.

20. Level set methods for watershed image segmentation / X. Tai [et al.] // SSVM - Springer, 2007. 178 p.

21. Цветков В.Ю. Конопелько В.К., Липницкий В.А. Предсказание, распознавание и формирование образов многоракурсных изображений с подвижных объектов. Минск: Изд. центр БГУ, 2014. 223 с.

22. Цветков В.Ю. Оценка эффективности методов сжатия для кодирования многоракурсных изображений с подвижных объектов // Докл. БГУИР. 2014. № 5 (83). С. 11-16.

23. Цветков В.Ю. Геометрические модели многоракурсных изображений и проективная компенсация движения камеры // Докл. БГУИР. 2014. № 8 (86). С. 41-47.

24. Цветков В.Ю. Геометрические модели и предсказание многоракурсных изображений на основе компенсации движения камеры // Изв. НАН Беларуси. 2015. № 4. С. 85-93.

25. Цветков В.Ю. Кодирование видеоданных в мобильных системах на основе объектной компенсации движения видеокамеры / В.Ю. Цветков // Технологии безопасности. 2012. № 1. С. 41-42.

26. Видеокодек с объектной компенсацией движения видеокамеры для сжатия видеоданных: пат. 8206 Респ. Беларусь / В.К. Конопелько, В.Ю. Цветков, Т.М. Аль-Джубури, О.Дж. Аль-Фурайджи; опубл. 30.04.2012.

27. Цветков В.Ю., Альмияхи О.М., Аль-Джубури Т.М. Прогрессивная сегментация изображений на основе реверсивной кластеризации // Материалы науч.-техн. конф. «РИНТИ-2014». Минск, 2014. C. 246-251.

28. Альмияхи О.М. Цветков В.Ю., Макейчик Е.Г. Сегментация и компактное многомасштабное представление изображений на основе прогрессивной обратной кластеризации // Докл. БГУИР. 2015. № 6 (92). С. 48-54.

29. Альмияхи О.М., Цветков В.Ю., Конопелько В.К. Прогрессивная кластерная сегментация изображений // Материалы III Междунар. науч.-практ. конф. «Прикладные проблемы оптики, информатики, радиофизики и физики конденсированного состояния». Минск, 28-29 апреля 2015 г. С. 137-139.

30. Альмияхи О.М., Цветков В.Ю., Конопелько В.К. Сегментация изображений на основе волнового выращивания областей // Докл. БГУИР. 2016. № 3 (97). С. 24-30.

31. Альмияхи О.М., Конопелько В.К., Цветков В.Ю. Разделение областей изображений на основе квадросеток // Материалы науч.-техн. конф. «РИНТИ-2016». Минск, 2016. C. 240-244.

32. Альмияхи О.М., Цветков В.Ю., Конопелько В.К. Блочное волновое выращивание областей

изображения на основе квадросеток пикселей // Докл. БГУИР. 2016. № 8 (102). С. 82-88.

33. Альмияхи О.М., Цветков В.Ю., Касанин С.Н. Блочное разделение и слияние областей изображения на основе прогрессивной кластеризации квадросеток пикселей // Вестк сувязг 2017. № 2 (142). С. 45-49.

34. Борискевич А.А., Цветков В.Ю. Метод масштабируемого вложенного кодирования изображений на основе иерархической кластеризации вейвлет-структур // Докл. НАН Беларуси. 2009. Т. 53, № 3. С. 38-48.

35. Борискевич А.А., Цветков В.Ю. Метод вейвлет-преобразования с иерархической адаптацией к размеру сигнала // Изв. НАН Беларуси. 2009. № 4. С. 83-90.

References

1. Richardson I. H.264 and MPEG-4 Video Compression and Video Coding for Next-generation Multimedia. The Robert Gordon University, Aberdeen, UK, John Wiley & Sons Ltd, 2003. 281 p.

2. Sze V., Budagavi M., Sullivan G.J. High Efficiency Video Coding (HEVC): Algorithms and Architectures. Springer, 2014. 372 p.

3. Vetro A., Wiegand T., Sullivan G.J. Overview of the stereo and multiview video coding extensions of the H.264/MPEG-4 AVC standard // Proc. of IEEE. 2011. Vol. 99, № 4. P. 626-642.

4. Sethuraman S.A., Siegel M.W., Jordan A.G. multiresolution framework for stereoscopic image sequence compression // Proc. of the First IEEE International Conference on Image Processing. 1994. Vol. 2. P. 361-365.

5. Ellinas J.N. Sangriotis M.S. Stereo image compression using wavelet coefficients morphology // Image and Vision Computing. 2004. Vol. 22. P. 281-290.