Научная статья на тему 'Стабилизация видео для статичной сцены на базе модифицированного метода соответствия блоков'

Стабилизация видео для статичной сцены на базе модифицированного метода соответствия блоков Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
527
113
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СТАБИЛИЗАЦИЯ ВИДЕО / МЕТОД СООТВЕТСТВИЯ БЛОКОВ / ГАУССОВО РАСПРЕДЕЛЕНИЕ / VIDEO STABILIZATION / BLOCK-MATCHING METHOD / GAUSSIAN DISTRIBUTION

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Буряченко Владимир Викторович

Рассмотрены основные подходы к стабилизации видеоматериалов, в частности нахождение глобального движения кадра, вызванного внешними воздействиями. Построен алгоритм стабилизации видеоматериалов на основе модифицированного метода соответствия блоков для последовательных кадров.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Буряченко Владимир Викторович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

VIDEO STABILIZATION FOR STATIC SCENES BASED ON A MODIFIED BLOCK-MATCHING METHOD

The authors consider approaches to the video stabilization, such as definition of global motion of a picture, based on motion vectors. An algorithm for video stabilization, on the basis of methods of matching blocks, is constructed and presented.

Текст научной работы на тему «Стабилизация видео для статичной сцены на базе модифицированного метода соответствия блоков»

позволит перейти на качественно более высокий уровень проектирования, разработки и оценки защищенности систем защиты информации.

Библиографические ссылки

1. Кобозева А. А., Хорошко В. А. Анализ информационной безопасности : монография. Киев : Изд-во Гос. ун-та информ.-коммуникац. технологий, 2009.

2. Васильев В. И., Машкина И. В., Степанова Е. С. Разработка модели угроз на основе построения нечеткой когнитивной карты для численной оценки риска нарушений информационной безопасности // Изв. Юж. федер. ун-та. Технические науки. 2010. Т. 112, № 11. С. 31-40.

3. Operationally Critical Threat, Asset, and Vulnerability Evaluation (Octave) Framework : Techn. Rep. CMU/SEI-SS-TR-017 / C. J. Alberts, S. G. Behrens, R. D. Pethia, and W. R. Wilson ; Carnegie Mellon Univ. Pittsburgh, PA, 2005.

4. Burns S. F. Threat Modeling: a Process to Ensure Application Security // GIAC Security Essentials

Certification Practical Assignment. Version 1.4c / SANS Inst. Bethesola, Md, 2005.

5. Попов А. М., Золотарев В. В., Бондарь И. В. Методика оценки защищенности информационной системы по требованиям стандартов информационной безопасности // Информатика и системы упр. / Тихо-океан. гос. ун-т. Хабаровск, 2010. № 4 (26). С. 3-12.

6. Анализ надежности и риска специальных систем : монография / М. Н. Жукова, В. В. Золотарев, И. А. Панфилов и др. ; Сиб. гос. аэрокосмич. ун-т. Красноярск, 2011.

7. Жуков В. Г., Жукова М. Н., Стефаров А. П.

Модель нарушителя прав доступа в автоматизированной системе // Програм. продукты и системы / НИИ Центрпрограммсистем. Тверь, 2012. Вып. 2.

С. 72-75.

8. Система поддержки принятия решений по защите информации «ОАЗИС» / И. В. Бондарь, В. В. Золотарев, А. В. Гуменникова, А. М. Попов // Програм. продукты и системы / НИИ Центрпрограммсистем. Тверь, 2011. Вып. 3. С. 186-189.

I. V. Bondar

CONSTRUCTION METHOD FOR INFORMATION SECURITY THREAT MODELS

OF AUTOMATED SYSTEMS

The authors consider a technique of threat models constructing. The purpose of modeling is to control the information system security level with risk analysis methods and describe the development of an effective information security system that ensures the neutralization of the supposed threats with appropriate security measures.

Keywords: threat model, information system, information security system model.

© Бондарь И. В., 2012

УДК 004.932

В. В. Буряченко

СТАБИЛИЗАЦИЯ ВИДЕО ДЛЯ СТАТИЧНОЙ СЦЕНЫ НА БАЗЕ МОДИФИЦИРОВАННОГО МЕТОДА СООТВЕТСТВИЯ БЛОКОВ

Рассмотрены основные подходы к стабилизации видеоматериалов, в частности нахождение глобального движения кадра, вызванного внешними воздействиями. Построен алгоритм стабилизации видеоматериалов на основе модифицированного метода соответствия блоков для последовательных кадров.

Ключевые слова: стабилизация видео, метод соответствия блоков, гауссово распределение.

Цифровая система стабилизации изображения в первую очередь оценивает нежелательные движения, а затем исправляет последовательности изображений, компенсируя влияние внешних факторов: нестабильности съемки, погодных условий и т. д. Вполне вероятно, что аппаратные системы захвата движения будут включать в себя стабилизацию изображения, поэтому данное исследование сосредоточено на моделировании и реализации алгоритмов, которые могут эффективно работать на аппаратных платформах.

Существует два основных подхода к решению проблемы стабилизации видеоматериалов: механический подход (оптическая стабилизация) и цифровая обработка изображений. Механический подход применяется в оптических системах для настройки датчиков движения во время дрожания видеокамеры и означает использование устойчивой установки видеокамеры или наличие гироскопических стабилизаторов. Несмотря на то что этот подход может хорошо работать на практике, он почти не используется из-за высокой стоимости приборов стабилизации и наличия

ограничений при движении видеокамеры [1]. Второй подход заключается в программной стабилизации видеоматериалов сразу после съемки и является более перспективным в силу аппаратной независимости. Однако цифровая стабилизация характеризуется такими недостатками, как низкая скорость работы и отсутствие некоторых краевых участков изображения (рис. 1).

В различных публикациях предложены следующие подходы к оценке движения: рекурсивные растровые алгоритмы, алгоритмы частотной области, алгоритмы оптического потока и методы соответствия блоков. Приведем их краткий сравнительный анализ.

Рекурсивные растровые алгоритмы используют итеративное совершенствование оценки движения для отдельных элементов растра, выполняемое градиентными методами, для предсказания рекурсивного смещения каждого элемента растра от его соседних элементов. Эти алгоритмы имеют большую вычислительную сложность и меньше поддаются настройке, поэтому их трудно использовать в аппаратных средствах.

Частотные методы оценки движения применяются для глобальной оценки движения кадра (Global Motion). Наиболее известным из этих методов является фазовый метод корреляции на основе преобразования Фурье.

Существующие алгоритмы определения глобального движения кадра используются как для сжатия, так и для обработки видеоматериалов, например в задачах построения панорамного изображения или стабилизации видео с дрожанием кадра.

Алгоритмы определения глобального движения кадра можно разделить на три группы:

- алгоритмы, использующие особые точки (Feature Points), например алгоритм 2D Ridge Motion;

- алгоритмы, использующие векторы движения (Motion Vector);

- алгоритмы глобального поиска.

Алгоритмы из каждой группы имеют характерные сильные и слабые стороны. Так, применение аппарата особых точек требует значительных временных затрат на выбор особых точек (Feature Points Selection) и на их отслеживание (Feature Points Tracking). Преимуществом данных алгоритмов является высокая надежность определения смещений. Использование векторов движения (Motion Estimation) дает более низкую надежность определения смещений, чем особые точки. Но у алгоритмов определения векторов движения есть большое преимущество - высокая скорость. Под алгоритмами глобального поиска понимаются алгоритмы, определяющие глобальное движение по всему кадру без применения промежуточных преобразований.

Методы оптического потока гарантируют высокую точность для сцен с небольшими смещениями, но допускают сбои, когда смещения являются большими. Кроме того, эти методы страдают от апертурной проблемы, поскольку каждая окрестность пикселей может иметь различное движение на изображении.

Алгоритмы соответствия блоков оценивают движение на основании прямоугольных блоков и вычисляют один вектор движения для каждого блока. Эти алгоритмы являются более подходящими для аппаратной реализации из-за их настраиваемости и простоты.

Рис. 1. Примеры восстановления границ изображений: а-в - исходные кадры; г - обрезка; д - мозаика; е - стабилизация движения

с»

г

к

В базовом методе сопоставления блоков (Block Matching Algorithm, BMA) каждый кадр разделен на блоки, состоящие из локальных блоков интенсивности и цветности (рис. 2). Обычно для эффективного кодирования оценка движения выполняется только на блоке яркости. Для каждого блока на текущем кадре осуществляется поиск соответствующего, т. е. наименее искаженного: блока на следующем кадре и записывается его смещение (или вектор движения). Обычно кодируется разница между текущим и следующим кадром. Таким образом, вместо исходного блока интенсивности могут быть переданы вектор движения и получившаяся величина ошибки, что обеспечивает сжатие данных и устранение межкадровой избыточности. Суммирование кадра и вектора движения дает точную копию следующего кадра [2].

Однако яркость сцены может изменяться по времени, поэтому некоторые модели учитывают изменение яркости. Подобная корректировка может улучшить результат стабилизации, если не принимать во внимание таких локальных изменений яркости, как тени.

Модификация метода соответствия блоков.

Автором предлагается статистический метод оценки движения, основанный на моделировании блоков изображения с использованием гауссова распределения.

В этом случае оптимизация выполняется с помощью алгоритма максимизации ожидания (EM-алгоритма), основанного на итеративной оптимизации

параметров модели (априорной вероятности, векторов значений и ковариативных матриц), и расширенного расстояния Махаланобиса, применяемого для оценки соответствия между блоками и поиска наиболее близких блоков на соседних кадрах.

Рассмотрим следующую гауссову модель:

(

f X 1 X ( X 1 ^ X ^

= S гР в = S агР —, S,

I г = i

(i)

где к - числом компонентов; а, > 0 - пропорции ком-

к

понентов, удовлетворяющие условию ^ а, = 1, при

г=1

этом каждая плотность компонентов р(х/0) является гауссовой функцией плотности вероятности:

p U ’s г(2П )-2 is,

-(i/2)( x-ц )T s, -'(x-ц) (2)

здесь п - размерность вектора х; ц - вектор значений; Еi - положительно определенная матрица ковариации; 0к - набор из всех параметров в смеси, 0к = (01, ..., 0к, аь ..., ак).

Ряд X = {х( }^=1 является функцией правдоподобия

для гауссовой модели смеси, выраженной следующим образом:

log Р

в,.

=log П р

в,

:S log S аіР\7Г

t=1 i=1

(3)

Текущий кадр

Рис. 2. Схема реализации метода соответствия блоков

Выражение (3) может быть максимизировано для получения максимально правдоподобной оценки 0к через следующий алгоритм:

N

X / хг)

+ = _/=1_______

* N 5

X Р(*/ х)

г=1

N

+ (Х хр(* / хг)(хг - ^ )(хг -^+ У )

X = —------------------------------

N 5

* X Р(* / хг)

г=1

где Р(,/хг) - апостериорная вероятность:

Р(*/ хг) = а,р(хг / 0г) / X а,Р(хг - 0,). (4)

г=1

Алгоритм оптимизации ожидания сильно зависит от инициализации, поэтомы для ЕМ-алгоритма выбор первого набора параметров очень важен. Если начальные параметры выбраны неудачно, то алгоритм может сходиться в локальные точки максимумов. Свойства сходимости ЕМ-алгоритма по гауссовой модели распределения были подробно изучены в [3].

Для случая двух распределений Гаусса N1 (ц1, ^) и N2 (ц2, Хг) мера между двумя векторами значений определяется следующим образом:

А*мъп(^,N2) = (И-Цг)Г(X+X )“'(*-^г). (5)

V 1 2

Эта мера создает случай особенности для матрицы ковариации. Полученная матрица не всегда обусловлена и ее обратной матрицы не существует. В предлагаемой реализации инверсия исключительной матрицы ковариации заменяется ее псевдоинверсией, для вычисления которой используется сингулярное разложение.

Алгоритм стабилизации видеоматериалов на основе модифицированного метода соответствия блоков. При рассмотрении видеопоследовательности, содержащей движущиеся объекты, вектор смещения каждого объекта в плоскости изображения оценивается методом полного поиска соответствия блоков (Р8БМЛ). Текущий кадр разделен на матрицы -макроблоки, которые включают в себя соответствующий блок и его ближайших соседей на предыдущем кадре. Это позволяет создать вектор движения макроблока от одного места к другому на предыдущем кадре. Такое смещение, вычисленное для всех макроблоков, представляет оценку движения на текущем кадре. Область поиска для соответствия макроблока ограничена до р пикселов (где р является поисковым параметром) во все стороны на предыдущем кадре (рис. 3).

Увеличение значения р позволяет находить большее движение, но делает процесс поиска движения более ресурсоемким. Соответствие одного макроблока другому основано на выводе функции стоимости. При этом макроблок с наименьшим значением функции стоимости соответствует текущему блоку.

Функция стоимости определяется расширенным расстоянием Махаланобиса для взвешенных компо-

нентов распределений Гаусса. Это расстояние разделено на гауссовы интервалы между предыдущим и текущим блоками, компоненты сильных, средних и слабых весов (рис. 4).

Область поиска

___________1.6

Текущий

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

макроблок

Р

______________________^_____________________

Рис. 3. Область поиска размеров 16 пикселов и сдвига в р пикселов

При моделировании смесью двух распределений Гаусса функция стоимости определяется расширенным расстоянием Махаланобиса между компонентами сильных (ё\) и слабых весов (а?3).

Предложенный алгоритм состоит из следующих этапов:

1) моделирование каждого блока на ссылочном кадре смесью из трех гауссовых распределений, в ходе которого происходит оценка параметров (веса, векторов значений и матрицы ковариации);

2) сортировка параметров на основе их веса в распределении, что позволяет идентифицировать компоненты слабых весов, среднего и сильного веса;

3) нахождение минимального расстояния между блоками «Ссылочный кадр»/ «Текущий кадр»:

- расширенное расстояние Махаланобиса между блоком текущего изображения и всеми блоками в окне поиска [-1, +1] ссылочного изображения хранится в матрицах М1, М2 и М3, содержащих расстояния между компонентами слабых, средних и сильных весов соответственно;

- определение минимального расстояния из трех матриц М1, М2, М3, которое соответствует наиболее близкому блоку исходного образа;

4) формирование карты движения кадра;

5) стабилизация кадра на основе карты движения.

Тестирование алгоритма. Тестирование проводилось на различных видеопоследовательностях, отснятых при произвольных перемещениях видеокамеры и объектов. Скорость работы алгоритма определялась на видеопоследовательностях размером 352*240, 640*480, 1 280*720 пикселов. Тестирование качества стабилизации проводилось методом, предложенным в работе [4]. Для исходной видеопоследовательности и стабилизированного видео разница предыдущего и текущего кадров находилась по известной метрике (рис. 3).

Блок обращения кадра

Рис. 4. Расширенное расстояние Махаланобиса между компонентами сильных (^), средних (^2) и слабых весов (^3)

Рис. 5. РБ^Я-разница 400 кадров исходной (test1.avi) (нижняя линия) и стабилизированной видеопоследовательностей (test1_3.avi) (верхняя линия)

Анализ графика, представленного на рис. 3, показывает, что РБМЯ-разница кадров стабилизированной последовательности заметно выше, что говорит о меньшей разнице между кадрами видео, т. е. о более низком влиянии дрожания камеры.

При увеличении значения блока поиска РБМЯ-значение видеопоследовательности увеличивается в пределах 15 %. Использовались следующие параметры: разрешение видео 852*480 пикселов; размер блока - 16*16 пикселов; расстояние поиска - 3 и 6 пикселов. В дальнейшем предполагается сравнить эффективность предлагаемого алгоритма стабилизации с другими известными методиками по данной характеристике.

В результате тестирования также было установлено, что алгоритм находит движение до 8 пикселов в зависимости от размера блока поиска, а скорость его работы снижается с увеличением размера видео. Так, обработка кадра видео с разрешением 352*240 пикселов занимает от 0,3 до 2 с, а кадра видео с разрешением 640*480 пикселов - от 1 до 4 с. Кроме того, в ходе тестирования была установлена зависимость скорости стабилизации от размера блока. Уменьшение размера блока ниже 16*16 пикселов способствует увеличению точности нахождения движения, однако замедляет работу алгоритма в 1,5-2 раза, поэтому рекомендуется только для видео низкого качества.

Таким образом, автором был предложен алгоритм стабилизации видиоматериалов, отличающийся от известных методов нахождением минимального расстояния между блоками, выводом функции стоимости, оригинальным методом восстановления границ кадра, а также применением различных временных фильтров для улучшения качества видеоматериалов.

Для тестирования алгоритма использовались две видеопоследовательности: test1.avi, в которой происходит медленное движение и участвуют объекты среднего размера, и auto1.avi, в которой присутствуют быстрое движение и крупные объекты. Тестирование осуществлялось в полуавтоматическом режиме с встроенным сохранением результатов по следующим параметрам: среднему значению РБМЯ кадров каждой видеопоследовательности; времени выполнения метода; размеру блока обработки и блока поиска.

Тестирование показало, что предложенный алгоритм успешно выполняет стабилизацию видео со статичным фоном и движущимися объектами при значи-

тельном дрожании кадра: качество оценки видео по метрике PSNR улучшается в 2-4 раза, а дрожание кадра уменьшается.

Библиографические ссылки

1. Brooks A. C. Real-Time Digital Image Stabilization // EE 420 Image Processing Computer Project Final Paper / EED Northwestern Univ. 2003. Mar. P. 10.

2. Буряченко В. В. Цифровая стабилизация видео в реальном времени // Решетневские чтения : материалы XIV Междунар. науч. конф. В 2 ч. Ч. 2 / Сиб. гос. аэрокосмич. ун-т. Красноярск, 2010. С. 476-477.

3. Ko-Cheung H., Wan-Chi S. Extended Analysis of Motion-Compensated Frame Difference for Block-Based Motion Prediction Error // IEEE Trans. on Image Processing. 2007. Vol. 16. Р. 1232-1245.

4. Farid H., Woodward J. B. Video Stabilization and Enhancement : Techrep. 2007-605 / Dartmouth College. Hanover, N. H., 2007.

V. V. Buryachenko

VIDEO STABILIZATION FOR STATIC SCENES BASED ON A MODIFIED BLOCK-MATCHING METHOD

The authors consider approaches to the video stabilization, such as definition of global motion of a picture, based on motion vectors. An algorithm for video stabilization, on the basis of methods of matching blocks, is constructed and presented.

Keywords: video stabilization, block-matching method, Gaussian distribution.

© BypaneHKO B. B., 2012

УДК 625.084/085:625.855.3

В. И. Иванчура, А. П. Прокопьев, Р. Т. Емельянов

МОДЕЛЬ СЛЕДЯЩЕЙ СИСТЕМЫ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ С НЕЧЕТКИМ РЕГУЛЯТОРОМ

Рассмотрена модель следящей системы автоматического управления с нечетким регулятором, разработанная с применением программы МАТЬАВ&ЗтиНпк. Приведены результаты имитационного исследования.

Ключевые слова: асфальтоукладчик, уплотняющий ское управление, следящая система, нечеткая логика.

Следящие системы асфальтоукладчиков используются для выдерживания продольного и поперечного профиля автомобильных дорог при их строительстве и реконструкции. Они позволяют сократить время контроля и время ручной стабилизации положения рабочих органов. Математическое описание процесса укладки смеси отличается повышенной сложностью из-за стохастического изменения характеристик микрорельефа предварительно подготовленного основания.

Традиционные ПИД-регуляторы имеют плохие показатели качества управления нелинейными и сложными системами, особенно при недостаточной информации об объекте управления [1]. Характери-

рабочий орган, асфальтобетонная смесь, автоматиче-

стики регуляторов в этом случае можно улучшить с помощью технологий искусственного интеллекта: нечеткой логики, искусственных нейронных сетей и др.

В данной статье рассматривается один из подходов к построению нечетких контроллеров.

Объект управления. Объектом управления является асфальтоукладчик. В процессе движения по подготовленному основанию ходовая часть укладчика получает случайные перемещения в вертикальной и угловой плоскостях из-за неровности микрорельефа, что приводит к необходимости управления за счет изменения заданной толщины укладываемого слоя левого и правого края плиты рабочего органа. Совре-

i Надоели баннеры? Вы всегда можете отключить рекламу.