Научная статья на тему 'Стабилизация видеопоследовательностей, полученных с мобильных устройств'

Стабилизация видеопоследовательностей, полученных с мобильных устройств Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
122
22
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СТАБИЛИЗАЦИЯ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ / МОБИЛЬНЫЕ КАМЕРЫ / СГЛАЖИВАНИЕ ДВИЖЕНИЯ / VIDEO STABILIZATION / MOBILE CAMERAS / MOTION SMOOTHING

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Буряченко В.В., Зотин А.Г., Пахирка А.И.

Рассмотрены особенности стабилизации видеоданных, полученных при использовании мобильных устройств. Предложен алгоритм сглаживания движения, основанный на блочной оценке движения. Разработан алгоритм восстановления границ кадра на основе интерполяции ключевых кадров видеопоследовательности.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

STABILIZATION OF VIDEO DATA OBTAINED FROM MOBILE DEVICES

The review of the stabilization methods of video data obtained from mobile devices, is presented. The motion smoothing algorithm, based on block-matching methods is described. The algorithm of frame borders restoration based on using information from adjacent key frames is proposed.

Текст научной работы на тему «Стабилизация видеопоследовательностей, полученных с мобильных устройств»

Программные редктва и информационные технологии

успешно применяться практически во всех сферах, так или иначе связанных с автотранспортом.

Актуальной задачей, решаемой с помощью систем считывания государственных регистрационных знаков, является пропускная система на закрытую территорию и обеспечение безопасности.

Интеграция систем идентификации с комплексами видеофиксации обеспечивает надежный контроль на охраняемом объекте: идентификация машин по номеру позволяет не пропускать посторонних на закрытую территорию.

Процесс идентификации номерного знака состоит из нескольких этапов [1]:

1. Выделение номерной пластины в кадре.

2. Наложение сетки на выделенную область.

3. Распознавание текста.

На первом этапе работы алгоритма происходит выделение номерной пластины в кадре. Для этого используется особенность номерного знака, которая заключается в резких скачках яркости от белого к черному. Строится график зависимости яркости от координаты изображения X. Номерная пластина будет находиться в области, где на графике наблюдаются резкие выбросы.

Для нахождения вертикальных краев номерной пластины находится вторая производная функции. Исходя из данных, полученных на графике яркости, выделяется примерная область расположения пластины. Далее на выделенную область накладывается сетка - шаблон. В случае их совпадения выделенная область считается номерной пластиной. Для перехода к этапу распознавания текста на номерной пластине необходимо применить к полученному изображению ряд фильтров, чтобы изображение было более четким. Данный алгоритм определения положения номерной пластины довольно устойчив к помехам, единственное, что может помешать определить положение номерного знака - это полное его загрязнение или его отсутствие.

На втором этапе работы алгоритма осуществляется распознавание текста на номерном знаке. Этот этап содержит в себе три подэтапа: создание бинарной матрицы символов, векторизация бинарной матрицы, распознавание символа по составленному набору векторов.

На последнем этапе работы алгоритма производится сравнение полученного набора векторов с набором эталонных векторных описаний символов. Сравнение производится с использованием расстояния Левенштейна, что позволяет с большой точностью и при небольших затратах времени и ресурсов распознать символы [2].

По сравнению с другими алгоритмами идентификации номерных знаков данный алгоритм отличается простотой реализации, высокой производительностью. Основным его преимуществом является то, что при его использовании неважен размер распознаваемого символа, т. е. он является универсальным для видеокамер с любой разрешающей способностью.

Библиографические ссылки

1. Гашников М. В., Глумов Н. И., Ильясова Н. И. Методы компьютерной обработки изображений. М., 2003, 784 с.

2. Гаганов В., Конушин А. Сегментация движущихся объектов в видеопотоке [Электронный ресурс]. URL: http://cgm.graphicon.ru (дата обращения: 14.09.2013).

References

1. Gashnikov M. V., Glumov N. I., Il'jasova N. I. Metody komp'juternoj obrabotki izobrazhenij. M., 2003, 784 s.

2. Gaganov V., Konushin A. Segmentacija dvizhushhihsja ob#ektov v video potoke [Jelektronnyj resurs]. URL: http://cgm.graphicon.ru (data obrashhenija: 14.09.2013).

© Болдырев К. М., Лаптева М. А., 2013

УДК 004.932.4

СТАБИЛИЗАЦИЯ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ, ПОЛУЧЕННЫХ С МОБИЛЬНЫХ УСТРОЙСТВ

В. В. Буряченко, А. Г. Зотин, А. И. Пахирка

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Россия, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31 Е-шаП: buryachenko@sibsau.ru

Рассмотрены особенности стабилизации видеоданных, полученных при использовании мобильных устройств. Предложен алгоритм сглаживания движения, основанный на блочной оценке движения. Разработан алгоритм восстановления границ кадра на основе интерполяции ключевых кадров видеопоследовательности.

Ключевые слова: стабилизация видеопоследовательности, мобильные камеры, сглаживание движения.

Решетневскуе чтения. 2013

STABILIZATION OF VIDEO DATA OBTAINED FROM MOBILE DEVICES

V. V. Buryachenko, A. G. Zotin, A. I. Pahirka

Siberian State Aerospace University named after academician M. F. Reshetnev 31, "Krasnoyarsky Rabochy" Av., Krasnoyarsk, 660014, Russia E-mail: buryachenko@sibsau.ru

The review of the stabilization methods of video data obtained from mobile devices, is presented. The motion smoothing algorithm, based on block-matching methods is described. The algorithm of frame borders restoration based on using information from adjacent key frames is proposed.

Keywords: video stabilization, mobile cameras, motion smoothing.

В настоящее время широкое распространение получили мобильные устройства, позволяющие делать фотографии и снимать видео. Однако пользователи таких устройств испытывают большие затруднения при съемке видеопоследовательностей, поскольку эти устройства зачастую не обладают средствами для выполнения аппаратной стабилизации. Поскольку мобильные устройства, такие как смартфоны или любительские фото-, видеокамеры, обладают достаточно малым весом, то при съемке без применения штативов и другого оборудования на видеопоследовательности возникает эффекта дрожания.

Следует отметить что видеопоследовательности, снятые камерами мобильных устройств, также подвержены влиянию различных факторов, которые негативно сказываются на качестве отснятого материала. В качестве таких факторов могут выступать быстрое движение камеры и/или объектов в кадре, тряска при съемке в движении, шумы и т. п. В связи с этим для улучшения качества видео используют различные методы обработки. К этим методам относится и стабилизация видеопоследовательностей, которая позволяет получить видеопоследовательности хорошего качества.

Стабилизация видеопоследовательностей достигается путем синтеза нового видеоряда с помощью оценки и удаления нежелательного движения между смежными кадрами. Ключевой особенностью стабилизации видеопоследовательности при наличии движения камеры является необходимость разделения движения на преднамеренное, например панорамирование, и дрожание кадра [1]. При этом требуется подавить нежелательное движение с сохранением траектории преднамеренного движения камеры. Также при выполнении обработки важно достичь такого результата, при котором траектория движения камеры на стабилизированной видеопоследовательности выглядела бы естественно, без резких скачков изображения при смене сцены или увеличении кадра.

Алгоритм стабилизации видеопоследовательности состоит из трех обязательных этапов: оценка движения, сглаживание или компенсация движения и деформация кадра. В настоящее время существуют различные алгоритмы, используемые для стабилизации видеопоследовательностей, получаемые путем изменения этих трех этапов. Некоторые программные алгоритмы стабилизации были предложены на основе оценки векторов движения, найденных методами со-

ответствия блоков. Другие методы, в свою очередь, включают в себя оценку глобального движения на основе особых точек. В данной работе предлагается модифицированный алгоритм стабилизации для мобильных устройств видеосъемки, в основе которого лежит использование значений локальных и глобальных векторов движения.

В предлагаемом алгоритме после получения кадра производится вычисление локальных векторов движения с использованием метода соответствия блоков. Суть расчета значений локальных векторов движения заключается в выполнении сравнения блока предыдущего кадра с блоками текущего кадра, при этом используется окрестность с небольшим смещением в p пикселей. Функция сравнения блоков сравнивает два переданных блока на основе метрики SAD, определяющейся формулой

SAD(y, i, j, v) = X [I(p, t) -1(p, t) -1(p +v, t -1)]. (1)

peBi, j

На основании значений локальных векторов вычисляется глобальный вектор движения кадра, который включает в себя компоненты преднамеренного и непреднамеренного движения, т. е. дрожания кадра. Используя предположение о том, что нежелательное движение (дрожание кадра) соответствует высокочастотной компоненте, в предлагаемом алгоритме было решено использовать фильтр низких частот. Предлагаемый в работе [2] метод вычисляет сглаживающий вектор движения SMV в виде регрессии первого порядка по формуле

SMV(к) = а • SMV(к-1) + (1 - а) GMV(к), (2)

где k - номер кадра; 0 < а< 1 - варьируемый параметр.

Фильтр первого порядка может быть использован в системах реального времени, его применение требует мало памяти. При этом сглаживание движения будет удовлетворять визуально при выборе подходящего значения а. Параметр а можно рассматривать как фактор сглаживания: больший коэффициент сглаживания приводит к плавному движению, но большей задержке при преднамеренном движении камеры [3].

На рисунке представлен график, показывающий сравнение уровня исходного движения анализируемой видеопоследовательности и рассчитанного при адаптивной подстройке параметра а сглаживающего вектора (SMVk).

Проралшные редктва и информационные технологии

15

-Вектор глобальногодаи|«еиия по оси X ----Сглаживающий вектор Номер

График расчета сглаживающего вектора для видеопоследовательности gleicher.avi

Этап деформации изображения в алгоритме стабилизации видеопоследовательности заключается в восстановлении границ кадра, которые сместились при применении сглаживающего вектора. Для восстановления границ предлагается осуществлять интерполяцию ключевых кадров видеопоследовательности, описывающих текущую сцену.

Поскольку в алгоритме стабилизации видеопоследовательности рассчитываются локальные векторы движения для каждого блока пикселей, то имеется информация о смещении блоков V х между кадрами

п и п+к. Пусть ключевыми кадрами, которые соответствуют стабилизированному изображению, будут кадры 1п, 1п+к, где п - номер первого ключевого кадра; к - число кадров до следующего ключевого кадра. Тогда значение интенсивности пикселя для кадра т, где п < т < к, можно рассчитать по формуле

1ту = ^у +[(к-п) ■ т]-ух у. (3)

Данный метод является хорошей альтернативой стандартному увеличению изображения при стабилизации видеопоследовательности, при котором теряется значительная часть информации, содержащейся на видеопоследовательности, а также ухудшается визуальное качество материала. Сглаживание движения позволяет сохранить естественность движения камеры для видеопоследовательностей, полученных с мобильных устройств.

Библиографические ссылки

1. Grundmann M., Kwatra V., Essa I. Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths // IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). Colorado Springs, 2011. P. 225-232.

2. Tanakian M. J., Rezaei M., Mohanna F. Digital Video Stabilization System by Adaptive Fuzzy Filtering, Barcelona, 2011. P. 166-168.

3. Буряченко В. В. Стабилизация видео для статичной сцены на базе модифицированного метода соответствия блоков // Вестник СибГАУ. 2012. Вып. 3. С. 10-15.

References

1. Grundmann M., Kwatra V., Essa I. Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Colorado Springs, USA, 2011. p. 225-232.

2. Tanakian M. J., Rezaei M., Mohanna F. / Digital Video Stabilization System by Adaptive Fuzzy Filtering, Barcelona, Spain, 2011, p. 166-168.

3. Buijachenko V. V. Stabilizacija video dlja statichnoj sceny na baze modificirovannogo metoda sootvetstvija blokov // Vestnik Sibirskogo gosudarstvennogo ajerokosmicheskogo universiteta imeni akademika M. F. Reshetneva. Vyp. 3, Krasnojarsk, 2012. s. 10-15.

© Буряченко В. В., Зотин А. Г., Пахирка А. И., 2013

УДК 004.021

ПОСЛЕДОВАТЕЛЬНЫЕ АЛГОРИТМЫ КОМПОНОВКИ

К. В. Вакулин, А. Н. Володина

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Россия, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31 E-mail: vkGrove@gmail.com, anny.volodina@gmail.com

Описана группа последовательных алгоритмов компоновки для проектирования печатных плат, представлен один из основных методов, приводится анализ работы алгоритма. Актуальность данного исследования объясняется необходимостью оптимизации процесса компоновки элементов печатных плат.

Ключевые слова: печатные платы, проектирование, последовательные алгоритмы, компоновка.

i Надоели баннеры? Вы всегда можете отключить рекламу.