CC BY
85
ИНФОРМАЦИОННЫЕ
ТЕХНОЛОГИИ
удк 004.932.2 е. А. АЛЬТМАН
Е. И. ЗАХАРЕНКО
Омский государственный университет путей сообщения
ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ МЕТОД ПОВЫШЕНИЯ ВИЗУАЛЬНОГО КАЧЕСТВА ИЗОБРАЖЕНИЯ ОБЪЕКТА НА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ
Предлагаемый метод повышает визуальное качество объекта видеоизображения за счет оценки его движения алгоритмом полного перебора и усреднения яркости полученных изображений объекта на последовательных кадрах. Высокая производительность предлагаемого метода достигается за счет эффективного вычисления функции сравнения блоков в алгоритме полного перебора, что позволяет интегрировать такой метод в видеосистемы и анализировать видео в условиях реального времени. Ключевые слова: оценка движения, функция сравнения блоков, алгоритм полного перебора, шумоподавление, сжатие видеоизображения.
В настоящее время большое внимание уделяется исследованиям в области повышения визуального качества видеоизображения. Подобные исследования актуальны, т. к. при движении объектов на видео их границы «размываются» и понижается четкость всего видеоизображения. Известно несколько способов устранения недостатков динамических сцен, но большинство из них приводит к увеличениям размера видеофайла и времени обработки изображения. Поэтому для низкопроизводительных устройств и для анализа потокового видео разработаны методы
повышения визуального качества и распознавания для различных видов объектов, например, для объектов типа «говорящая голова», номерных знаков и др. Также для обработки видеофайлов разработаны специализированные программные продукты, в основе которых лежат алгоритмы повышения визуального качества отдельного кадра, объекта или всего видео за счет шумоподавления [1]. Эти средства имеют ряд недостатков: работа с ограниченным набором типов объектов для распознавания, высокая производительность большинства из них и вероятность
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (123) 2013 ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (123) 2013
Рис. 1. Кадр, как сумма полезного сигнала и шума (а) и результирующее изображение после применения предложенного алгоритма (б)
б
а
неверного распознавания. При тестировании систем распознавания автомобильных номеров, используемых на территории Российской Федерации, установлено, что вероятность верного распознавания (один номер — одна правильная версия номера) в среднем составляет 73,3 % [2].
Предлагается высокопроизводительный метод повышения визуального качества для любого типа объектов видеоизображения. Данный алгоритм формирует объект высокой четкости за счет точной оценки движения и усреднения яркости изображений объекта на нескольких последовательных кадрах видео и состоит из трех основных этапов. На первом задаются границы объекта, затем применяется алгоритм оценки его движения, и на завершающем этапе вычисляется результирующий объект повышенной четкости.
При программной реализации метода границы объекта задаются пользователем на одном из последовательных кадров видео. Далее необходимо найти объект на остальных кадрах, для этого применяют алгоритмы оценки движения.
В современных стандартах видео кодирования рекомендовано использовать блочную оценку движения. При этом кадр последовательности разбивается на непересекающиеся блоки одинакового размера, затем осуществляется поиск схожего блока на соседнем кадре с блоком текущего кадра в заданной области поиска и вычисляются координаты вектора смещения текущего блока. Точность оценки движения влияет на размер видеофайла и качество изображения: чем точнее определены координаты вектора смещения, тем меньшим количеством бит будет закодировано видео. Также точность алгоритма связана с его вычислительной сложностью.
Разработано несколько высокопроизводительных методов блочной оценки движения [3], однако часто при сравнении двух блоков они находят не глобальный минимум, а локальный, что приводит к снижению качества видеоизображения. Метод оценки движения полным перебором является самым точным за счет сравнения текущего блока со всеми возможными блоками внутри области поиска с шагом интерполяции [3].
Для оценки точности оценки движения существует единственный численный критерий — количество бит на выходе кодера. Для исследования алгоритмов оценки движения была создана модель кодера на основе стандарта МРБС4 и промоделированы два
алгоритма оценки движения — метод полного перебора и один из быстрых методов — алгоритм бриллиантового поиска. В результате исследования установлено, что алгоритм полного перебора на 15 % эффективнее оценивает движение объектов [4]. Однако применение этого алгоритма с популярными функциями сравнения блоков (метриками) [5] в системах реального времени невозможно за счет большой вычислительной сложности.
Одной из популярных метрик является суммарная квадратичная разность двух блоков SSD (Sum of Square Difference), которая вычисляется по формуле
Bh -1Bw -1
SSD = ZZ [Bf(y,x)-Sx(cy + y + ^,cx + x + ^)]2 = (i)
y=0 x=0
Формулу (1) можно разложить на три слагаемых:
Bh -1Bw -1
= ZZ Bf ^ x)2 + (2)
У=0 x=0
Bh -1Bw -1
+ ZZ St(cy + у+h, cx + x+I'w)2 - (3)
y=0 x=0
Bh -1 Bw -1
-Z ZBf^x)St(cy + у+h,cx + x+^^
1=0 x=0____________^___________________ (4)
coГГвІаНоп T(cy +^ ,cx +^ )
где Bh, Bw — высота и ширина текущего блока, (cґ cy) — координаты вектора движения текущего блока-кандидата, Bt — блок текущего кадре, St — блок-кандидат соседнего кадра с координатами начала блока (c^, cy) относительно текущего блока, гh, гж — максимальная длина вектора движения.
Для понижения вычислительной сложности функции SSD слагаемые (2) — (4) вычисляются независимо друг от друга через оптимизированные по количеству арифметических операций алгоритмы. Выражение (2) вычисляется один раз для всей области поиска, для слагаемого (3) разработаны алгоритмы, использующие перекрытие блоков при смещении текущего объекта на заданный шаг интерполяции в области поиска [6 — 8]. Произведение (3) — корреляция, которая может быть вычислена через циклическую свертку с использованием теоремы о свертке и быстрого двумерного преобразования Фурье, что также сокращает количество операций [1]. При замене БПФ более эффективным алгоритмом можно сокра-
Рис. 2. Кадр видео и объект повышенной точности
Рис. 3. Динамический объект кадра, полученного с веб-камеры (а) и результирующее изображение (б)
Рис. 4. Повышение визуального качества номерного знака
тить количество операций для (4) на 47 % при размере области поиска 16x16 пикселей [9]. В качестве арифметических операций были учтены сложение и умножение при равных временных затратах на их вычисление. Таким образом, вычисление метрики БББ через три слагаемых сокращает вычислительную сложность оценки движения полным перебором на 83 % [10], что позволяет использовать алгоритм полного перебора в системах реального времени.
Для разрабатываемого метода объект представляет собой один блок или группу блоков, для которого осуществляется поиск схожего изображения на соседних кадрах.
После определения координат вектора движения объекта вычисляется усредненное по яркости изо-
бражение. Данный метод эффективен в силу того, что кадр, полученный с видеокамеры, — это сумма полезного сигнала и шума (рис. 1 а). При сложении нескольких кадров энергия сигнала и шума накапливается одинаково, но часть спектра, в котором находится полезный сигнал, уточняется, и получается лучшее отношение сигнал/шум (рис. 1 б). Оценка эффективности этого метода была произведена с помощью специальных программных средств по распознаванию текста. По количеству ошибок распознавания текста выявлено, что предлагаемый метод позволяет повысить точность объекта на 7 % [11].
Для демонстрации работы предлагаемого метода с реальными объектами была написана программа повышения визуального качества объекта видео на
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (123) 2013 ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (123) 2013
основе серии кадров. На рис. 2 представлен кадр видео и более точный динамический объект, полученный с помощью этого метода. Данный пример демонстрирует возможность применения такого алгоритма в системах безопасности для повышения точности объектов и последующего их распознавания.
Применение нового алгоритма для распознания текстовых элементов также является эффективным (рис. 3). В этом случае выделяется объект и производится оценка его движения с использованием предлагаемого метода. Результаты на рис. 3, 4 демонстрируют повышение визуального качества разных объектов.
Таким образом, предлагаемый высокопроизводительный метод повышает точность двумерного объекта на 15 % за счет оценки движения и на 7 % посредством усреднения яркости и может быть использован в системах реального времени за счет сокращения вычислительной сложности на 83 % по сравнению с методом полного перебора.
Дальнейшим направлением научной деятельности будет усовершенствование алгоритма для трехмерной оценки движения [4] и разработка на его основе программного продукта, востребованного в основных областях применения систем видеонаблюдения: дорожно-патрульные службы, службы безопасности и пользовательское приложение. Разработанное программное обеспечение позволит предварительно обрабатывать видео для последующего распознавания номерных знаков, образов, текстовых элементов и уточнения деталей аварийных ситуаций.
Библиографический список
1. Калинкина, Д. А. Проблема подавления шума на изображениях и видео и различные подходы к ее решению / Д. А. Калинкина, Д. С. Ватолин // Компьютерная графика и мультимедиа. — М. : МГУ, 2005. — № 3 (2). [Электронный ресурс]. — Режим доступа: http://cgm.computergraphics.ru/content/view/ 74 (дата обращения: 06.04.2013).
2. Тестирование систем распознавания автомобильных номеров / CCTV focus. — М. : Ай-Эс-Эс Пресс, 2006. — № 6 (24). - С. 24-48.
3. Обзор блочных методов оценки движения в цифровых видеосигналах / С. В. Гришин [и др.] // Программные системы и инструменты. — М. : МГУ, 2008. — № 9. — С. 50-62.
4. Альтман Е. А Влияние метрики на эффективность сжатия видеоизображения / Е. А Альтман, Е. И. Захаренко // Модели, алгоритмы и инструменты анализа данных; результаты и возможности для анализа изображений, сетей и текстов : докл. Всерос. науч. конф. АИСТ'12. — Екатеринбург : Национальный открытый ун-т «ИНТУИТ», 2012. — С. 43 — 51.
5. Stiller C. Estimating Motion in Image Sequences / C. Stiller, J. Konrad // IEEE Signal Processing Magazine, 1999. — № 16 (4). — P. 70 — 91.
6. Lee C. A Fast Motion Estimation Algorithm Based on the Block Sum Pyramid / C. Lee, L. Chen // IEEE Transactions on Image Processing, 1997. — № 6 (11). — P. 1587 — 1591.
7. Gao X. Q. Multilevel Successive Elimination Algorithm for Block Matching Motion Estimation / X. Q. Gao, C. J. Duanmu, C. R. Zou // IEEE Transactions on Image Processing, 2000. — № 9 (3). — P. 501—504.
8. Chen Y. Fast Block Matching Algorithm Based on the Winner-Update Strategy / Y. Chen, Y. Hung, C. Fuh // Proceedings of the Fourth Asian Conference on Computer Vision. Taiwan, 2000. — Vol. 2. — P. 977 — 982.
9. Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов / Р. Блейхут. — М. : Мир, 1989. — 448 с.
10. Toivonen T. Number Theoretic Transform - Based Block Motion Estimation: Diploma Thesis / Department of Electrical Engineering, University of Oulu. Oulu, 2002. — 85 p.
11. Захаренко Е. И. Методы повышения эффективности сжатия видеоизображений. Молодёжь третьего тысячелетия / Е. И. Захаренко // Материалы XXXVI Междунар. науч. конф. с элементами науч. школы для молодёжи. — Омск : Омский гос. ун-т. им. Ф. М. Достоевского, 2012. — С. 443 — 445.
АЛЬТМАН Евгений Анатольевич, кандидат технических наук, доцент кафедры автоматики и систем управления.
ЗАХАРЕНКО Елена Игоревна, аспирантка кафедры автоматики и систем управления.
Адрес для переписки: [email protected]
Статья поступила в редакцию 19.04.2013 г.
© Е. А. Альтман, Е. И. Захаренко
Книжная полка
Лепетаев, А. Н. Расчет и моделирование физических полей с использованием программы ИехРБЕ : учеб. пособие / А. Н. Лепетаев, А. В. Косых ; ОмГТУ. - Омск : Изд-во ОмГТУ, 2013. -134 с.
В учебном пособии приведено описание языка программы Р1ехРБЕ, которая используется при выполнении лабораторных работ по дисциплине «Программные средства в технической физике». Дан ряд примеров использования программы Р1ехРБЕ для решения типовых задач электро- и магнитостатики, растекания электрических токов, задач стационарной теплопроводности, расчета механических напряжений в твердых телах (включая термонапряжения), расчета собственных мод колебаний, а также связанных мульти-физических задач. Предназначено для студентов физических специальностей, а также может быть полезно специалистам, которым приходится иметь дело с задачами, решаемыми методом конечных элементов.
