CC BY
111
6. Серенков П.С. Научно-методические аспекты повышения эффективности производственных испытаний [Текст] / П.С. Серенков, Б.В. Цитович,
B.Л. Соломахо, В.М. Романчак, В.К. Терешко // Метрология и приборостроение. - № 4. - 2003. -
C. 22-27.
7. Feldshtein Eugen Wikorzistanie metody planovania badan G.Taguchi do analizy I optimalizacji procesu nagniatania [Text] / Eugen Feldshtein, Pavel Serenkov // Przeglad mechaniczny. Miesiecznik naukovo-techniczny. - Pasdziernik 2004. Nr 10/04, Warszava, IMBiGS. - S. 27-29.
References
1. Deming Je. Vyhod iz krizisa: uchebnik [Tekst] / Je. Deming. - Tver': Al'ba, 1994. - 497 s.
2. Serenkov P.S. Nauchno-metodicheskie aspekty sovremennoj metrologii [Tekst] / P.S. Serenkov, N.A. Zhagora, E.N. Savkova // Metrologija i priborostroenie. - 2010. - № 2. - S. 13-21.
3. Serenkov P. S. Koncepcija razvitija dokazatel'noj bazy sovremennoj metrologii. Organizacionnaja sostavljajushhaja processa izmerenija [Tekst] / P.S. Serenkov, E.N. Savkova, K.A. Pavlov //
- Jelektrotehnicheskie i informacionnye kompleksy i î sistemy. - 2014. - № 1. - T. 9. - S. 86-91.
, 4. Serenkov P.S. Koncepcija razvitija / dokazatel'noj bazy sovremennoj metrologii. Tehni-
- cheskaja sostavljajushhaja processa izmerenija [Tekst] / P.S. Serenkov, E.N. Savkova, K.A. Pavlov // Jelektrotehnicheskie i informacionnye kompleksy i
i sistemy. - 2014. - № 2. - T. 10. - S. 97-104. l 5. Measurement Systems Analysis Reference с Manual [Text]. - DaimlerChrysler Corporation, Ford , Motor company, General Motors Corporation, 2002. -217 s.
6. Serenkov P. S. Nauchno-metodicheskie aspekty povyshenija jeffektivnosti proizvodstvennyh ispytanij / [Tekst] / P.S. Serenkov, B.V. Citovich, V.L. Solomaho, V.M. Romanchak, V.K. Tereshko // Metrologija i i priborostroenie. - № 4. - 2003. - S. 22-27. . 7. Feldshtein Eugen. Wikorzistanie metody . planovania badan G.Taguchi do analizy I optimalizacji procesu nagniatania [Text] / Eugen Feldshtein, Pavel j Serenkov // Przeglad mechaniczny. Miesiecznik naukovo-techniczny. - Pasdziernik 2004. Nr 10/04, ] Warszava, IMBiGS. - S. 27-29.
Кузьмин С.А. Kuzmin S.A.
старший преподаватель,
ведущий инженер кафедры «Радиотехнические и оптоэлектронные комплексы» ФГАОУ ВО «Санкт-Петербургский государственный университет аэрокосмического приборостроения», Россия, г. Санкт-Петербург
УДК 004.627, 004.932
АЛГОРИТМЫ ОБРАБОТКИ ВИДЕОИНФОРМАЦИИ В СИСТЕМЕ МОНИТОРИНГА ТРАНСПОРТНЫХ ПОТОКОВ
В статье рассматривается семейство алгоритмов сегментации и использование сформированных бинарных изображений результата детектирования транспортных средств (ТС) для сжатия видеоинформации. Актуальность задачи связана с избыточной сложностью реализации (аппаратной и программной) существующих решений, а также с особенностями снимаемых видеосюжетов о транспортных потоках, которые не учитываются в известных кодеках. В алгоритмах детектирования ТС и масштабирования разрешения кадров видеопотока используется вейвлет-преобразование для унификации и увеличения повторного использования кода, что приводит к сокращению объема программы и объема потребляемой памяти. Теоретическая новизна работы есть как в алгоритмах обнаружения, так и в алгоритмах сжатия. Алгоритмы обнаружения объединяются с помощью операции «ИЛИ», что
практически не встречается в литературе. Сжатие основано на использовании в качестве опорного кадра изображения рассчитанной оценки фона (которое обновляется очень редко), что уменьшает избыточность по сравнению с системами сжатия MPEG, которые часто посылают опорные кадры. Для сжатия используются идеи основных направлений в сжатии: сегментация (разделение на динамическую составляющую и статический фон), JPEG-сжатие, уменьшенная частота передачи опорного кадра (оценки фона), возможность изменения разрешения кадра, синтез выходного изображения. Практическая значимость работы связана с возможностью создания для видеозаписи обстановки на транспортных магистралях кодеков более эффективных, чем кодеки MPEG и подобные им, за счет учета априорной информации о низкой динамичности фоновой составляющей. В ходе эксперимента получены коэффициенты сжатия до 356 раз. Регулирование качества и коэффициента сжатия осуществляется как за счет использования дополнительных функций кодека, так и с помощью параметра качества Q кодека JPEG, используемого для передачи большинства составляющих потока данных.
Ключевые слова: сжатие видеоинформации, сегментация, вейвлет-преобразование, бинаризация, обработка изображений, видеонаблюдение, мониторинг транспортных потоков, ранговая фильтрация, фильтр Калмана, опорный кадр, оценка фона.
VIDEO PROCESSING ALGORITHMS IN THE SYSTEM OF TRAFFIC MONITORING
The article describes a family of segmentation algorithms and the use of the generated binary images with results of detection of vehicles for video compression. The urgency of the problem is related to the excessive complexity of implementation (hardware and software) of existing solutions as well as several features of movies on traffic flows that are not taked into acount in the known codecs. The algorithms of vehicles detection and scaling of frames use wavelet transform to unify and increase code reuse, leading to a reduction in the program size and in the amount of consumed memory. Theoretical work has novelty in the detection algorithms and the compression algorithms. Detection algorithms are combined using the OR operation, which is practically not found in the literature. Compression is based on the use as a reference frame of background estimation image (which is updated very rarely) that reduces redundancy in comparison with the MPEG compression systems, which are often sent the reference frames. The main ideas used in compression in algorithm of compression: segmentation (division into a dynamic component and a static background), JPEG-compression, reduced frequency of transmission of the reference frame (background estimation), the ability to change the resolution of the frame, the synthesis of the output image. The practical significance of the work is related to the ability to create codecs for recording videos of the situation on the highways much more efficient than the MPEG family and similar algorithms, by taking into account a priori information about the low dynamism of the background component. Compression ratios up to 356 times were obtained in the experiment. Regulation of the compression ratio and quality is carried out both by the use of additional functions of the codec, and using the quality parameter Q of JPEG codec, which is used for the transmission of most components of the data stream.
Key words: video compression, segmentation, wavelet transformation, binarization, image processing, video surveillance, traffic monitoring, rank filtering, Kalman filter, reference frame, background score.
Введение
За последние 25 лет резко вырос уровень автомобилизации в России, в частности, в период с 1995 по 2007 год произошло удвоение количества автомобилей [1] при низком темпе развития дорожной сети. Это привело к повышенной аварийности, снижению скорости движения, появлению пробок, загрязнению окружающей среды, повышенному расходу топлива. Регулирование транспортных потоков позволяет уменьшить некоторые из последствий автомобилизации, поэтому появились автоматические системы управления дорожным движением (АСУДД).
Основой для регулирования являются данные от датчиков, такие как интенсивность движения, средняя скорость и т. п. От точности измерения данных в датчиках зависит точность реакции АСУДД. Со второй половины 2000-х годов постепенно внедряются системы фиксации нарушений правил дорожного движения (ПДД). По итогам первой половины 2013 года только 48 процентов от общего числа штрафов за нарушения ПДД выписываются в автоматическом режиме [2].
К недостаткам существующих решений в области обнаружения ТС следует отнести низкую точ-
ность, низкий уровень автоматизации и повышенную аппаратную сложность. Основная проблема систем передачи и хранения видеоданных - существующие кодеки были разработаны для видеопотоков с другой динамичностью смены сюжетов, не используют априорную информацию о том, что снимается поток ТС, и создают избыточный поток данных.
Представление и сжатие видеоинформации
Важным вопросом, связанным с минимизацией битрейта, является выбор составляющих потока данных, который влияет на точность моделирования яркости как взвешенной суммы семантически значимых величин. Введем обозначения: I - яркость пикселя с некоторыми координатами, которые не обозначены для сокращения записи; Io - яркость объекта (динамической составляющей); If - яркость фона; Iof - яркость оценки фона (статической составляющей); Iu - яркость уточняющего канала; a - яркость альфа-канала (0 или 1). Под уточняющим каналом понимается разница между исходным кадром и кадром, синтезированным по нескольким компонентам.
Тогда возможны следующие представления:
1.1 = 1,
2. I = a*Io + (l-a)*If,
3. I = a* If + (\ - a)* Io,
4. I = a*Iof + (l-a)*Io + Iu,
5. I = If + a*(Io — If),
6. I = lof + a* {Io - lof) + lu,
1. I = Iof + a*(Io-Iof) + (\-a)*(If-lof).
Представление 1 используется в кодерах типа MotionJPEG, представление 2 (описано в [3]) используется в некоторых профилях MPEG-4. Остальные представления разработаны в ходе работы над кодеком.
Известно, что для снижения избыточности надо устранять повторяющиеся элементы, т. е. представления, в которых используются разности, могут быть более эффективны, чем представления, где используются только исходные яркости. Тут есть сложность - необходимо выбрать способ хранения разностного изображения. Среди проверенных вариантов (хранение разности, смещенной на 128; хранение отрицательной разности в одном кадре и положительной разности в другом кадре; хранение знака в одном кадре и модуля в другом кадре) самым эффективным по битрейту оказался вариант «хранение разности, смещенной на 128», но если разница
выходит за пределы 128, то он ухудшает качество.
Из проверенных представлений представление 6 (I = lof + а *(Io - lof) + lu) является наиболее эффективным по битрейту в режиме без уточняющего канала. Кодер создает компоненты потока данных - изображение оценки фона, изображение альфа-канала, изображение разности динамической составляющей и оценки фона, а также уточняющий канал Iu = I—Is +128, где синтезированный кадр Is = lof + a*(Io-lof). Работа декодера заключается в том, чтобы по принятому потоку данных синтезировать изображение Is и затем его уточнить: Idecodir =Is + Iu —128. На рисунке 1 показана блок-схема алгоритма работы кодера. Еще одним из приемов, используемых в кодере, является использование охватывающего прямоугольника для альфа-канала, чтобы не передавать данные об участках вне объектов.
При синтезе изображений были замечены искажения в виде окаймления мест вставки динамической составляющей в фон. Для борьбы с этими артефактами для кодирования динамической составляющей используется расширенный альфа-канал.
Формирование альфа-канала
Точность передачи изображения, подсчета автомобилей и их скоростей зависит от точности измерения положения (границ) объектов. Важной задачей является не только достижение высокой вероятности правильного обнаружения ТС как целого объекта Рпоо, но и достижение высокой вероятности правильного обнаружения каждого пикселя ТС Рпоп. Эффективность известных способов сегментации кадров с движущимися объектами остается невысокой (Рпоп редко превышает 0,8), и возникает необходимость в объединении результатов работы алгоритмов сегментации. Автором разработано семейство алгоритмов сегментации, основанных на объединении изменяющихся участков кадра (движущихся областей) и смещающихся контуров объектов (движущихся контуров) с помощью операции «ИЛИ» (дающей увеличение Рпоп с одновременным увеличением Рлтп) с последующим подавлением помех (рисунок 2) [4]. Изменение пространственной точности определения координат объектов связано с вычислением нужного уровня пирамиды изображений.
Первый разработанный алгоритм представлен на рисунке 3. В нем нет изменения площади кадра, поэтому можно говорить, что он связан с «нулевым уровнем» вейвлет-преобразования, которое имитируется путем вычисления контуров фильтром Пре-витт.
Второй разработанный алгоритм основан на настоящем вейвлет-преобразовании (вейвлет Хаара).
После прямого двумерного дискретного вейвлет-преобразования (ДВП) изображения кадра три высокочастотных диапазона, соответствующие изменениям в горизонтальном, вертикальном и диагональ-
ном направлениях, объединяются суммированием амплитуд трансформант с проверкой переполнения разрядной сетки.
Рис. 1. Алгоритм формирования потока сжатых данных
PSNR
К
Рис. 2. Зависимость пикового отношения «сигнал - шум» PSNR (качества) от коэффициента сжатия для представления режимов без уточняющего канала (нижний график) и с уточняющим каналом (верхний график)
Рис. 3. Блок-схема алгоритма сегментации, основанного на разнице «нулевых» уровней вейвлет-преобразований
Аналогичные операции производятся для изображения оценки фона. Затем следует попарное вычисление разниц НЧ и объединенных ВЧ составляющих (рис. 4). Размеры получаемых изображений в 4 раза меньше, чем исходных, то есть речь идет о первом отрицательном уровне разложения. Более глубокие «отрицательные уровни» разложения получаются применением вейвлет-преобразования к НЧ составляющей, а затем осуществлением объеди-
нения ВЧ диапазонов.
При реализации первого положительного уровня разложения размеры получаемых изображений в 4 раза больше, чем исходных (рис. 5). Следующие «положительные уровни» получаются вычислением контуров изображения в трех направлениях, выполнением обратного вейвлет-преобразования.
Рис. 4. Блок-схема алгоритма сегментации, основанного на разнице первых «отрицательных» уровней вейвлет-преобразований
ПОРОГ
ПОРОГ
ПОДАВЛЕНИЕ ШУМА
ПОДАВЛЕНИЕ ШУМА
i 1
ПОДАВЛЕНИЕ ШУМА
ита
Рис. 5. Блок-схема алгоритма обнаружения, основанного на разнице первых «положительных» уровней вейвлет-преобразований
о
105 100 95 90 S5 SO 75 70 65
во
55
50
45
40
35
30-I
25 j
20 I
15-1
ю1
51 oj
i
:
Ml
...M3
AjTÄ
У
M?
f / M4
: J
j j
+ M5
О 0,25 0,5 0,75 1 1,25 1,5 1,75 2 2,25 2,5 2,75 3 3,25 3,5 3,75 4 4,25 4,5 4,75 5 5,25 5,5 5,75 6
рлт. %
Рис. 6. Графики РпОп = f (РЛТП) для разных алгоритмов сегментации: М1 - «нулевой уровень»; М2 - межкадровая разность; М3 - устранение оценки фона; М4 - алгоритм из [4]; М5 - алгоритм из [5]; М6 - поблочная межкадровая разность
Объединение алгоритмов сегментации с помощью операции «ИЛИ» повышает вероятность ложной тревоги Р что требует применения детектирования вероятности импульсного шума и адаптивной ранговой фильтрации [5]. Это позволяет достичь более высоких показателей по вероятности правильной классификации пикселей Рпоп при одинаковом Р , чем другие протестированные алгоритмы сегментации (рис. 6).
Заключение
Продемонстрировано, что редкая передача опорного кадра в виде оценки фона позволяет добиться высоких значений коэффициента сжатия. Относительно предыдущей статьи [6] значительный вклад в увеличение показателей PSNR и коэффициента сжатия внесли приемы «уточняющий канал», «расширенный альфа-канал», «охватывающий прямоугольник». Показано, что использование семейства алгоритмов обнаружения позволяет эффективно выделять движущиеся объекты.
Исследования поддержаны персональным грантом от СПбГУАП (грант ПСР 3.1.2-1).
Список литературы
1. Фаттахов Т. Автомобилизация и транспортные риски [Электронный ресурс]. - URL: http:// demoscope.ru/weekly/2014/0593/tema03.php (дата обращения: 15.05.2015).
2. Зеленский М. Работаем на камеру. В России становится все больше камер на дорогах [Электронный ресурс]. - URL: http://lenta.ru/articles/2013/08/08/ cameras / (дата обращения: 15.07.2015).
3. Wang J.Y.A. Representing moving images with layers [Text] / J.Y.A. Wang, E.H. Adelson //IEEE Transactions on Image Processing. - 1994. - Vol. 3. -Issue 5. - P. 625-638.
4. Kameda Y.A. Human motion estimation method using 3-successive video frames Y. Kameda, M. Minoh // Proc. Of International Conference on Virtual systems
and multimedia. - Japan, Gifu, 1996. - P. 135-140.
5. Cucchiara R. Real-time Detection of Moving Vehicles [Text]/ R. Cucchiara, M. Piccardi, A. Prati, N. Scarabottolo // Proceedings of 10th International Conference on Image Analysis and Processing (ICIAP 99). - Italy, Venice. - Sept. 1999. - P. 618-623.
6. Вилесов Л.Д. Алгоритмы сегментации кадров и сжатия видеоинформации для систем видеонаблюдения [Текст] / Л.Д. Вилесов, С.А. Кузьмин // Инженерный вестник Дона. - 2014. - Т. 31. - № 4-1. - С. 130.
References
1. Fattahov T. Avtomobilizacija i transportnye riski [Jelektronnyj resurs]. - URL: http://demoscope. ru/weekly/2014/0593/tema03.php (data obrashhenija: 15.05.2015).
2. Zelenskij M. Rabotaem na kameru. V Rossii stanovitsja vse bol'she kamer na dorogah [Jelektronnyj resurs]. - URL: http://lenta.ru/articles/2013/08/08/ cameras/ (data obrashhenija: 15.07.2015).
3. Wang, J.Y.A. Representing moving images with layers [Text] / J.Y.A. Wang, E.H. Adelson // IEEE Transactions on Image Processing. - 1994.- Vol. 3. -Issue 5. - P. 625-638.
4. Kameda Y.A. Human motion estimation method using 3-successive video frames Y. Kameda, M. Minoh // Proc. Of International Conference on Virtual systems and multimedia. - Japan, Gifu, 1996. - P. 135-140.
5. Cucchiara R. Real-time Detection of Moving Vehicles [Text] / R. Cucchiara, M. Piccardi, A. Prati, N. Scarabottolo // Proceedings of 10th International Conference on Image Analysis and Processing (ICIAP 99). - Italy, Venice. - Sept. 1999. - P. 618-623.
6. Vilesov L.D. Algoritmy segmentacii kadrov i szhatija videoinformacii dlja sistem videonabljudenija [Tekst] / L.D. Vilesov, S.A. Kuz'min // Inzhenernyj vestnik Dona. - 2014. - T. 31. - № 4-1. - S. 130.
