CC BY
20УДК 621.397.13
Н. А. Обухова, Б. С. Тимофеев
Санкт-Петербургский государственный университет аэрокосмического
приборостроения
Анализ параметров движения в системе видеонаблюдения железнодорожных составов
Рассмотрены особенности применения метода сопоставления блоков, используемого в стандартах видеокодирования MPEG-1, -2 и H.261/262/263 для формирования панорамного изображения в автоматизированной системе коммерческого осмотра поездов и вагонов. Детально описан алгоритм определения скорости перемещения фрагментов изображения объектов, снятых короткофокусной оптикой.
Панорамное изображение, протяженные объекты, скорость, "срез скоростей", векторы движения, алгоритм совмещения блоков, мажоритарный принцип, предсказывающая модель
Применение автоматизированных систем коммерческого осмотра поездов и вагонов (АСКО ПВ) позволяет решить ряд необходимых для функционирования железной дороги задач, а именно, выявить повреждения вагонов, обнаружить наличие негабаритного груза, провести сверку проходящего состава с соответствующим ему натурным листом. Исходными данными для решения перечисленных выше задач являются телевизионные (ТВ) изображения контролируемых составов. Необходимость установки камер в непосредственной близости к железнодорожным путям (1.2...1.5 м) обусловливает использование в системе камер с короткофокусными объективами, вносящих существенные геометрические искажения в изображения (рис. 1).
Для коррекции геометрических искажений предлагается синтезировать на экране компьютера панорамное изображение состава. Его составляют из фрагментов исходных кадров, вырезанных из их центральной части, где геометрические искажения минимальны. Получаемое панорамное изображение обладает следующими важными достоинствами: • практически отсутствуют геометрические искажения по горизонтали, а искажения
по вертикали минимизированы;
• четкость изображения по площади синтезированного кадра заметно выше, чем у исходного: в центральной части разрешающая способность короткофокусного объектива больше, чем на краях;
• обеспечивается высокий уровень компрессии данных по сравнению с исходной последовательностью кадров: коэффициент сжатия от 32 до 96
раз [1].
Рис. 1
42 © Н. А. Обухова, Б. С. Тимофеев, 2005
Основной задачей при формировании панорамного изображения является определение скорости движения объекта, так как именно ею определяется размер вырезаемого фрагмента по горизонтали. Если скорость определена неверно, в формируемой панораме будут либо пропуски, либо наложения фрагментов изображения.
Общие положения. Скорость состава измеряют на основе так называемого видимого движения изображения в плоскости ТВ-кадра. Видимое движение ^D-движение) определяется изменениями яркости пикселей L (x, y, k) с координатами x, y в кадре с номером
k. Для его оценки наиболее часто используют оптический поток: проекции на плоскость изображения векторов, которые отображают движения объектов в трехмерной сцене. Вектор оптического потока (vx, Vy) определяют через скорости (vx, Vy) = (dx/dt, dy/dt).
Вектором движения описывается смещение пикселя (или группы пикселей) между двумя кадрами. Поскольку временной промежуток между соседними кадрами фиксирован, между векторами движения и оптическим потоком существует непосредственная связь.
Чтобы определить оптический поток, обычно применяют дифференциальный анализ или метод совмещения блоков.
Метод совмещения блоков, принятый в стандартах видеокодирования MPEG-1, -2 и H.261/262/263 благодаря своей простоте является более популярным, чем дифференциальный анализ, несмотря на более высокую точность последнего. При использовании метода совмещения блоков минимальное значение вектора движения, которое может быть найдено, равно одному пикселю. В рамках решаемой задачи эта точность является достаточной, поэтому при оценке скорости движения состава предлагается использовать векторы движения, определяемые методом совмещения блоков.
Метод совмещения блоков состоит из следующих основных шагов:
• текущий кадр делится на квадратные блоки с размером M х N пикселей (обычно M = N = 8);
• для каждого блока формируется область поиска в предыдущем кадре, имеющая размер (2d + M +1) х (2d + N +1), где d - максимально возможное смещение в горизонтальном и в вертикальном направлениях;
• выполняется совмещение блоков текущего кадра с блоками предыдущего кадра видеопоследовательности и оцениваются смещения блока по координатам x и y - вектор движения;
• в качестве критерия соответствия блоков используется средняя абсолютная разность (middle absolute deference, MAD) яркости пикселей, которая в точке наилучшего совмещения приобретает минимум:
1 N-1M-1
MAD (Ax, Ay) = —- ^ ^ Fc (k + i, l + j) - Fp (k + Ax + i, l + Ay + j)| = min, (1)
N j=0 i =0
где Fc , Fp - значения яркостей пикселей в текущем и в предыдущем кадрах соответственно; k, l - координаты пикселя левого верхнего угла текущего блока; N = M - размеры блока; Ax, Ay - смещения центра блока (вектор движения).
Самым простым и надежным алгоритмом, позволяющим выполнить согласование блоков, является полный перебор (Full Search, FS), однако из-за большого объема проводимых вычислений он обладает низкой скоростью. Предложено значительное число алгоритмов, в которых в той или иной степени оптимизированы стратегии поиска минимума. Эти алгоритмы можно разделить на следующие группы:
• уменьшающие число контрольных точек, основанные на предположении об унимодальной целевой функции: трехшаговый алгоритм [2], алгоритмы логарифмического [3], ортогонального и поперечного [4], [5] поисков, алгоритм поиска по
• кваярштамие возможность медленных движений в видеопоследовательности (в этом случае векторы движения тяготеют к центральной точке области поиска): блочный градиентный поиск [6], "новый" трехшаговый алгоритм [7], четырехшаговый алгоритм [8];
• предсказывающие начальное приближение (при этом сужается область поиска): иерархические алгоритмы [9] и алгоритмы с предсказанием [10].
Наиболее часто вектора движения определяют с помощью алгоритма трехшагового поиска (3 Step Search, 3SS).
Особенности метода совмещения блоков при определении векторов движения для протяженных объектов. Задача определения векторов движения для оценки скорости состава и формирования на основе этой информации панорамного изображения имеет ряд особенностей.
1. Железнодорожный состав движется в горизонтальном направлении, следовательно, смещения всех фрагментов его изображения должны быть одинаковыми. Однако при видеосъемке короткофокусным объективом в поступающие кадры вносятся существенные геометрические искажения: типа "бочка/подушка", типа "трапеция", а также кубическая нелинейность (см. рис. 1). Из-за геометрических искажений блоки изображения, находящиеся в разных частях кадра, приобретают различные смещения не только по горизонтали, но и по вертикали.
2. Обрабатываемое изображение в большей своей части слаботекстурировано: какие-либо детали практически полностью отсутствуют на изображениях боковых поверхностях цистерн; для вагонов характерны периодические вертикальные и горизонтальные структуры.
3. В промежутках между вагонами освещенность резко изменяется. При съемке против источника света (солнца) на стыке между вагонами она существенно возрастает. Из-за инерционности системы автоматической регулировки чувствительности изображение поверхности вагона "уходит в черное". При съемке с источником света, расположенным позади видеокамеры, промежутки между вагонами оказываются темными и изображение поверхности вагона "уходит в белое". В обоих случаях детальность изображения теряется.
4. Дополнительными факторами, уменьшающими уровень детальности изображения, являются блики, которые особенно вероятны в темное время суток при искусственном освещении. При недостаточной скорости электронного затвора в изображении проявляется смаз, обусловленный движением объекта наблюдения.
5. Для построения качественного панорамного изображения состава необходимо определять не один вектор движения, соответствующий, например его средней скорости, а совокупности векторов так называемого среза скоростей. Это связано с особенностями видеонаблюдения объектов с помощью короткофокусной оптики. Хотя состав движется поступательно по линейной траектории, видимое движение разных частей вагонов имеет разные скорости в зависимости от их расстояний до видеокамеры. В качестве примера на рис. 2 в левой его части показаны взаимные расположе-
0 13 15 15 15 15 15 13 13
0 0 0
34 33 32 26 15 19
Рис. 2
ния камеры и различных типов вагонов, а в правой - реально найденные векторы движения в зонах вертикального среза кадра. Например, в зоне изображения колес цистерны скорость движения будет ниже, чем в зоне изображения ее выпуклого бока. Если для формирования панорамы использовать фиксированную скорость, то изображение боковой поверхности цистерны будет сжато, а колес - растянуто. В результате возможно наложение цифр бортовых номеров, что затруднит их прочтение.
Алгоритм определения векторов движения. Рассмотрим метод учета описанных особенностей решаемой задачи. Для построения панорамы состава из каждого кадра видеопоследовательности использовалась центральная полоса переменной ширины, соответствующей в каждом сечении скоростям перемещения фрагментов изображения. Поэтому оказалось возможным увеличить стандартный размер блоков 8*8 в вертикальном направлении и использовать девять блоков размером 32*8 (рис. 3). Каждый блок соответствует имеющей одинаковую скорость зоне изображения: колеса, каретка, низ цистерны/вагона, максимально выпуклая часть и т. д. Увеличение размера блоков позволяет снизить влияние помех. Расположение блоков в центральной части кадра снижает до минимума влияние геометрических искажений. Следует также учитывать, что в центре кадра разрешающая способность видеокамеры максимальна.
Достоверность найденных векторов движения в значительной мере определяется характером целевой функции (1) при поиске [11]. Перед видеокамерами при движении иногда
Рис. 3
проходят участки с достаточно высокой детальностью (края вагонов, ребра жесткости, окна, двери), но в большинстве случаев - с малой (гладкие бока цистерн, плоские поверхности вагонов). Слабая детальность изображения при поиске векторов движения является причиной возникновения функции, убывающей к началу или к концу диапазона поиска (рис. 4, а) или мультимодальной целевой функции (рис. 4, б, в). Рис. 4, а демонстрирует целевую функцию, соответствующую значимому вектору движения, рис. 4, б - нулевому. Это практически полностью исключает возможность использования для работы алгоритмов, основанных на унимодальном характере целевой функции, например ЗББ, и делает наиболее целесообразным применение алгоритма ББ. Полный перебор имеет высокую вычислительную емкость, затрудняющую его использование при работе в режиме реального времени. Для уменьшения вычислительной емкости и снижения временных затрат учитывалась такие особенности, как движение поезда только по горизонтали и только в одном направлении. Поэтому направление движения определялось по начальным кадрам, а затем поиск осуществлялся только в этом направлении и по половине диапазона.
Наличие многочисленных фрагментов изображения, практически полностью лишенных деталей, даже в случае использования алгоритма ББ неизбежно приводит к возникновению аномальных векторов, не передающих движение объекта, а возникающих из-за наличия шумов и изменений освещенности. Частота их появления непосредственно связана с видом конкретной части изображения: края вагона/цистерны дают максимальное число достоверных векторов, боковые поверхности - минимальное. Значительную долю из общего набора составляют нулевые векторы движения, которые возникают при прохождении стыков между вагонами, а также низких платформ и полувагонов. В результате для получения достоверной оценки скорости нельзя пользоваться векторами движения, определенными по одному кадру, а следует проводить их оценку с усреднением по времени. Временной интервал усреднения определяется промежутком, в течение которого скорость состава остается практически постоянной из-за его инерционности.
Рис. 4
60
30
0
2
JlL
J_L
1
/
I
■■lili.....
1
20
39
U,-
Рис. 5
Значения векторов движения в нескольких кадрах представляют собой выборку случайных чисел. Анализ полученных экспериментально гистограмм векторов движения (рис. 5) позволяет утверждать, что закон распределения частот появления различных значений векторов характеризуется наличием многих мод. Первая мода соответствует нулевым векторам движения, а одна из последующих - истинным. Конкретный вид гистограммы зависит от детальности изображения за период наблюдения. При высокой детальности (рис. 5, 1) истинная мода достаточно ярко выражена, при низкой (рис. 5, 2) - возникает существенная неоднозначность в оценке векторов движения. Выраженность мод непосредственно связана с качеством исходного изображения: при его ухудшении (снижении четкости, появлении засветок, бликов, смаза и др.) преобладание нулевой моды увеличивается с одновременным уменьшением значения моды, соответствующей истинному движению. Поэтому при использовании исходных видеоданных с низким качеством существует вероятность ошибки в оценке скорости, а также вероятность возрастания разброса значений оценок. Использование таких векторов при формировании панорамного изображения недопустимо, поскольку это приведет к скачкообразным изменениям величины вырезаемых фрагментов и затруднит зрительное восприятие формируемого изображения.
В условиях многомодовости и существенной асимметрии распределения наиболее целесообразным представлялось применить мажоритарный принцип определения мгновенных векторов движения, т. е. отдать предпочтение вектору, имеющему максимальную частоту появления, при условии исключения из рассмотрения моды, соответствующей нулевым векторам.
Для исключения некорректных оценок скорости и дополнительного сглаживания поступающей информации использовались логический предсказывающий фильтр и регрессионная предсказывающая модель. Логический предсказывающий фильтр построен с учетом инерционности состава (невозможности резкого изменения скорости за малые промежутки времени). Применение указанного фильтра позволило эффективно устранить аномальные векторы скорости. Результат действия этого фильтра показан на рис. 6, представляющем изменения оценки модуля вектора движения vд в зависимости от номера
кадра п без фильтра (рис. 6, кривая 1) и после его применения (рис. 6, кривая 2).
15
0
-15 -30
"рW\A
Рис. 6
v
д
n
UJ 30 20 10 0
Цистерна
i
А
Платформа
I
\
Вагон
I
5
Рис. 7
Ü = F (Ü, Ü, w) Ü a = Фт WÜ
j L
4 U = Z a p ф p p=1
U
Рис. 8
На основании опытных данных получены типовые распределения значений векторов скорости по вертикали кадра при использовании объектива с углом зрения около 120° и расположении камеры на расстоянии 1.5 м от борта вагона для различных типов вагонов (рис. 7). Найдено, что наиболее характерные распределения векторов могут быть описаны с помощью полиномиальной модели четвертого порядка. Модель позволяет получить оценку вектора движения для каждого из девяти блоков. Параметры модели обновлялись через заданное число кадров по найденным векторам движения. Для этого вычислялась
разница между измеренным вектором движения Uj и его оценкой О^ и векторам с меньшими отличиями от оценки при идентификации параметров модели присваивались боль-
\2"
шие веса wtj= exp
к (Uj - Uj
(k - константа).
Алгоритм обработки (рис. 8) включал в себя масштабирование установленных априорно параметров модели, сравнение предсказанных и вновь полученных данных, идентификацию уточненных параметров модели методом наименьших квадратов и расчет по модели значений векторов скорости для каждого из блоков. Оценки векторов движения для блоков с номерами j = 0... 8 получались по зависимости
иj = а0Ф0 (X j ) + а1Ф1 (X j ) + а2Ф2 (X j ) + а3ф3 (X j ) + а4Ф (X j ), где фр (х), р = 0... 4 - базисные функции, ортонормированные на системе из девяти точек с весами
wj = 1 >/l-xÍj , Xj = (J - N¡2)/(N¡2), N = 8.
(2)
Базисные функции получены из последовательности 1, х, х2, ... методом ортогона-лизации Грамма-Шмидта [12] согласно рекуррентным выражениям, которые при симметричной относительно начала координат области изменений аргумента имеют вид:
N
ь рФ р+1 (х) = хФ р (х)- ьр ф р-1 (х); Ър = £ м>х ф р (XI) ф^1 (х).
I=1
Г А[ \-1/2
, а X p определялись из ус-
N
Для расчета полагалось ф^ (х) = 0, ф0 (х ) = ^
VI=1 )
ловий нормировки. Коэффициенты а р определялись из условия минимизации суммы
1
3
7
a = ФтWU, где Ф - матрица, составленная из отсчетов базисных функций фр (х); W -
диагональная матрица весовых коэффициентов, полученных по выражению (2); U - вектор, элементы которого представляют собой взвешенные суммы измеренного вектора движения и его оценки: Uj = (Uj + wtjUj 1 + wtj) для каждого блока.
Приведенный алгоритм позволил определить совокупность скоростей движения фрагментов изображения с достаточными для формирования корректной панорамы состава уровнями точности и стабильности. Фрагменты сформированных панорамных изображений представлены на рис. 9.
Библиографический список
1. Тимофеев Б. С. Системы видеонаблюдения железнодорожных составов // Информационно-управляющие системы. 2004. № 1. С. 2-9.
2. Motion compensated interframe coding for video conferencing / T. Koga, K. Linuma, A. Hirano et al. // NTC81. Nov. 1981. P. G 5.3.1-G 5.3.5.
3. Jain J. R, Jain K. A. Displacement measurement and its application in interframe image coding // IEEE Trans. Commun. 1981. Vol. COM-29. P. 1799-1806.
4. Puri A, Hang H. M., Shilling D. L An efficient block matching algorithm for motion-compensated coding // IEEE Int. Conf. Acoustic, Speech and Signal Processing. 1987. Vol. 19. P. 1063-1066.
5. Chanbani M. The cross-search algorithm for motion estimation // IEEE Trans. Commun. 1990. Vol. COM-38. P. 950-953.
6. Liu L.-K., Feig E. A. Block-Based Gradient Descent Search Algorithm for Block Motion Estimation in Video Coding // IEEE Trans. Circuit Syst. Videotech. 1996. Vol. CSV-6, № 1. P. 108-115.
7.Li R, Zeng B, Liou M. L. A new three-step search algorithm for block motion estimation // IEEE Trans. Circuit Syst. Videotech. 1994. Vol. CSV-4, № 1. P. 438-442.
8. Po L. M., Ma W.C. A Novel four-step search algorithm for fast block estimation // IEEE Trans, Circuit Syst. Videotech. 1996. Vol. CSV-6, № 3. P. 313-317.
9. Shi Y.Q., Xia X. A. Thresholding Multiresolution Block Matching Algorithm // IEEE Trans. Circuit Syst. Videotech. 1997. Vol. CSV-7, № 2. P. 437-440.
10. Xu J.-B., Po L.-M., Cheung C.-K. Adaptive Motion Tracking Block Matching Algorithms for Video coding // IEEE Trans. Circuit Syst. Videotech. 2000. Vol. CSV-10, № 3. P. 417-422.
11. Обухова Н. А. Обнаружение и сопровождение движущихся объектов методом сопоставления блоков // Информационно-управляющие системы. 2004. № 1. С. 30-37.
12. Калиткин Н. Н. Численные методы. М.: Наука, 1978. 512 с.
N. A. Obuckhova, B. S. Timofeev
Saint-Petersburg state aerospace technology university
Analyze of the motion parameters in the train video observation system
The features of block matching algorithm employed in standards of compression: MPEG-1, -2 and H.261/262/263 using for panoramic image generation in automatic system of trains and carriages commercial control are considerate The speed detection algorithm for video images of objects got with short-focus lenses is described in detail.
Panoramic image, super long objects, speed, "speeds shear", moving vectors, block matching algorithm, majority principle, predicting model
Статья поступила в редакцию 25 февраля 2005 г.
УДК 621.391
И. С. Грузман, К. В. Новиков
Новосибирский государственный технический университет
Быстрый алгоритм сегментации анизотропных
изображений на основе локальных спектральных
*
моментов
Предлагается методика определения параметров алгоритма сегментации анизотропных изображений исходя из заданного уровня ошибки, состоящей в принятии решения о том, что изотропная область является анизотропной. Для повышения скорости сегментации изображений предложено вычислять оценки спектральных моментов энергетического спектра в пространственной области. Дана оценка вычислительной сложности алгоритма.
Анизотропные изображения, сегментация, спектральные моменты, энергетический спектр
Интерферограммы, изображения отпечатков пальцев, трасс, оставленных различными инструментами, холодным или огнестрельным оружием, характеризуются наличием квазипериодических структур [1]. Чтобы автоматизировать процессы текстурного анализа таких изображений [1], [2], прежде всего необходимо их сегментировать, т. е. разделить на анизотропные (информативные) и изотропные (неинформативные) области.
* Работа выполнена при поддержке фонда "Научный потенциал".
50 © И. С. Грузман, К. В. Новиков, 2005
