CC BY
82
МЕТОД ВЫДЕЛЕНИЯ БЫСТРОДВИЖУЩИХСЯ ОБЪЕКТОВ ПРИ ИСПОЛЬЗОВАНИИ ЦИФРОВОГО ОПТИЧЕСКОГО ЛОКАТОРА СЛЕДЯЩЕГО ТИПА
Ваниев А.А., Емельянов Г.М.
Новгородский государственный университет имени Ярослава Мудрого
Аннотация
В статье рассматриваются особенности задачи выделения быстродвижущихся объектов по изображениям, получаемым с подвижного фотоприёмного устройства. Предлагается алгоритм, основанный на вычислении межкадровой разности. Одновременно предложенный алгоритм устраняет недостаток известного метода, заключающийся в появлении инверсных изображений объекта.
Ключевые слова: цифровой оптический локатор, выделение объектов, траекторные измерения.
Введение
Переход от фотоплёночной технологии регистрации изображения в оптических средствах измерения угловых координат к цифровой, благодаря применению ПЗС-матриц, привёл к пересмотру технологии обработки измерительной информации. Появилась возможность обнаруживать и оценивать движение в реальном или близком к нему времени.
Отличительная особенность цифровых оптических локаторов следящего типа (ЦОЛС) состоит в том, что лоцируемый объект обнаруживается в небольшом поле обзора пространства [1]. Пространственные углы поля обзора обычно не превышают нескольких угловых градусов. В случае использования фотоприёмных устройств (ФПУ) высокого разрешения эта особенность позволяет определять координаты цели с высокой точностью. Однако эта же особенность приводит к необходимости решения задачи автоматического сопровождения движущихся объектов без привлечения информации из дополнительных источников, таких как РЛС.
Эту задачу можно разбить на ряд подзадач:
• выделение движущихся объектов на изображении, полученном с подвижного ФПУ;
• идентификация интересующего объекта (цели), который необходимо сопровождать;
• выработка управляющих воздействий для опорно-поворотного устройства (ОПУ).
В рамках данной работы рассматривается подзадача 1 для случая быстродвижущихся объектов. Под быстродвижущимися объектами будем понимать объекты, угловое перемещение которых за время одного кадра превышает угловые размеры самого объекта при наблюдении с измерительного пункта.
Рассмотрим последовательность видеокадров, поступающих с ФПУ с частотой 25 - 100 Гц.
В этой последовательности кадров появляются движущиеся объекты, количество которых изначально неизвестно. В одном и том же кадре в поле зрения могут присутствовать несколько объектов одновременно. Объекты могут отличаться яркостью, размером, формой и скоростью движения. В этих условиях необходимо выделить движущиеся объекты и получить информацию, достаточную для их идентификации и определения параметров движения.
Описание измерительного комплекса Упрощённая структура измерительной станции следящего типа представлена на рис. 1.
ФПУ Видео
LVDS Телеметрия
ДУП
RS-485 УВ
ОПУ
RS-485
ЭВМ
- Регистрация
- Выделение объектов
- Расчёт угловых координат
- Идентификация цели
- Выработка УВ
■ Мониторинг - Результаты измерения
Ethernet
Рис. 1. Структура измерительной станции следящего типа: ФПУ - фотоприёмное устройство; ДУП - датчики углового положения; ОПУ - опорно-поворотное устройство; УВ - управляющее воздействие
Фотоприёмное устройство размещается на подвижном опорно-поворотном устройстве. Функции регистрации информации, идентификации целей, а также управления движением ОПУ реализуются на специализированной ЭВМ.
В настоящее время существует ряд весьма эффективных алгоритмов, предназначенных для сравнения изображений или поиска объектов на изображениях. Примером такого алгоритма может выступать алгоритм SURF [2]. Этот и подобные ему алгоритмы основаны на идее определения сходства между изображениями по так называемым «особым точкам». Однако в рамках рассматриваемой задачи применение алгоритмов этого типа является неэффективным по ряду причин. Прежде всего, алгоритмы сопоставления по особым точкам наиболее эффективны для сравнения изображений достаточно крупных объектов, имеющих большое количество ярких и тёмных участков, углов, контуров сложной формы. В рамках рассматриваемой задачи нас интересуют малоразмерные быстродвижущиеся объекты, такие как артиллерийские снаряды. Их изображения достаточно малы и не обладают ярко выраженной текстурой. При этом фон, на котором движутся объекты, также является подвижным (по причине подвижности ФПУ).
Помимо этого, алгоритмы, подобные SURF, отличаются высокой ресурсоёмкостью, что затрудняет их применение в задачах реального времени.
Всё это вызывает необходимость разработки менее универсальных, но более эффективных в рассматриваемых условиях алгоритмов.
Алгоритм обнаружения быстродвижущихся объектов по данным оптического канала наблюдения
Обнаружение объектов предлагается осуществлять в два этапа:
1) Предварительная обработка изображения.
2) Выделение объектов; определение положений объектов в кадре, их размеров. Расчёт угловых координат.
Таким образом, один из возможных алгоритмов показан на рис. 2.
Рис. 2. Структурная схема алгоритма выделения объектов
Съёмка должна производиться с как можно более короткой экспозицией, что позволит уменьшить смаз и повысить чёткость изображения наблюдаемого объекта.
В ситуации, когда экспозиция отличается от кадра к кадру, на этапе предварительной обработки может быть полезна операция выравнивания гистограммы яркости [3]. Практика показывает, что наиболее эффективным и в то же время простым методом является линейное контрастирование (рис. 3 а). Если съёмка производилась с неизменным значением экспозиции, операция контрастирования, как правило, не требуется.
Рис. 3. Предварительная обработка слабоконтрастного изображения: исходное изображение (а); результат линейного контрастирования (б)
На этом этапе также может быть полезным использование медианного фильтра [3], что позволит уменьшить уровень шума.
Одним из классических способов выделения движущихся объектов является нахождение разностного изображения на основе соседних кадров видеопоследовательности (далее - «разностный метод»). Как показано в [4], этот метод устойчив к изменениям соответствующих компонентов естественного фона, скорость которых много меньше скорости съёмки (таким, как движение листвы деревьев, облаков и т.п.). При этом данный метод весьма прост в реализации и не требует больших вычислительных затрат, что позволяет применять его в системах с низкой производительностью, таких как мобильные устройства.
Таким образом, имеет смысл адаптировать разностный метод для использования в полигонных следящих станциях на более высоких кадровых частотах (50 - 100 Гц).
В силу подвижности ФПУ непосредственное вычитание кадров в рассматриваемой задаче неприменимо. Для успешного решения задачи необходимо учитывать движение ФПУ.
В настоящее время задача определения движения камеры обычно решается методами одометрии. Специфика рассматриваемого класса приборов такова, что вместе с видеоизображением регистрируется телеметрическая информация, содержащая угловые положения камеры в каждом кадре. Существуют технические решения, использующие эту особенность. Рассмотрим более подробно метод селекции движущихся целей, описанный в [5].
Рис. 4. Сдвиг изображения Пусть текущее и предыдущее положения визирной оси прибора оцениваются парами показаний угловых датчиков (а,.,Р,.) и (а,._1, Р(-1) соответственно.
Практика показывает, что поворот камеры по азимуту и углу места эквивалентен сдвигу фонового изображения на некоторый вектор (Ах, Ау ). Его оценивают следующим образом:
АР А Аа
Ах = -?-; Ау =-;
р а
(1)
"ру рИ
где АР , Аа - разность измерений углового положения визирной линии объектива соответственно по вертикали и горизонтали; Рру, арИ - разрешающая
способность матрицы фотодетекторов соответственно по вертикали и горизонтали.
Р
ру? а рИ
находятся из формул
L L h
bpv =f • k И aph =~У • k;
(2)
где Ьру и ЬрИ - размеры по вертикали и горизонтали
фоточувствительной поверхности фотодетекторов; / — фокусное расстояние объектива; к - число угловых секунд в радиане к = 206265.
С учётом этого сдвига можно формировать разностное изображение 1В :
!в (х, У) = I (х, у) _ 1,_1 (х + Ах, у + Ау)|, (3)
где х, у - координаты пикселя; I, - изображение с текущего кадра; 1г-1 - изображение с предыдущего кадра; Ах, Ау - сдвиг изображения.
Пример разностного изображения приведён на рис. 5 в.
Рис. 5. Метод межкадровой разности по двум кадрам (изображения инвертированы): предыдущий кадр (а); текущий кадр (б); разностный кадр (в)
В [4], [5] показано, что в результате вычитания кадров происходит отсечение неподвижного фона.
Необходимо также отметить, что разностный метод позволяет выделять движущиеся объекты лишь в перекрывающейся части двух соседних кадров. Вблизи краёв образуются «слепые зоны», которые не участвуют в работе (рис. 4). Соответственно могут быть определены граничные условия применимости метода: пусть Rx (пикс.) - разрешение ПЗС-матрицы по одной из координат, w — угол обзора камеры, Ft — частота кадров, с которой производится съёмка, wmax
- максимальная угловая скорость, с которой способно двигаться ОПУ. Отсюда можно оценить максимальный размер слепой зоны вблизи края изображения по соответствующей координате:
w R
S_ max x (4)
FTw
Допустимое значение S выбирается исходя из минимальных размеров области изображения, в которой
будет осуществляться обнаружение объектов (заштрихованная область на рис. 4). Например, в типичном случае с ПЗС-матрицей разрешением 1024*1024 пикс. при частоте кадров 25 герц, поле зрения 10 угл. град. и угловой скорости по азимуту 10 угл. град/с ширина слепой зоны составит 41 пиксель. Такое значение можно считать приемлемым для практических применений.
Авторы патента [5] отмечают, что разностный кадр содержит два изображения движущейся цели - прямое и инверсное, которое запаздывает относительно первого на время, равное периоду следования кадров.
Этот эффект некритичен для систем автосопровождения, работающих по одиночной цели, однако в контексте идентификации и оценивания координат групповых объектов может вызвать некоторые трудности. В частности, инверсное изображение может быть распознано как самостоятельный объект, что нежелательно.
Предлагается два варианта решения этой проблемы.
Первый способ заключается в формировании модели фона 1а по одной из формул:
1а (х, у) = шш(!, (х, у); 11 _! (х + Ах, у + Ау)); (5)
1о (х, у) = тах(1,. (х, у);I,.- (х + Ах, у + Ау)). (6)
Полученная модель фона 1о состоит из минимальных (либо максимальных) значений соответствующих пикселей двух последовательных кадров. С учётом (5) или (6) формула (3) примет вид:
id (x у) _ i(x у) -ig(x y)\.
(7)
Неудобство этого подхода заключается в том, что для объектов, которые светлее фона, нужно использовать формулу (5), а для объектов, которые темнее -формулу (6). В противном случае положение объекта на разностном изображении будет соответствовать моменту времени предыдущего кадра.
Второй предлагаемый способ основан на использовании трёх кадров для обнаружения объектов. Рассмотрим разностные изображения 11в и , полученные согласно (3) по трём последовательным кадрам 1,, 1 1,-2 :
I(х,у) = I(х,у)_I,_(х + А*!,у + Ау!) ; (8)
ID(x,y) _ I-i(x + Dxl,y + Dyl) -
(9)
_Ii _2 (х + Ах1 + Ах2, у + Аух + Ау2)| где Ах, Ау1 - сдвиг изображения между кадрами ^ и ¡11 ; Ах2, Ау2 - сдвиг изображения между кадрами ^_1 и ^_2. Каждое из полученных разностных изображений будет содержать как прямые, так и инверсные изображения объектов для соответствующей пары кадров. Сформируем результирующее разностное изображение следующим образом:
^(х у) =
_ (/D (x, y) - ID (x, y))9(iD (x, y) - ID (x, y))
(10)
9( х) -
(11)
где 8(х) - функция Хевисайда [6]: Г0, х < 0; 1, х > 0.
Заданный таким образом кадр не будет содержать инверсных изображений объектов, при этом имеющиеся в нём изображения объектов будут соответствовать текущему кадру ^ независимо от их яркости. Таким образом устраняются основные недостатки как метода [5], так и формулы (7), однако появляются другие ограничения:
1) для выдачи первого результата требуется дополнительный кадр;
2) уменьшается область кадра, в которой может быть выделен объект при движении ФПУ. Максимальную ширину «слепой зоны» в этом случае следует считать равной 28 пикселей.
По полученному разностному изображению !в можно осуществлять собственно выделение движущихся объектов. Для этого предлагается подвергнуть разностное изображение бинаризации, в результате которой получается чёрно-белое изображение 1В (рис. 7). Это позволит локализовать объекты и отсечь малозначимые колебания яркости, оставшиеся после вычитания кадров.
Рис. 6. Бинарное изображение (инвертировано) Эксперименты показали, что в большинстве случаев достаточно простой бинаризации с глобальным порогом, который рассчитывается по формуле: (тах( !в (х, у)) - шт(/в (х, у)))
Р = -
2
(12)
Если же разностное изображение зашумлено (такое возможно, например, при съёмке в сложных погодных условиях), имеет смысл проводить дополнительную обработку изображения и использовать адаптивные алгоритмы бинаризации с локальным порогом [3].
Разработка методов дополнительной обработки разностного изображения, полученного в сложных условиях, выходит за рамки данной статьи и представляет собой отдельную тему для исследования.
Одной из важных характеристик движущегося объекта является его форма. В качестве характеристики формы объекта предлагается использовать его контур [7], [8].
Для прослеживания контуров объектов по бинарному изображению можно рекомендовать алгоритм Розенфельда [7].
Как известно, основной задачей измерительной станции следящего типа является определение угловых координат объектов, попадающих в её поле зрения [1]. Для расчёта угловых координат объекта наблюдения необходимо знать положение его центра в системе координат датчика изображения.
Вычисление координат центра объекта можно осуществлять двумя способами, каждый из которых обладает определёнными достоинствами и недостатками.
Координаты геометрического центра объекта можно вычислять непосредственно по бинарному изображению как среднее арифметическое координат точек, принадлежащих контуру объекта [7]. Это позволяет существенно сократить объём вычислений, что важно при работе в реальном масштабе времени.
В случае протяжённых объектов, обладающих неравномерным распределением яркости, имеет смысл вычислять координаты энергетических центров объектов. Такой способ более предпочтителен на этапе послесеансной обработки. Для этого требуются дополнительные шаги. Прежде всего, необходимо по изображению 1В найти фрагмент изображения, в котором обнаруживается объект.
Затем координаты энергетических центров можно вычислить при помощи пространственного фильтра [1] по изображению текущего кадра 11:
ЕЕ хК
ЕЕ уЬх
V — х у хм -
ЕЕ к
Ум-
ЕЕ к
(13)
где хм , ум - оценки координат объекта в системе координат матрицы; Ьу - значение яркости пикселя с координатами (х,у); х, у - координаты пикселя на матрице.
Такой подход позволяет учитывать яркость всех пикселей, принадлежащих объекту, и определять координаты его центра с субпиксельной точностью.
Таким образом, на выходе алгоритма для каждого объекта формируется следующая структура данных:
О,. -{ хс, ус, к, Г,.},
где
, - порядковый номер объекта;
хс, ус - координаты центра объекта на матрице;
к - длина контура объекта;
Г,- - (У0, У[, ук-1) - вектор-контур объекта в ком-плекснозначном виде [7].
По полученным координатам геометрического либо энергетического центра объекта на матрице можно получить угловые координаты объекта по методике, описанной в [1].
В дальнейшем, на этапе межкадровой идентификации объектов, такая структура данных позволяет проводить селекцию целей как по форме и размеру, так и по угловой скорости [9], что существенно повышает достоверность получаемых результатов.
х у
х у
В качестве характеристики размера объекта можно использовать длину контура. Это позволит принимать решение о целесообразности анализа формы объекта. Селекцию целей по форме предлагается проводить методами контурного анализа [7].
Результаты экспериментов Эксперименты проводились на двух последовательностях кадров, отражающих следующие возможные случаи: светлый объект на тёмном фоне, тёмный объект на светлом фоне. Целью экспериментов являлось определение работоспособности предложенных методов вычисления разностного кадра. Фрагменты исходных кадров, содержащие выделяемый объект, приведены на рис. 7.
а) б)
Рис. 7. Исходные кадры: светящийся объект на тёмном фоне (а) (изображения инвертированы); тёмный объект на светлом фоне (б)
Результат выделения движущихся объектов по методу (7) с моделью фона, вычисленной по формуле (5), приведён на рис. 8.
Рис. 8. Результат применения метода (7) (изображения инвертированы): кадр из минимальных интенсивностей пикселей для случая «светлый объект на тёмном фоне» (а); разностный кадр для случая «светлый объект на тёмном фоне» (б); кадр из минимальных интенсивностей пикселей для случая «тёмный объект на светлом фоне» (в); разностный кадр для случая «тёмный объект на светлом фоне» (г)
Результат выделения движущихся объектов по формуле (10) (на основе трёх последовательных кадров) показан на рис. 9.
Рис. 9. Выделение движущихся объектов по трём кадрам (изображения инвертированы): первая межкадровая разность (а); вторая межкадровая разность (б); результат применения формулы (10) (в); бинарное
изображение (г) Как видно из рисунка, способ не даёт инверсного изображения, однако в случае «тёмный объект на светлом фоне» на разностном кадре появляется изображение объекта с предыдущего кадра. При использовании модели фона (6) аналогичный эффект возникает в случае «светлый объект на тёмном фоне». Это ограничивает область применения метода ситуациями, когда предполагаемая яркость объекта известна заранее.
Проведённые эксперименты показали, что наилучшие результаты получаются при вычислении межкадровой разности по формуле (10). Этот метод не даёт инверсного изображения и в то же время применим при произвольной яркости выделяемых объектов.
Тем не менее, для случаев, когда до проведения опыта известно, обладает ли выделяемый объект све-
чением, может быть полезен и метод (7). Его достоинство заключается в меньшей площади «слепых зон», в которых невозможно обнаружить объект вычитанием кадров.
Заключение
Предложенный алгоритм позволяет обнаруживать движущиеся объекты по информации со следящих измерительных станций с учётом изменения положения ФПУ. При этом устраняется один из недостатков существующего способа, заключающийся в появлении инверсного изображения объекта, что могло приводить к ошибкам распознавания.
Aлгоритм может быть использован как на этапе послесеансной обработки видеоинформации, так и на этапе сопровождения движущихся объектов в реальном масштабе времени.
Литература
1. Булычев, Ю.Г. Математические аспекты определения движепия летательных аппаратов / Ю.Г. Булычёв, A.K Мапип. - М.: Машиностроение, 2GGG. - 256 с.
2. Bay, H. SURF: Speeded Up Robust Features / Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool // Computer Vision and Image Understanding (CVIU). - 2GG8. -Vol. 11G, N 3. - P. 346-359.
3. Прэтт, У. Цифровая обработка изображений / У. Прэтт; пер. с апгл. Кп. 2. - М.: Мир, 1982. - 48G с.
4. Матвеев, Д.А. Проблемы реализации алгоритмов обработки кадра в интеллектуальных датчиках изображения / ДА. Матвеев // Электроника и информационные технологии. - 2G11. - № 2(11).
5. Пат. 2G1G145472 РФ. Электронно-цифровое устройство измерения угловых координат с селекцией подвижных объектов наблюдения.
6. Волков, И.К. Интегральные преобразования и операционное исчисление: учеб. для вузов / И.К. Волков, A.K Канатников. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2GG2. - 228 с.
7. Фурман, Я.А. Введение в контурный анализ и его прило-жепия к обработке изображений и сигналов /ЯА. Фурмап, A. В. Кревецкий, A. К. Передреев, A. A. Роженцов, Р. Г. Ха-
физов, И. Л. Егошина, А.Н. Леухин; под ред. Я.А. Фурмана. — М.: ФИЗМАТЛИТ, 2002. — 592 с.
8. Титов, И.О. Система компьютерного зрения движущегося воздушного объекта / И.О. Титов, Г.М. Емельянов // Компьютерная оптика. — 2011. — Т. 35, № 4. — С. 491-494.
9. Ваниев, А.А. Идентификация групповой цели пассивным цифровым оптическим локатором / А.А. Ваниев // Вопросы оборонной техники. Сер. 3. — 2011. — Вып. 4 — С. 36-41.
References
1. Bulychev, Y.G. Mathematical aspects of the movement of aircraft / Y.G. Bulychev, A.P. Manin — Moscow: "Mashi-nostroenie" Publisher, 2000. — 256 p. — (In Russian).
2. Bay, H. SURF: Speeded Up Robust Features / Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool // Computer Vision and Image Understanding (CVIU). — 2008. — Vol. 110, N 3. — P. 346-359.
3. Pratt, W. Digital Image Processing: Trans. from English / W. Pratt. — Academic Press, 1982. — The book 2 — 480 p. — (In Russian).
4. Matveev, D. Problems of implementing algorithms of frame processing in intelligent image sensors // Electronics and Information Technology. — 2011. — V. 2(11). — (In Russian).
5. Pat. 2010145472 RF. Digital electronic device measuring angular coordinates with the selection of moving objects under observation.
6. Volkov, K. Integral transformations and operational calculus: Textbook for high schools / ed. B. C. Zarubin, A.P. Kryschenko. — 2nd ed.— Moscow: Publishing House of the MSTU Bauman, 2002. — 228 p. — (In Russian).
7. Introduction to contour analysis and its applications to image and signal processing / Y.A.A. Furman, A. Krevetsky, A.K. Pe-redreev, A.A. Rozhentsov, R.G. Hafizov, I.L. Egoshina, A.N. Leukhin, ed. J.A. Furman. — Moscow: "Fizmatlit" Publisher, 2002. — 592 p. — (In Russian).
8. Titov, I.O. System of the computer vision moving air object / I.O. Titov, G.M. Emelyanov // Computer Optics. — 2011. — V. 35, N 4. — P. 491-494. — (In Russian).
9. Vaniev, A.A. Identification of multiple target using passive optical digital locator // Problems of defense equipment. Series 3. — 2011. — N 4 — P. 36-41. — (In Russian).
METHOD OF DETECTION OF FAST-MOVING OBJECTS WHEN USING THE DIGITAL OPTICAL LOCATOR OF TRACKING TYPE
A.A. Vaniev, G.M. Emelyanov State Educational Institution of Higher Vocational Education "Yaroslav-the-Wise Novgorod State University"
Abstract
The article discusses the features of the problem of identification of fast-moving objects in the images obtained from the mobile photodetector. We propose an algorithm which is suitable for the detection of multiple targets.
Key words: digital optical locator, identification of objects, trajectory measurements.
Сведения об авторах
Ваниев Александр Александрович, 1987 г.р., окончил с отличием Новгородский государственный университет в 2010 г. по специальности «Программное обеспечение вычислительной техники и автоматизированных систем», аспирант НовГУ(г. Великий Новгород). Область научных интересов: цифровая обработка изображений. E-mail: threep2005@yyandex. ru .
Alexandr Alexandrovich Vaniev (b.1987) graduated with honors from the Novgorod State University in 2010, specializing in the "Software of computers and automated systems". Now he is post-graduate student of Novgorod State University. Research interests: digital image processing.
^^^ Емельянов Геннадий Мартинович, родился в 1943 г. Окончил Ленинградский элек-
^^^^^ тротехнический институт им. В.И.Ульянова (Ленина) в 1966 году. В 1971 году защитил диссертацию на соискание учёной степени кандидата технических наук. Доктор технических наук (1990). В настоящее время - профессор кафедры информационных технологий и систем. Область научных интересов: построение проблемно-ориентированных вычис-^^^^ лительных систем обработки и анализа изображений.
^^^^Шк E-mail: Geimadv.Emelvanov&novsu.ru . А^^Н^Н Gennadiy Martinovich Emelyanov, born 1943. Graduated from the Leningrad Institute of ; Electrical Engineering in 1966. Obtained his PhD (Kandidat Nauk) and his Doctoral (Doktor
1______ ._. Nauk) degrees in 1971 and 1990, respectively. Now he is a Professor of the Department of in-
formation technologies and systems at the same university. Research interests: construction of problem-oriented computing systems of image processing and analysis.
Поступила в редакцию 22 октября 2012 г.
