CC BY
95
МЕТОД ОБНАРУЖЕНИЯ ТРАНСПОРТНЫХ СРЕДСТВ НА ЦИФРОВЫХ АЭРОФОТО-И КОСМИЧЕСКИХ ИЗОБРАЖЕНИЯХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ
Мясников В.В.
Институт систем обработки изображений РАН
Аннотация
В работе предлагается метод автоматического обнаружения местоположения легковых транспортных средств на изображениях аэрофотосъёмки и изображениях перспективных средств космического дистанционного зондирования Земли (ДЗЗ). Предлагаемый метод использует различные группы признаков (геометрические, текстурные, структурные) для описания изображённых на снимках объектов и их предварительного анализа, а также решающий список как алгоритм проверки гипотезы о наличии объекта. Окончательное позиционирование объектов на изображении производится с помощью оригинальной последовательной процедуры. Предложенный метод на реальных снимках урбанизированной территории даёт высокий показатель качества верного обнаружения транспортных средств при незначительном (единицы) количестве ложно обнаруженных объектов.
Ключевые слова: изображения, дистанционное зондирование Земли, транспортные средства, обнаружение.
Введение
По мере увеличения доступности данных оптического дистанционного зондирования Земли цифровые снимки всё чаще используются для решения различных практических задач. Поскольку значительный интерес в таких задачах представляют территории, связанные в той или иной степени с человеческой деятельностью, особую актуальность приобретают те методы, алгоритмы и программное обеспечение, которые ориентированы на высокоуровневый анализ цифровых снимков с целью поиска и интерпретации объектов урбанизированного характера. Легковые автомобили являются одним из наиболее типичных примеров таких объектов. В соответствии с существующими Правилами дорожного движения (ПДД) и ГОСТ Р 51709—2001 Требования безопасности к техническому состоянию и методы проверки под легковым автомобилем понимается автомобиль с разрешённой полной массой не более 3,5 тонн, с произвольным типом кузова (седан, универсал и др.), достигающий в длину от 2,5 до 5 м, произвольного года выпуска, в состоянии, исключающем нарушение его целостности и заводской формы, произвольного цвета.
Целью настоящей работы является разработка и экспериментальная апробация метода автоматического обнаружения местоположения легковых транспортных средств (ЛТС, далее - объектов) на цифровых изображениях оптического ДЗЗ. В рамках настоящей работы особый интерес представляют цифровые изображения оптического ДЗЗ, полученные путём аэрофотосъёмки или потенциально получаемые перспективными средствами космического ДЗЗ, допускающими съёмку с пространственным разрешением порядка 0,2 м (например, американский спутник GeoEye-2 допускает разрешение 0,25-0,3 м). Пример анализируемого изображения приведён на рис. 1.
Работа построена следующим образом. В первом разделе представлена общая идея предлагаемого метода обнаружения. Во втором разделе рассматривается
вычислительная процедура приведения цифрового изображения к виду, удобному для дальнейшего анализа. Третий раздел посвящён описанию основных групп признаков, с использованием которых представляется распознаваемый на цифровом снимке объект. В четвёртом разделе приводится описание алгоритма проверки гипотезы о наличии объекта, основанного на решающем списке. В пятом разделе представлен оригинальный алгоритм определения местоположения объектов на цифровом изображении ДЗЗ. Наконец, в шестом разделе приведены результаты вычислительного эксперимента, проведённого с целью оценки эффективности предложенного метода обнаружения. В заключение работы приводятся выводы и результаты, ссылки на гранты поддержки.
Рис. 1. Пример изображения ДЗЗ
1. Общая идея метода обнаружения
Предлагаемый метод базируется на подходе, известном как «зрение на основе модели» [1, 2]. Суть этого подхода состоит в синтезе гипотез относительно возможных состояний объекта(ов) и их последующей проверке (верификации).
Под гипотезой (в терминах рассматриваемой задачи) понимаетсся предположение о местоположении, размерах и ориентации искомого ЛТС. Каждая такая гипотеза Г определяется пятёркой параметров (г1; 12, I, w, ф), совместно характеризующих пространственную прямоугольную ориентированную область П(^,t2,I, w,ф) , где расположен потенциальный объект. Здесь (см. рис. 2):
- г1,t2 - пространственные координаты центра области по вертикали и горизонтали, соответственно (в метрах);
- I,w - длина и ширина области (в метрах);
- ф - ориентация области (в градусах).
Для упрощения дальнейшего изложения в случае определённости параметров их запись может быть опущена в обозначении гипотезы или области.
Г
Рис. 2. Иллюстрация к определению гипотезы
Проверка конкретной гипотезы Гп производится путём определения величины её достоверности у(Гп) и, при необходимости, сравнения этой величины с пороговым значением. В настоящей работе величина достоверности - это число из интервала [0,1]. Большие значения соответствуют более высокому уровню достоверности выдвинутой гипотезы, меньшие - низкому.
Величина достоверности для конкретной гипотезы численно характеризует схожесть признакового описания соответствующего этой гипотезе объекта с «эталонным» объектом. Алгоритмы вычисления признаков для потенциального объекта, соответствующего гипотезе Гп , и способ вычисления её достоверности у (Гп) приведены ниже в разделах 3 и 4,
соответственно.
Гипотезы, достоверность которых оказалась выше порогового значения, определяются как допустимые. Очевидно, что в результате проверки на изображении может оказаться множество допустимых гипотез, некоторые из которых одновременно существовать не могут - так называемые конкурирующие гипотезы. Примером конкурирующих гипотез могут являться следующие:
Эти две гипотезы не могут одновременно существовать, поскольку области, занимаемые их потенциальными объектами, пересекаются:
П(/1,/2, /, w,0) п п^,/2 + /,/, w,oj Ф 0 .
Устранение конкурирующих гипотез выполняется с использованием оригинального алгоритма определения местоположений транспортных средств, представленного в разделе 5.
Итогом работы предлагаемого метода является список объектов, представленных параметрами их областей (/1, /2,/, w, ф) (местоположением, размерами и
ориентацией). Укрупнённая блок-схема предложенного метода обнаружения представлена на рис. 3.
/.Изображение,
шаг дискретизации _ ♦ _
Приведение изображения к виду, удобному для анализа
Генерация гипотез
нет гипотез
Елок обнаружения
гипотеза
Рис. 3. Блок-схема метода обнаружения ЛТС на изображении
Дополнительный блок приведения изображения к виду, удобному для анализа, предназначен для предварительной обработки изображения и подготовки промежуточных данных и детально описан в следующем разделе.
2. Приведение цифрового изображения к виду,
удобному для анализа Цифровые изображения, получаемые различными средствами ДЗЗ, отличаются спектральными, яр-костными характеристиками и пространственным разрешением. В дополнение к указанным различиям в процессе съёмки отдельные части одного регистрируемого изображения могут иметь отличные от других цветояркостные характеристики (диапазоны) по причине наличия природных помех при съёмке (например, при наличии теней от облаков, дымки,
Г
2 2
тумана и т.п.). Для унификации основных этапов предлагаемого метода на первоначальном (подготовительном) этапе изображение подвергается трём нормализующим преобразованиям.
Первое преобразование заменяет спектральное (цветное, многоканальное) изображение на полутоновое (одноканальное). В наиболее часто встречающемся случае RGB-представления отсчётов снимка,
итоговая яркость / соответствующего выходного отсчёта полутонового изображения определяется простым усреднением цветовых компонент.
Второе преобразование осуществляет нормализацию изображения по его пространственному разрешению таким образом, чтобы шаг дискретизации анализируемого изображения соответствовал разрешению 0,2 метра. Для устранения муарового эффекта (в случае обработки снимка существенно лучшего разрешения, например, с разрешением исходного снимка 0,05 м или лучше) изображение предварительно обрабатывалось низкочастотным гауссовским фильтром с параметром «размытия», соответствующим требуемому в итоге разрешению [1-3].
Третье преобразование осуществляет глобальную яркостную нормализацию:
0, Уt2)<т} -5а-, / Ь )-(ту-5а у)
f (^ t2 ) =
(1)
25а f
mf -5аf < f (ti,f2)<mf +5аf 1, f (ti,t2)> m? +5а-.
Здесь ту, а - - среднее и среднеквадратическое
отклонение для функции яркости / изображения, 5 - предопределённая константа, экспериментально подобранная по тестовым изображениям (5=4).
Четвёртое преобразование предназначено для подготовки промежуточных данных, используемых при распознавании. В качестве вспомогательных данных в работе используется поле градиента
■V
g (ti, t2 )-Vf (ti, t2 ) =
f f Vdti , dt2 J
в котором для каждого отсчёта анализируемого изображения хранится информация о модуле градиента |g (t1,t2)| и его фазе (ориентации) arg(g (t, t2)). Для
расчёта градиента в работе использовался оператор Превитта [1-3]. Значения поля модуля градиента
|g (t1, t2) дополнительно нормализуются к диапазону [0,1] по формуле, аналогичной (1).
3. Методы и алгоритмы формирования признаков объекта обнаружения Построение описания объекта на основе его представления с использованием признаков - одна
из самых сложных задач в процессе построения любой системы распознавания или анализа [3]. Поэтому при отборе признаков автор руководствовался рядом положений, которые следуют из физических ограничений, существующих для ЛТС. Эти положения будут приведены при рассмотрении каждой группы признаков отдельно. Для удобства восприятия материала относительно каждого признака в отдельных подпунктах указаны:
- обоснование выбора признака;
- выражение/алгоритм его расчёта;
- минимальное и максимальное значения признака, возможные при его расчёте (здесь учитываются условия, при которых производится расчет признаков, в частности, алгоритмы предварительной обработки исходного изображения);
- значение признака, соответствующее его величине для объекта «идеальной» модели (см. интерпретацию этого понятия ниже).
3.1. Группа геометрических признаков
Признаки, характеризующие габаритные размеры объекта Объект обнаружения - ЛТС - занимает ограниченную область (финитен) и обладает явно выраженной геометрией. Последняя в первом приближении позволяет рассматривать его как прямоугольный объект. Размеры сторон объекта I, V и его пропорция (^2/ = — ) оказываются достаточно жестко
регламентированными.
Указанные признаки не рассчитываются по изображению, а задаются при формировании гипотез. Мощность пространства гипотез ограничивается, с одной стороны, ограничениями на допустимые значения этих признаков:
/ . < l < l
w . < w < w ,
mm max'
1 < w < i
3 /
где / = 2,5; / = 5; w = i,i; w = 2 — пре-
^ mm ' ' max ' mm ' ' max
дельные габаритные размеры ЛТС.
С другой стороны, мощность пространства гипотез ограничена подмножеством их возможных значений. Для этого значения длины / и ширины w потенциального объекта квантуются с шагом, соответствующим шагу дискретизации анализируемого изображения (0,2 м). Заметим также, что аналогичное квантование возможных значений производится и для остальных параметров гипотезы (в том числе для угла ориентации объекта).
Дескриптор границы и её характеристики Для изложения методов расчёта некоторых последующих признаков нам потребуются некоторые дополнительные понятия. Пусть далее D - некоторая пространственная область, на которой определена функция t2) , характеризующая эту область в том смысле, что для каждой позиции облас-
ти функция определяет ориентацию (угол), соответствующую этой позиции. Проводя аналогии с существующими вычислительными процедурами и объектами цифровой обработки изображений [3], пара (D,ф(/рt2)) определяет «фазовый шаблон». Пусть
также на D определено поле градиента g (t1; 12).
Определение 1. Дескриптором направленности Д поля градиента g (t1,12) по отношению у шаблону
(D, ф(^, t2)) называется тройка чисел
Д (D ,ф(.))( g ОНSGD SGM J D).
В приведённом определении:
- D| - мощность области D . Для цифровых изображений эта величина - число отсчётов цифрового изображения, попавших в эту область;
- SGM - суммарная величина абсолютных значений градиентов, попавших в область D ;
- SGD - суммарная проекция градиентов в области D на направления, определяемые для соответствующих позиций функцией ф(^, t2).
Формальные формулы расчёта элементов дескриптора приведены ниже:
SGM = JJ | g (t1, t2 )| dt1dt2,
(t1,t2 )eD
SGD = J] |g(t1,t2)|cos(ф(tl,t2)-
(t1,<2 )eD
Определение 2. Степенью направленности области П называется величина:
-arg (g (t1, t2))) dt1dt2
Для введённой ранее прямоугольной области П(/1,г2,/, w,ф) определим фазовый шаблон следующим образом:
п
Dn, Ф+ -
где DП - множество точек (г1, г2), попавших в прямоугольную ориентированную область
п(г1,г2,/,w,ф).
Обозначим соответствующий дескриптор направленности как Д (п) (аналогично далее используем обозначения SGM (п) и SGD (п)). Для «суммы» направленных прямоугольных областей, учитывая аддитивный характер выражений для SGM и SGD, справедливо:
д (п +п2 ) = д (п)+д (п2).
Как очевидно, введённый дескриптор направленности обладает полезным свойством, которое позволяет на его основе получать удобные признаки границ, которые могут характеризовать геометрические свойства объекта обнаружения. В частности, производными являются характеристики, задаваемыми следующими тремя определениями.
D2 M (П) =
SGD (П)
SGM (п) '
Очевидно, что для этого показателя выполняется соотношение D2M (п) е [0,1].
Определение 3. Выраженностью (общей) п называется величина:
M 2 N (П) =
SGM (П)
На основании этих двух характеристик может быть рассчитана ещё одна величина, которая является жёстко функционально зависимой от указанных, но которая будет также использована в настоящей работе.
Определение 4. Направленной выраженностью области п называется величина:
D2N (П) = D2M (п)-M2N(П) =
SGD (П)
Учитывая ограничение по модулю отсчётов поля градиента, последние две характеристики также находятся в диапазоне [0,1].
Иллюстрации, демонстрирующие зависимость введённых характеристик от входного изображения, приведены на рис. 4. В качестве обрабатываемого снимка выбрано схематичное изображение транспортного средства. В качестве областей выбирались горизонтальные протяжённые области вида п(г1,г2,/тах, 0.2,0) с изменяющимися параметрами
их положения (г1, г2).
е) I
Рис. 4. Иллюстрация характеристик границ: а) входное изображение; б) изображение модуля градиента; в) изображение фазы градиента; г) изображение характеристики M 2 N (п) ; д) изображение
характеристики D2M (п) ; е) изображение
характеристики D2N (п)
Как видно из данной иллюстрации, характеристики, связанные функционально с «направленным» элементом SGD(П) дескриптора, лучше характеризуют границы в тех точках, где значение градиента отлично от нуля. А именно: характеристика M2N (п) для длинной горизонтальной границы
оказывается ненулевой практически во всех точках объекта, хотя в центре объекта «идеальной» модели никаких горизонтальных границ нет. В отличие от характеристики M 2 N (п) значения D2M(П) и
D2N(П), связанные с направленностью границы, оказываются отличными от нуля только в тех точках, где горизонтальная граница действительно присутствует.
На основании введённых характеристик вводится целый ряд признаков, рассчитываемых по потенциально возможному объекту.
Признаки границ объекта обнаружения Пусть Г(/1, г2, /, w, ф) - рассматриваемая гипотеза
о потенциальном объекте. Определим связанные с этой гипотезой прямоугольные направленные области:
- п Н0, п Н1 - области для границ потенциального объекта, расположенных вдоль длинной стороны (по длине) объекта и отделяющих объект от фона (длина - /, ширина - 0,2 м);
- Пш0, Пш1 - области для границ потенциального объекта, расположенных вдоль короткой стороны (по ширине) объекта и отделяющих объект от фона (длина - w, ширина - 0,2 м);
- - область, ориентированная вдоль длинной стороны (по длине) объекта, расположенная на осевой линии объекта (длина - /, ширина - 0,8 м).
Формальный вид указанных областей может быть легко получен через известные параметры гипотезы. Например, ПНЕ( =п(/1,г2,/,0.8,ф) .
Дополнительно определим ещё две направленные области п¡з0, П^ (длина - w, ширина - 0,2 м), задаваемые с точностью до «положения» вдоль центральной оси п(/1,/2,/,w,ф) и определяющие области для границ, расположенные вдоль короткой стороны (по ширине) объекта и ограничивающие (ориентировочно) область переднего/заднего окна или крыши ЛТС. Конкретное положение этих областей выбирается автоматически, путём максимизации величин D2M (Пх0),D2M (ПХ1).
Иллюстрации для введённых областей приведены на рис. 5.
Для каждой из указанных областей рассчитываются дескрипторы направленности, на основании которых формируются окончательные признаки границ объекта обнаружения - пары значений D2M (.) и M2N(.) . Дополнительно к этим 14 признакам используются признаки D2M (.) и M2N(.) ,
рассчитываемые по дескрипторам следующих объединённых областей:
п Н01 = п Н0 +п нь ПШ01 = ПШ0 +ПW1, ПS01 = ^0 +ПS1, П НШ = П Н01 + ПW01,
Пно, Пн1, Пго, Пп, Па, Пь б) область Пбо
В результате 24 признака, принимающих значения в диапазоне [0,1], характеризуют выраженность границ потенциального объекта. При этом для объекта «идеальной» модели все признаки (исключая признаки области П^Е() принимают своё максимальное значение, а признаки области П - минимальное.
Признаки, характеризующие выраженность
границ объекта Поскольку объект обнаружения является техническим объектом жёсткой формы с явно выраженными границами, следует ожидать превалирование выраженности границ именно в тех элементах изображения, которые связаны с истинными внутренними и/или внешними границами объекта. Поэтому при проверке гипотезы дополнительно к указанным выше используются признаки следующего вида: М2М (ПНщ ) М2М (Пгк ) SGM(Пс) ' SGM(Пс) ' ( )
тг I ^ ^ 1тах 1тах /л |
где пс =1 tl,t2, 2 , 2 ,01.
Для объекта «идеальной» модели признаки (2) принимают значение, близкое к «1».
Признаки, характеризующие форму границ объекта Конструктивная особенность объекта обнаружения - транспортного средства - это форма его поперечных границ. Из-за физических ограничений, которые налагают на ЛТС требования к его аэродинамическим характеристикам, поперечные границы, к которым относятся передняя и задняя границы машины, границы соединения стекол (переднего и заднего) и корпуса, должны быть вогнутыми по отношению к локальной системе координат (т1; т2) с
началом в центре ЛТС и осями, ориентированными вдоль его основных осей (см. рис. 6). 90+5
М-е k . . 90-е
Рис. 6. Локальная система координат и направления градиента для точек поперечной границы
Из представленной иллюстрации очевидно, что направление градиента для точек поперечной границы, представленной на данном рисунке, оказывается близким к 90 градусам. Причём, в силу вогнутости границы реального объекта угол ориентации градиента для точек, лежащих на границе слева от начала координат, оказывается большим 90 градусов, а для точек, лежащих на границе справа от начала координат, оказывается меньшим 90 градусов. Тогда, очевидно, значения фазовой составляющей поля градиента для поперечной границы объекта могут быть достаточно хорошо аппроксимированы линейной убывающей функцией (от параметра, характеризующего проход «слева-направо»). В частности, для горизонтально расположенной границы шириной V с центром в точке (г1,г2) можно ожидать выполнения следующего приближенного равенства:
arg^t -w +1,t2 jj« at + b, t e[0,w].
(3)
Причём в начальной (левой) точке границы (/=0) значение данного функционала для вогнутой границы должно быть более (не менее) 90 градусов. В последней (правой) точке границы (t=w) значение данного функционала для вогнутой границы должно быть менее (не более) 90 градусов. На основании этих принципиальных соображений в работе рас-
считываются 16 промежуточных величин, характеризующих признак вогнутости поперечных границ: для каждой из четырёх областей потенциальных границ nW0, nW1, nS0, nS1 используются величины a, b, aw+b и величина относительной среднеквадратиче-ской ошибки err е [0,1] представления (3). Соответствующая граница считалась вогнутой, если выполнялось условие:
(a < 0) л (b > 90) л (aw + b < 90) л (err < 0, l).
В качестве признака анализируемого объекта выступало количество вогнутых границ объекта Nne {0,1,2,3,4} .
3.2. Группа текстурных признаков
Признаки, характеризующие степень гладкости функции яркости объекта При выборе этих признаков учитывается тот факт, что окраска объекта обнаружения является монохромной, а также что конструктивно на изображении объекта, за исключением небольшого числа реальных границ, нет резких и частых изменений функции яркости. В этом случае для большинства точек внутри изображения объекта функция яркости оказывается «гладкой», следовательно ее значения в локальной окрестности не могут претерпевать быстрых существенных изменений. Как известно из ЦОС и ЦОИ [3], для таких функций статистические показатели корреляционной зависимости (нормированные коэффициенты корреляции) имеют очень высокое значение. Выбирая систему координат так, как показано на рис. 6, имеем два новых признака:
Pi> Р2,
рассчитываемых как нормированные коэффициенты корреляций [3] вдоль и поперек расположения объекта обнаружения. Заметим, что для объекта «идеальной» модели эти признаки принимают максимальное (единичное) значение.
Признаки, характеризующие пространственно-частотное представление изображения ЛТС Здесь учитывается тот факт, что окраска объекта обнаружения является монохромной, а также что конструктивно на изображении объекта, за исключением небольшого числа реальных границ, нет резких и частых изменений функции яркости. В этом случае функция яркости изображения ЛТС может с достаточной степенью точности быть представлена разложением по небольшому числу достаточно гладких (низкочастотных) функций. Данное утверждение с математической точки зрения может быть сформулировано следующим образом: основная энергия при спектральном представлении анализируемого изображения сконцентрирована в области низких частот.
В качестве средства анализа степени распределения энергии в частотной области в настоящей работе использован аппарат пространственно-частотного
анализа - ортогональное вейвлет-разложение и быстрый алгоритм С. Малла для вейвлетов Хаара [4]. Для удобства описания используем здесь дискретное представление функции яркости:
( w l Л i = 0, N. -1, fj = f liAi - -, ;д2 - -I, ^^
l 2 2) j = 0, N2 -1.
Предопределённые величины N. = 16, N2 = 32 -число отсчётов цифрового изображения, представляющего объект на прямоугольной области в локальной системе координат (т.,т2) ; шаги дискретизации:
w l
A. =--1, Д2 =--1.
1 N1 2 N2
В качестве показателя распределения энергии используется величина:
Nj-1 aN2-1
X X s2 (i)
e"=1 -i=0 Xf? ' ae[0'1]' j
где Cj (i) - коэффициенты разложения i-ого столбца матрицы ftj по базису Хаара. В силу равенства Пар-севаля [4] для ортонормированного базиса разложения функции f (•,j) справедливо равенство:
n2 -1 N2-1
X fj = X с2 (i).
j= 0 j = 0
В результате еа e [0,1]. Причём значение «1» характеризует ситуацию с максимальной ошибкой представления, а значение «0» - с минимальной (случай объекта «идеальной» модели). В качестве признаков выступают величины е1/4, е^2 .
3.3. Группа структурных признаков
Под структурными признаками изображения обычно понимают признаки, которые характеризуют взаимное расположение семантически-значимых частей объекта или функциональную взаимосвязь между ними [1-3]. В настоящей работе использованы четыре различных структурных признака, обоснование выбора которых будет дано ниже.
Признак, отражающий степень симметрии ЛТС
Одной из конструктивных особенностей объекта обнаружения, вызванных требованиями к его аэродинамическим характеристикам, конструктивной простоте и универсальности основных узлов, является свойство осевой симметрии ЛТС. Таким образом величина, которая характеризует степень асимметричности объекта по отношению к его предполагаемой главной оси симметрии, может быть использована в качестве признака в алгоритме обнаружения. В локальной системе координат (т1, т2) вели-
чину асимметричности можно определить следующим образом:
V 2 // 2
j j \f (ТР Т2 )-f (-Т1> Т2 )| d T1d Т2
sD =-
0 -l/2
"/2 -2
j j (| f (T1> T2 )|+| f (-T1. T2 )|) d T1d T2
^[0.1]-
0 -//2
При максимальном - единичном - значении введённого признака для идеально симметричного объекта данная величина принимает нулевое значение.
Признак, отражающий степень различия продольных сечений функции яркости ЛТС Конструктивной особенностью объекта обнаружения является свойство почти полного совпадения продольных сечений изображения ЛТС. Иллюстрация этого свойства приведена на рис. 7.
Рис. 7. Иллюстрация к свойству совпадения продольных сечений изображения ЛТС
Таким образом, числовая величина, которая характеризует степень рассогласования продольных сечений изображения ЛТС, сделанных вдоль его главной оси, может быть использована в качестве признака в алгоритме обнаружения. Численно такая величина может быть задана следующим образом:
w/ 2 // 2
| К / (Т1> Т2 )-5 (Т2 ))2 d ^ Т2
^ -2-е[0,1],
| | (/ (Т1> Т2 )) dT1dТ2
2 -//2
где
1 -2
S (Т2 )= - j f (Т1, Т2 ) dТ1
w/ 2
Для объекта «идеальной» модели с полностью совпадающими поперечными сечениями введённая величина оказывается нулевой.
Признак, характеризующий число поперечных границ В соответствии с ПДД и ГОСТ Р 51709—2001 для ЛТС (исключая спецтранспорт и специальные разрешения) используются одноцветные (монотонные) решения окраски. Кроме того, конструктивная спе-
цифика легкового ЛТС, а также указанные выше правила и ГОСТ обеспечивают отсутствие на корпусе ЛТС конструкций, которые существенным образом преобразуют вид ЛТС. С учётом указанных ограничений изображение ЛТС, полученное съёмкой с летательного аппарата, не может содержать число выраженных границ (перепадов яркости) существенно большее, чем принципиально возможное на ЛТС. В частности, как видно из рис. 8, при визировании вдоль оси ЛТС к физически обоснованным границам на изображении можно отнести: передний и задний край ЛТС, передний и задний край переднего/заднего стекла. Таким образом, число выраженных границ может служить характеристикой, которая может использоваться при принятии решения.
Рис. 8. Изображения ЛТС и его поперечных границ
Обнаружение поперечнных границ осуществляется непосредственно на основании анализа линии сечения по пикам значения модуля производной.
Число поперечных границу для объекта «идеальной» модели составляет Ы3 е {4,5,6}.
Признак, характеризующий отклонение объекта от «идеальной»модели
Введённые ранее признаки характеризуют особенности изменения тех или иных отдельных физических показателей (симметричность объекта, вогнутость границы, выраженность границы и т.д.). Причём способ предварительной обработки, методы построения и расчёта всех признаков были определены таким образом, чтобы:
- заранее ограничить область возможных значений признаков некоторой финитной областью определения. А именно: [0,1] - для непрерывных признаков, и некоторым интервалом натуральных чисел - для дискретных признаков;
- указать явно ту область значений признака, при которой можно утверждать о «похожести» объекта анализа на ЛТС и, наоборот, противоположную область, при которой можно говорить об «отсутствии похожести» объекта анализа на ЛТС. Например, для большинства признаков, рассчитываемых по дескрипторам границ, меньшая степень похожести (на границу) соответствовала меньшему значению признака. И наоборот, для признаков типа степени различия продольных сечений или степени асиммет-
ричности, меньшая степень похожести (на ЛТС) соответствовала большему значению признака.
Такой структурно-ориентированный способ построения признаков обеспечивает решение двух проблем. Во-первых, за счёт заложенной в признаки структурной информации он позволяет снизить размерность пространства Вапника-Червоненкиса [5], упростив тем самым процедуру настройки и обеспечив устойчивость поведения правила принятия решения. С другой стороны, позволяет ввести ещё одну характеристику, которая отражает интегральную степень уклонения рассчитанных по объекту признаков от их «наилучших» значений, то есть значений, которые соответствуют идеальному (с точки зрения решающего правила) соответствия объекту обнаружения - ЛТС. Такая гипотетическая модель объекта обнаружения, при которой значения признаков принимают свои «наилучшие» значения, в дальнейшем будет именоваться «идеальной» моделью. Вводимый в настоящем разделе признак характеризует, таким образом, среднюю величину уклонения анализируемого объекта (значений его рассчитанных признаков pi) от «идеальной» модели объекта обнаружения и рассчитывается по формуле:
1 V| ideal I
Pi - Pi| ,
Г I iel
где p'feaI - значение признака для объекта «идеальной» модели, I - множество индексов признаков с областью определения [0,1].
4. Проверка гипотезы
Проверка гипотезы Г^ ^ I w ф) о наличии в области n(t1, t2, I, w, ф) объекта осуществляется с использованием решающего списка. Для дискретных признаков (Nn, Ne ) элементарные правила задавались в виде: Nn г {3,4}; Ns г {4,5,6}. Для признаков с областью определения [0,1] - в виде:
„Jdeal „ . s
|Pi -P,\ >8,-. Выполнение конкретного правила списка приводит к отклонению гипотезы, а невыполнение - к переходу к следующему правилу проверки.
Настройка параметров S, производилась автоматически, перебором их значений начиная с нуля с шагом 0,05. Выбор конкретного значения соответствовал ситуации, при которой отсев объектов соответствующим правилом решающего списка не превышал 1% в обучающей выборке (20 цифровых снимков, на каждом из которых было расположено в среднем 35 объектов).
Результатом проверки гипотезы является её уровень достоверности, который определялся в соответствии с выражением:
pE, гипотеза была принята, 0, гипотеза была отклонена.
5. Определение местоположений транспортных средств - расстановка объектов Определение окончательного местоположения искомых объектов производится в два этапа. На первом этапе относительно каждого потенциального центра положения (,1;12) определяются наиболее
достоверные ориентация и размер потенциального объекта в соответствии с правилом:
, фс,'2 ))=argmax -*)) •
На втором этапе на основании значений поля достоверностей гипотез у(г(,1,,2,...)) определяются такие местоположения объектов, которые не образуют конкурирующих гипотез. Для этого используется алгоритм «последовательного присоединения»: к текущему набору найденных местоположений ЛТС добавляется новое местоположение
п* = п(*1> ¿2.{1Л). ). Ф(,.,2)). которое не создавая
пересечений с областями уже найденных объектов,
максимизирует величину достоверности у (Гп,). В
силу громоздкости формальной записи и очевидности предложенного алгоритма соответствующее математическое выражение не приводится.
Расстановка объектов производится до тех пор, пока существуют гипотезы с достоверностями выше экспериментально подобранного порога еу. Способ подбора порога аналогичен указанному в п. 4.
6. Экспериментальные исследования
Для оценки эффективности предложенного метода обнаружения ЛТС на цифровых изображениях ДЗЗ были проведены экспериментальные исследования. Метод тестировался на 30 изображениях городской застройки (разрешение снимков - 0,1 м), не входящих в состав обучающей выборки. Пример тестового изображения приведён на рис. 9а. Среднее число объектов, присутствующих на изображениях, - 35 штук. Пример работы предложенного метода приведён на рис. 9.
Полученные в результате эксперимента показатели качества обнаружения ЛТС: вероятность верного обнаружения - 95 %, число ложно обнаруженных объектов (в кадре) - 2,8.
Объект считался верно обнаруженным, если пересечение областей истинного и найденного объектов было не менее 70%.
Выводы и рекомендации
Предложенный метод на реальных снимках урбанизированной территории даёт верное обнаружение ЛТС с вероятностью 95% при незначительном (2-3) количестве ложно обнаруженных объектов.
Дальнейшее направление работ связано с ускорением метода и обеспечением его работоспособности для систем реального времени, в том числе - в распределённой инфотелекоммуникационной и вычислительной инфраструктуре, ориентированной на задачи хранения, поиска, обработки и анализа данных ДЗЗ в режиме коллективного доступа к данным и информационно-вычислительным ресурсам.
Рис. 9. Пример работы предложенного метода: а) тестовое изображение для обработки; б) результат обработки тестового изображения
Благодарности Работа выполнена при частичной финансовой поддержке грантов РФФИ, проекты 12-07-00021-а, 11 -07-12060-офи-м-2011, 11 -07-12062-офи-м-2011.
Литература
1. Forsyth, D.A. Computer Vision: A Modern Approach / D.A. Forsyth, J. Ponce. - New Jersey: Prentice Hall, 2002.
- 693 p.
2. Shapiro, L.G. Computer Vision / L.G.Shapiro, G.C.Stockman. - New Jersey: Prentice Hall, 2001. -608 p.
3. Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов, Н.Ю.Ильясова, В.В. Мясников [и др.], под общей редакцией В.А. Сойфера. - 2-е изд., испр. - М.: Физматлит, 2003.
- 784 с.
4. Mallat, S. A Wavelet Tour of Signal Processing / S. Mallat. - New York: Academic Press, 1999. - 620 p.
5. Vapnik, V.N. Statistical Learning Theory / V.N. Vapnik. - New York: Wiley-Interscience, 1998. - 736 p.
References
1. Forsyth, D.A. Computer Vision: A Modern Approach / D.A. Forsyth, J. Ponce. - New Jersey: Prentice Hall, 2002. - 693 p.
2. Shapiro, L.G. Computer Vision / L.G.Shapiro, G.C.Stockman. - New Jersey: Prentice Hall, 2001. - 608 p.
3. Methods of computer image processing. Part II: Methods and algorithm;, Ed. V.A. Soifer. - Moskow. Fizmatlid, -2009. - 784 p. - (in Russian)
4. Mallat, S. A Wavelet Tour of Signal Processing / S. Mallat. - New York: Academic Press, 1999. - 620 p.
5. Vapnik, V.N. Statistical Learning Theory / V.N. Vapnik, // - New York: Wiley-Interscience, 1998. - 736 p.
METHOD FOR DETECTION OF VEHICLES IN DIGITAL AERIAL AND SPACE REMOTE SENSED IMAGES
V. V. Myasnikov Image Processing Systems Institute of the RAS
Abstract
In this paper we propose a method for automatic detection of the location of automobiles in the aerial images and images of advanced space-based Earth remote sensing means (ERS). The proposed method uses various groups of features (geometric, textural, structural) for a description of objects depicted in the images and their preliminary analysis, as well as solving list as an algorithm of testing of hypothesis of the presence of an object. The final positioning of objects in the image is performed with the original consecutive procedure. The proposed method on real urban area photographs provides a high quality score of vehicles correct detection with a slight (a few) number of falsely detected objects.
Key words: images, Earth remote sensing, vehicle, detection.
Сведения об авторе
Мясников Владислав Валерьевич, 1971 года рождения. В 1994 году окончил Самарский государственный аэрокосмический университет (СГАУ). В 1995 году поступил в аспирантуру СГАУ, в 1998 году защитил диссертацию на соискание степени кандидата технических наук, а в 2008 - диссертацию на соискание степени доктора физико-математических наук. В настоящее время работает ведущим научным сотрудником в Учреждении Российской академии наук Институт систем обработки изображений РАН и одновременно доцентом кафедры геоинформатики и информационной безопасности СГАУ. Круг научных интересов включает цифровую обработку сигналов и изображений, геоинформатику, нейронные сети, компьютерное зрение, распознавание образов и искусственный интеллект. Имеет около 100 публикаций, в том числе 40 статей и две монографии (в соавторстве). Член Российской ассоциации распознавания образов и анализа изображений. E-mail: vmyas@smr.ru . http://www.ipsi.smr.ru/staff/MyasVV.htm
Vladislav Valerievich Myasnikov (1971 b.), graduated (1994) from the S.P. Korolyov Samara State Aerospace University (SSAU). He received his PhD in Technical sciences (2002) and DrSc degree in Physics & Maths (2008). At present he is a leading researcher at the Image Processing Systems Institute of the Russian Academy of Sciences, and ), holding a parttime position of Associate Professor at SSAU's Geoinformatics and Information Security sub-department. The area of interests includes digital signals and image processing, geoinformatics, neural networks, computer vision, pattern recognition and artificial intelligence. He's list of publications contains about 100 scientific papers, including 40 articles and 2 monographs. He is a member of Russian Association of Pattern Recognition and Image Analysis.
Поступила в редакцию 9 июня 2012 г.
йк
