CC BY
134
УДК 004.932
МОДЕЛИРОВАНИЕ ПРОЦЕССА ВЫДЕЛЕНИЯ И КЛАССИФИКАЦИИ ИЗОБРАЖЕНИЙ ДЛЯ СИСТЕМ АВТОМАТИЧЕСКОГО СОПРОВОЖДЕНИЯ ДВИЖУЩИХСЯ ВОЗДУШНЫХ ОБЪЕКТОВ
И.О.Титов, Г.М.Емельянов
Институт электронных и информационных систем НовГУ, [email protected]
Рассматривается многоэтапный алгоритм выделения, сопровождения и оценки параметров движущегося воздушного объекта для автоматизированных систем технического зрения, работающих в режиме реального времени.
Ключевые слова: классификация, локализация, распознавание, сегментация
This article describes the multistep algorithm of the separation, tracking and estimations of the moving air object parameters for automatic systems of the artificial vision which working in real-time mode.
Keywords: classification, localization, recognition, segmentation
Введение
Одной из задач цифровой обработки изображений является задача классификации, распознавания и анализа движущихся объектов в системах технического зрения.
Технологии автоматического выделения и оценки параметров воздушных объектов является важной задачей для таких приложений, как задачи обеспечения безопасности аэропортов и важных промышленных предприятий, контроль и мониторинг воздушного движения, астронавигация, системы анализа потока машин на автомагистрали и т.д.
В настоящее время разработано множество алгоритмов выделения и оценки параметров объектов. Однако известные подходы зачастую обладают большой вычислительной сложностью и не в полной мере учитывают специфику рассматриваемой задачи и особенности применяемых на практике датчиков изображений. Таким образом, разработка эффективных алгоритмов выделения, обнаружения и оценки параметров для систем автоматического сопровождения воздушных объектов до настоящего времени остается весьма актуальной задачей.
Для решения поставленной задачи предлагаться использовать многоэтапный алгоритм сегментирования, сопровождения, выделения и оценки параметров и классификации объекта. Алгоритмы ориентированны на их применение в системах реального времени.
Сегментация
Сегментация является одним из наиболее важных этапов обработки и распознавания изображений, цель которого состоит в выделении на изображениях связных областей с примерно одинаковыми характеристиками яркости. Качество сегментации во многом определяет успех решения задачи распознавания изображений, интерпретации и идентификации визуально наблюдаемых объектов.
Существующие решения не дают качественного результата, в первую очередь из-за их вычислительной сложности. Предлагается использовать новый подход.
В рамках сегментации необходимо решить следующую задачу: обрабатывая последовательность изображений из одного видеопотока, получить маску движущихся объектов, в которой черный соответствует заднему плану, а белый — переднему плану. Алгоритм должен быть устойчив к движущимся теням, изменению освещения, динамическому заднему плану, наличию шума на изображении, к совпадению в одном видеопотоке цвета переднепланового объекта с цветом заднего плана. Кроме того он должен работать в реальном масштабе времени. Все эти ограничения приводят к тому, что методы с неадаптивным порогом практически неприемлемы для решения поставленной задачи, и необходимо использовать алгоритмы, основанные на вероятностных моделях [1,2].
С камеры поступают полутоновые изображения. Каждый пиксель заднего плана будет моделиро-
ваться с помощью одномерной нормально распределенной случайной величины
Б = N (х,д,82).
Оценку параметров модели проводим на основе первых п кадров, когда на изображении зафиксирован только задний план. Для каждого пикселя алгоритм производит оценку параметров модели > и 52, используя аппарат математической статистики, а потом, после того как обучение закончено, попиксельно использует вероятностный порог для того, чтобы определить, принадлежит ли значение пикселя заднему плану или переднему.
п
Н •
I =1
82=пт •!(х - >)2,
1=1
где XI, — значение пикселя по первым п кадрам.
Алгоритм создает попиксельную модель сцены, используя смесь нормальных распределений, и с поступлением каждого нового кадра обновляет модель и классифицирует каждый пиксель как принадлежащий к заднему или переднему плану. Каждый пиксель сцены представляет собой набор процессов, каждый из которых характеризуется параметрами нормального распределения и некоторым коэффициентом, называемым весом и являющимся показателем того, насколько часто данный процесс в данном пикселе попадал в поле зрения камеры.
Рис.1. Пример сегментации воздушного объекта
Алгоритм способен адаптироваться к изменениям заднего плана, так как через некоторое время после изменения вес созданного при изменении процесса превысит порог, и он начнет сегментироваться в задний план.
К медленным изменениям освещения алгоритм способен адаптироваться благодаря системе оценки параметров, так как по мере плавного изменения цвета пикселей заднего плана алгоритм будет переобучаться на новые значения. К быстрым изменениям освещения алгоритм адаптируется так же, как он адаптируется к изменениям заднего плана.
Для снижения объема обрабатываемой информации можно уменьшить объем исходных данных путем уменьшения размеров изображения. Для этого будем использовать пирамиду Гаусса. При пирамидальном подходе от уровня к уровню резко уменьшается объем информации на изображении с сохранением его глобальной структуры, что позволяет получать предварительные результаты обработки по малому объему
информации на верхних уровнях пирамиды [2]. Благодаря использованию сглаживающих функций при построении пирамиды удается эффективно бороться с различного рода шумами и, следовательно, повышать помехоустойчивость алгоритмов обработки.
Контурный анализ
Для классификации и распознавания объектов необходимо формирование вектора уникальных признаков. Он формируется на основе контурных характеристик объекта.
Контуры являются областями с высокой концентрацией информации, слабо зависящей от цвета и яркости. Они устойчивы к смене типа датчика, формирующего изображение, к частотному диапазону, в котором он работает, не зависят от времени суток и года. Контур целиком определяет форму изображения и содержит всю необходимую информацию для распознавания изображений по их формам.
Такой подход позволяет не рассматривать внутренние точки изображения и тем самым значительно сократить объем обрабатываемой информации за счет перехода от анализа функции двух переменных к функции одной переменной. Следствием этого является возможность обеспечения работы системы обработки в масштабе времени, более близком к реальному.
Методы контурного анализа в большей степени, чем пространственные, дают возможность использовать модели, инвариантные к случайным переносам, поворотам и изменениям масштаба [3].
Для построения контура объекта из сегементи-рованной области будем применять детектор границ Canny. Данный метод обладает такими важными особенностями, как хорошее обнаружение, правильное определение положения границы, единственный отклик на одну границу [4-6].
Алгоритм детектора границ Canny не ограничивается вычислением градиента сглаженного изображения. В контуре границы оставляются только точки максимума градиента изображения. Здесь используется информация о направлении границы для того, чтобы удалять точки именно рядом с границей и не разрывать саму границу вблизи локальных максимумов градиента. Если в контуре имеются разрывы, то для их устранения к полученному бинарному изображению можно применить операции математической морфологии. (О выделении границ объекта методом Canny см. нашу работу [7]).
В результате формируется замкнутый контур, состоящий из множества точек y(xn,yn), n = 0,1,.. .,k - 1, K = {Y(Xn,yn)}o,k-i = {Y(xo,yo), Y(xi,yi,....Y(Xk-i,yk-i))}.
Формирование признаков
В результате контурного анализа из сегментированного фрагмента изображения получаем контур воздушного объекта. Следующий шаг состоит в задаче идентификации объекта, т. е. его распознавании. Результатом распознавания является набор характеристик, необходимых для реализации отображения: объект — номер класса.
Первый этап в системе распознавания образов — это формирование признаков объекта, которые его
уникально идентифицируют. Основное требование при этом — эффективность процесса распознавания. Т. е. должен существовать алгоритм расчета признаков, и этот алгоритм должен быть вычислительно эффективен. Это требование достаточно типично для систем распознавания в реальном времени.
Эффективность распознавания накладывает определенные требования на значения признаков. А именно, для объектов различных классов значения признаков должны отличаться сильнее, чем для объектов одного класса. Это требование также интерпретируется как требование компактности описания класса в пространстве признаков.
Требование эффективности распознавания приводит к необходимости удовлетворения требованиям устойчивости описания образа к ряду возможных искажений объекта. На практике изменение изображения объекта влечет за собой изменение его образа в пространстве признаков, что в общем случае влияет на результаты классификации, а следовательно, и на эффективность системы в целом. Отсюда вытекает требование инвариантности объекта, в общем случае, к шумовым и динамическим искажениям, к яркостным искажениям, к изменению местоположения объекта, к изменению его масштаба, к повороту объекта в плоскости изображения, к произвольным аффинным преобразованиям.
Для задачи распознавания контурного движущегося объекта нет необходимости рассчитывать характеристики, инвариантные к шумовым и динамическим искажениям, изменению яркости и контрастности. Достаточно остановится лишь на геометрических признаках объекта [3].
Для решения поставленной задачи используем метод, основанный на анализе моментов. Он используется на «поточечных» или растровых изображениях и позволяет рассчитывать характеристики, инвариантные к любым геометрическим искажениям. Метод очень ресурсоемкий, но если его применить к контурному изображению, то можно сократить вычислительную сложность в несколько раз.
На базе моментных инвариантов формируются признаки, устойчивые к преобразованиям подобия.
Использование моментов второго и третьего порядков позволяет получить следующий набор из семи инвариантных моментов [4,8,9]:
Фт = П20 + П02;
Ф 2 = (П 20 - П02)2 + 4П12т;
Фз = (Пзо - 3Пт2)2 + (3П21 - Поз)2;
Ф 4 = (П30 + Пт2)2 + (П21 - П03)2;
Ф5 = (П30 - 3П12)(Пз0 + П12)[(Пз0 + Пт2)2 - 1(П21 + Поз)2] + + (3П21 - П03)(П21 + По3)[0(Поо + Пт2)2 - (П21 + Поз)2];
Фб = (П20 - П02)[(Пз0 + Пт2)2 - (П21 + Поз)2] +
+ 4П11(Пзо + П12)(П21 + Поз);
Ф7 = (Пзо -3П12)(Пзо + П12)[(Пзо + П12)2 -1(П21 + Поз)2] + + (3П21 - По3)(П21 + Поз )[3(Пзо + П12)2 - (П 21 + Поз)2].
+ 1, р + q = ° 3, ..., > рч —
о > рч / р+q
Здесь прд =— (Т= ^у±
>оо
центральные моменты).
С использованием моментов второго и третьего порядков получается набор из четырех аффинных моментных инвариантов [6,8,9].
*1 = “;р(>2о>о2 - >11);
>оо
*2 = (>зо>03 - 6>3о>21>12>о3 + 4>3С>12 +
>оо
+ 4>оз>11-
г'з = 1 (> 2о (>21 > оз - Н-^ - >11(>зо>о3 - >21>12) +
>оо
+ >о2(>1о>12 - >21))’
*4 = ~тF(>00>01 - 6>2о>11>12>о1 - 6>2о>о2>21>о1 +
>оо
+ 6>2о>11>о2>1о>о1 - 18>2о>11>о2>21>12 +
+ 9>2о>о2>12 + 12>2о>11>21>о1 -
- 8>11>зо>1о - 6>2о>02>1о>12 +
+ 9>2о>22>21 + 12>П>о2>1о>12 -
- 6>11>о2>1о>21 + >02>3о)'
Рис.2. Исходное изображение Рис.3. Уменьшенное в два
раза
Рис.4. Повернутое на 45
Рис.5. Уменьшенное в два раза и повернутое на 45°
Рис.6. Перспективное искаже- Рис.7. Перспективное искаже- Рис.8. Другой контур объекта с Рис.9. Ложный контур
ние 1 ние 2 той же видеопоследовательности
Значения инвариантных признаков для исходного изображения
Инвариант Рис.2 Рис.З Рис.4 Рис.5 Рис.б Рис.7 Рис.8 Рис.9
Фі -1,30б -1,279 -1,317 -1,305 -1,248 -1,132 -1,5б4 -1,774
Ф2 -3,3б3 -3,221 -3,388 -3,283 -3,045 -2,б78 -4,552 -8,8б4
Фз -б,902 -б,884 -б,940 -7,003 -7,877 -7,187 -7,318 -13,172
Ф4 -11,337 -10,794 -11,309 -10,834 -9,774 -8,009 -12,350 -14,8б3
Ф 5 20,471 19,б92 20,434 19,85б -18,б33 -15,б38 -22,184 28,93б
Фб 13,024 12,498 13,027 12,б07 -11,4б3 -9,3б7 -14,840 -20,511
Ф7 -22,243 20,727 -27,321 20,595 -19,981 -17,011 2б,б12 -30,010
i1 -4,б39 -4,б71 -4,б59 -4,709 -4,744 -4,731 -4,790 -4,939
i1 18,049 18,081 18,131 18,333 20,б43 21,б81 18,831 -30,718
i1 11,171 11,222 11,229 11,380 12,34б 12,339 11,723 17,915
i1 -13,б0б -13,701 -13,б91 -13,908 -14,797 -14,757 -14,373 -20,575
Заключение
В результате программной реализации алгоритмов сегментации, слежения, контуризации и оценки параметров объекта проведен анализ вычислительной сложности предложенных алгоритмов классификации воздушного объекта. Он показывает, что алгоритмы работают приближенно к реальному масштабу времени, что позволяет использовать методику в реальных системах слежения.
В работе исследовалась возможность классификации движущегося воздушного объекта по средствам слежения камерой оптического диапазона в составе стенда теодолита, эффективность классификации таких объектов, как самолет Су-27, вертолет Ми-8, а также ракета, выпущенная с реактивной установки «Град».
В целом результаты проведенных экспериментов свидетельствуют о целесообразности использования разработанных алгоритмов в составе систем автоматического слежения и классификации движущихся воздушных объектов.
1. Гаганов В., Конушин А. Сегментация движущихся объектов в видеопотоке // Компьютерная графика и мультимедиа. 2оо4. №1. СЛб-24.
2. Плесков А.В., Писаревский В.Н. Эффективный алгоритм сегментации изображений на основе пирамиды Гаусса — http://iai.dn.ua/public/JoumalAI_2000_2/2/4T8-421_PLESKOT.pdf
1. Рейер И. Сравнение формы объектов с использованием морфинга контуров границы / Вычислительный центр РАН
— http://www.graphicon.ru/2000/2D%20GRAPHICS/Reyer.pdf
4. Гонсалес Р., Вудс Р. Цифровая обработка информации. М.: Техносфера, 2005. С.957-961.
5. Яне Б. Цифровая обработка информации. М.: Техносфера, 2007. С.515-517.
6. Методы компьютерной обработки изображений / Под ред. В.А.Сойфера. М.: Физматлит, 2003. С.601-634.
7. Титов И.О., Емельянов Г.М. Выделение контуров изображения движущегося объекта // Вестник НовГУ. Сер.: Техн. науки. 2010. №55. С.30.
8. Heikkil Janne. Pattern matching with affine moment descriptors // Elsevier Science. March 2004. №3. Р.23-50.
9. Voss K., Suesse H., Braeuer Ch. Affine Point Pattern Matching
— http://www.inf-cv.uni-jena.de/uploads/media/dagm_2001.pdf
Bibliography (Translitirated)
1. Gaganov V., Konushin A. Segmentacija dvizhushhikhsja ob"ektov v videopotoke // Komp'juternaja grafika i multimedia. 2004. №3. S.16-24.
2. Pleskov A.V., Pisarevskijj V.N. Ehffektivnyjj algoritm seg-mentacii izobrazhenijj na osnove piramidy Gaussa — http://iai.dn.ua/public/JournalAI_2000_2/2/418-423_PLESK01.pdf
3. Rejjer I. Sravnenie formy ob"ektov s ispol'zovaniem mor-finga konturov granicy / Vychislitel'nyjj centr RAN — http://www.graphicon.ru/2000/2D%20GRAPHICS/Reyer.pdf
4. Gonsales R., Vuds R. Cifrovaja obrabotka informacii. M.: Tekhnosfera, 2005. S.957-961.
5. Jane B. Cifrovaja obrabotka informacii. M.: Tekhnosfera, 2007. S.515-517.
6. Metody komp'juternojj obrabotki izobrazhenijj / Pod red. V.A.Sojjfera. M.: Fizmatlit, 2003. S.601-634.
7. Titov I.O., Emel'janov G.M. Vydelenie konturov izobraz-henija dvizhushhegosja ob"ekta // Vestnik NovGU. Ser.: Tekhn. nauki. 2010. №55. S.30.
8. Heikkil Janne. Pattern matching with affine moment descriptors // Elsevier Science. March 2004. №3. R.23-50.
9. Voss K., Suesse H., Braeuer Ch. Affine Point Pattern Matching
— http://www.inf-cv.uni-jena.de/uploads/media/dagm_2001.pdf
