CC BY
222
УДК 681.5
СИСТЕМА АВТОМАТИЧЕСКОГО РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ МАШИН НА КАДРАХ ВИДЕОПОТОКА А.И. Потапенко, аспирант, НТУ «ХПИ»
Аннотация. Рассмотрена реализация датчика транспорта на основе системы распознавания и сопровождения объектов на кадрах видеопоследовательности. Используются методы усиления слабых классификаторов и слежения за характерными особенностями.
Ключевые слова: датчик транспорта, распознавание объектов, сопровождение, каскад классификаторов.
СИСТЕМА АВТОМАТИЧНОГО РОЗПІЗНАВАННЯ ЗОБРАЖЕНЬ МАШИН НА КАДРАХ ВІДЕОПОТОКУ А.І. Потапенко, аспірант, НТУ «ХПІ»
Анотація. Розглянуто реалізацію датчика транспорту на основі системи розпізнавання та супроводу об’єктів на кадрах відеопослідовності. Використано методи підсилення слабких класифікаторів та стеження за характерними особливостями.
Ключеві слова: датчик транспорту, розпізнавання об ’єктів, супровід, каскад класифікаторів.
SYSTEM OF AUTOMATED RECOGNITION OF VEHICLES IMAGES ON VIDEO STREAM FRAMES A. Potapenko, postgraduate, NTU «KPI»
Abstract. The implementation of transport detector based on the system of object detection and tracking in video frames sequence is considered. Methods of boosting of weak classifiers and key features tracking are used.
Key words: transport detector, objects recognition, tracking, classifiers cascade.
Введение
Системы адаптивного управления дорожным движением, фиксации нарушений и сбора статистики нуждаются в информации о наличии и параметрах движения транспортных средств в контролируемой зоне. Такую информацию могут предоставить различные типы датчиков, имеющие свои преимущества и недостатки. Датчики на основе индуктивных петель весьма точны и дешевы, но сложны в установке и обслуживании, а их высокие требования к качеству дорожного покрытия делают их малоприменимыми в
отечественных условиях. Ультразвуковые датчики имеют малую дальность и низкую точность, инфракрасные датчики имеют малую устойчивость к помехам, системы на основе лазеров и радаров слишком дороги. Оптимальным решением по соотношению цена-качество становятся видеодатчики оптического диапазона. Их ключевым элементом является подсистема обнаружения и сопровождения изображений машин. Проблема распознавания, легко решаемая человеческим зрением, вызывает сложности как алгоритмического, так и реализационного характера для компьютерных систем.
Анализ публикаций
В литературе описаны различные методы, позволяющие выделять и сопровождать объекты в кадрах видеопотока. Наибольшее распространение получили методы выделения движения в кадре с помощью вычисления межкадровой разности [1]. Достоинствами данных методов является исключительная простота реализации и высокая производительность. В то же время существует ряд проблем, которые делают эти методы малоприменимыми на практике. При обработке видеопотока приходится преодолевать такие трудности как динамический задний план, колебания освещения, движущиеся тени, шум камеры [2]. Перечисленные проблемы могут быть решены более сложными методами выделения движения на основе вероятностных моделей заднего плана [3]. Ценой более низкой чувствительности к вышеперечисленным факторам является большая ресурсоемкость. Кроме того, неточное выделение объекта может негативно повлиять на работу алгоритмов классификации объектов.
Необходим интеллектуальный метод, позволяющий с высокой точностью выделять изображения именно необходимых классов объектов, таких как изображения транспортных средств в данном случае. Для этого используются различные методы распознавания, в т.ч. на основе сравнения с шаблонами, анализа контуров, анализа принципиальных компонент и другие [4]. В последнее время широкое распространение получили методы на основе машинного обучения по прецедентам (байесовские, нейронные сети, метод опорных векторов). Такие методы на основе тренировочной выборки положительных и отрицательных образцов формируют автоматические классификаторы. По результатам сравнения своей точностью выделяется метод усиления слабых классификаторов [5]. Его эффективность можно объяснить тем, что, несмотря на высокую размерность вектора признаков, используемых для классификации участка изображения, количество реально значимых компонент в нём невелико. В предположении о наличии шума на изображении либо вариаций в изображении объекта «разреженный» метод имеет преимущество, так как наиболее зашумлённые компоненты вектора признаков будут иметь нулевой вес и не будут влиять на решение.
Для анализа межкадровых процессов в видеопотоке используются методы на основе слежения за особенностями (особыми точками) для определения траектории наблюдаемых объектов, для вычисления структуры наблюдаемой динамической сцены, выделения отдельных движений и движущихся объектов.
Наиболее популярные современные алгоритмы слежения за особенностями рассмотрены в [6]. Задача слежения за особенностями без учета аффинных искажений является поиском величины оптического потока в наборе точек. Для слежения за движущимися объектами наибольшую эффективность показывает метод Лукаса-Канаде.
Цель и постановка задачи
Система обнаружения транспортных средств в видеопотоке должна надежно обнаруживать движущиеся и статичные объекты, определять их тип, фиксировать траекторию движения объектов в кадре, и все это - в условиях воздействия различных помех. Как видно, простые методы на основе выделения движения не достаточно устойчивы к колебаниям положения камеры и освещения, а также не могут обнаруживать неподвижные объекты. Алгоритмы обнаружения объектов при своей точности плохо подходят для задач сопровождения объекта между кадрами. Алгоритмы сопровождения характерных точек требуют информации о начальном положении объекта в кадре для своей инициализации. Целью данного исследования является создание алгоритма, объединяющего сильные стороны известных методов и позволяющего взаимно компенсировать их слабые стороны, а также определение оптимальных условий применения этих методов.
Предложенный подход
Рассмотрим требования к искомому алгоритму. Для каждого нового кадра сначала необходимо определить, не появились ли новые либо ранее не распознанные объекты. Для поиска изображений машин был обучен каскад, который состоит из 19 ступеней, каждая ступень - комитет простых классификаторов, построенный алгоритмом усиления слабых классификаторов [6]. Решение о том, что вектор признаков относится к классу объекта, принимается, только если все
ступени каскада это последовательно подтвердили, иначе вектор признаков классифицируется не как искомый объект. Каскад обучался на изображениях передней части (фары, радиаторная решетка, бампер, номера); при этом за счет отсутствия на тренировочных образцах участков фона и более точного задания искомой области он показал очень высокие результаты по точности работы, несмотря на различия в цвете, моделях и типе транспортных средств. Результаты применения каскада представлены на рис. 1.
Рис. 1. Поиск объектов
Для предотвращения повторного обнаружения уже найденных и сопровождаемых машин перед применением классификатора на кадре закрываются изображения уже известных машин. Для каждой сопровождаемой машины определяется прямоугольник, описывающий все соответствующие ей характерные точки, затем этот прямоугольник закрашивается на кадре - соответствующим точкам присваивается нулевое значение.
К каждой из областей, где обнаружены новые объекты, применяется процедура поиска характерных точек. Если удается выделить достаточное для наблюдения количество точек, они сохраняются как новая отслеживаемая машина. В каждом последующем кадре для каждой найденной машины вычисляется новое положение точек по методу Лукаса-Канаде. При этом для каждого нового положения точек вычисляется вектор среднего смещения всех точек данной машины, затем отсеиваются те точки, смещение которых существенно превышает среднее - таким образом убираются погрешности алгоритма слежения. Порог отсева вычисляется пропорционально положению точки в кадре для учета перспективы сцены. При количестве точек после отсева менее 10 применяется
процедура поиска характерных точек для области, соответствующей прямоугольнику, описывающему оставшиеся характерные точки с некоторым допуском. Если же количество оставшихся точек менее 5, объект удаляется. Кроме того, удаляются объекты, достигшие пределов кадра.
Для работы ночью используется пороговая бинаризация изображения с очень высоким значением порога, позволяющая выделить наиболее яркие участки, которые соответствуют свету передних фар. Машины выделяются отдельным, «ночным», классификатором. Слежение за характерными точками возможно только в случае использования камер с высокой чувствительностью; для обычных же камер низкая контрастность и сильные шумы делают этот подход неприменимым. Вместо этого, для нахождения следующего положения отслеживаемой машины в следующем кадре применяется классификатор для окна, соответствующего текущему положению и плюс максимально допустимое смещение от движения. Этот метод уступает по точности, но позволяет работать на оборудовании с низкой чувствительностью.
Результаты исследований
Для реализации классификатора были использованы стандартные средства библиотеки ОрепСУ [7]. Были подготовлены положительные образцы, т.е. изображения фронтальной части машин, на которых происходит обучение класссификатора.
Используемый алгоритм сопровождения объектов значительно менее чувствителен к пропуску объектов, нежели к ложному срабатыванию. Поэтому можно применять классификатор с жесткими критериями положительных срабатываний. В итоге даже для низкокачественных изображений, получаемых с простой камеры видеонаблюдения, доля ложных срабатываний не превышает 1-2 %. В среднем машины обнаруживаются на расстоянии не более 3-4 корпусов от начала кадра, далее ведется сопровождение по характерным точкам. После обнаружения для каждой машины вычисляется до 50 характерных точек для сопровождения, в среднем - 25-35 точек. Средний пробег сопровождаемой точки до её удаления, вследствие достижения конца кадра либо превышения предела допустимого отклонения, составляет
75-85 кадров, что достаточно для беспрерывного сопровождения. Алгоритм позволяет вести сопровождение по сложной траектории, с остановками и поворотами. Пример работы алгоритма приведен на рис. 2.
Рис. 2. Траектории машин
Реализована система подсчета машин с «виртуальной петлей», т.е. зоной кадра, пересечение с которой фиксирует счетчик. Технология позволяет реализовывать несколько таких зон, с учетом и без учета направления пересечения. Кроме того, определяется траектория движения каждого из обнаруженных объектов в кадре, что позволяет более точно подсчитывать интенсивность потока по каждой из полос движения, выделять поворачивающие машины, а в перспективе - предоставлять необходимую информацию для систем автоматической видеофиксации нарушения.
Быстродействие системы зависит от размеров кадра и числа сопровождаемых машин. Поле применения детектора объектов ограничивается полосой движения. Таким образом, при отсутствии уже найденных машин быстродействие системы составляет 25-30 кадров/с для окна обнаружения 570 на 200 пикселей. При сопровождении 5-6 машин производительность падает до 3-5 кадров/с. На данном этапе систему можно рекомендовать для обработки уже записанного видео.
Выводы
Реализована система компьютерного зрения с автоматическим поиском и сопровождением объектов применительно к задаче анализа транспортного потока. Система отличается
высокой точностью и надежностью работы. Перспективным направлением исследований является реализация системы на микропроцессорной технике вместе с оптимизацией алгоритма, что должно позволить производить обработку видеоданных непосредственно на объекте с автоматической передачей статистики в центр управления движением.
Литература
1. Ferryman J. Visual Surveillance for Moving
Vehicles / J. Ferryman, S. Maybank and A. Worrall// International Journal of Computer Vision. - 2000. - 37(2). - P. 187-197.
2. Конушин А. Слежение за точечными осо-
бенностями сцены / А. Конушин // Компьютерная графика и мультимедиа. -2003.- Вып. №1(5). - Режим доступа: http: //cgm .computergraphics.ru/content/vie w/54.
3. KaewTraKulPong P. An Improved Adaptive
Background Mixture Model for Realtime Tracking with Shadow Detection / P. KaewTraKulPong and R. Bowden. -Режим доступа: http://www.ee.surrey.
ac .uk/CV S SP/Publications/papers/KaewT r aKulPong-AVBS01.pdf.
4. Amit Y. 2D object detection and recognition:
models, algorithms, and networks / Y. Amit. - Cambridge: The MIT Press, 2002. - 325 p.
5. Вежневец А.П. Методы классификации с
обучением по прецедентам в задаче распознавания объектов на изображениях / А.П. Вежневец. - 2006. Режим доступа: http://www.graphicon.ru/2006/fr10_34_Ve zhnevetsA.pdf.
6. Viola P. Rapid Object Detection using a
Boosted Cascade of Simple Features / P. Viola, M.J. Jones. // IEEE CVPR. - 2001. - Режим доступа: http:// ieeexplore.ieee. org/stamp/stamp.j sp?tp=&arnumber=990916
7. Bradski G. Learning OpenCV / G. Bradski,
A. Kaehler. - Sebastopol: O’Reilly Media, 2008. - 577 p.
Рецензент: Л.С. Абрамова, доцент, к.т.н., ХНАДУ.
Статья поступила в редакцию 17 марта 2013 г.
