CC BY
146
НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н.Э. ЬАУМЛНЛ
НАУКА и ОБРАЗОВАНИЕ
Эл JVa ФС 77 - 48211. Государственная регистрация №(I4212Ü0025. ISSN 1994-0408
электронный научно-технический журнал
Определение марки автомобиля по видеокадру с использованием
модифицированного алгоритма Виолы-Джонса.
# 06, июнь 2012
Б01: 10.7463/0612.0434600
Копылов И. Е., Тассов К. Л.
УДК 004.93
Россия, МГТУ им. Н.Э. Баумана FramePS2@yandex.ru
Введение
Современные системы автоматической идентификации транспортных средств (ТС) опираются на государственный регистрационный знак (ГРЗ). Но в условиях недостаточной освещенности контролируемой зоны, при наличии загрязнённых или поврежденных ГРЗ достоверность их распознавания сильно снижается. В этом случае для повышения точности идентификации ТС необходимо использовать дополнительную информацию. Одним из возможных параметров идентификации транспортного средства является его марка.
Ранее в работах [1] и [2] уже предпринимались попытки выполнять определение марки ТС на основе эмблемы, однако во всех этих работах предполагалось наличие фотографий высокого разрешения, что сужает область их применимости.
Статья организована следующим образом: в разделе 1 описывается постановка задачи; в разделе 2 представлено подробное описание методики определения марки ТС по эмблеме; в разделе 3 приводятся результаты оценки качества методики.
1. Постановка задачи
Целью работы была разработка методики определения марки автомобиля по фотографии на основе эмблемы транспортного средства. При этом была поставлена задача анализа существующих алгоритмов обнаружения и классификации объектов, а также задача создания приложения, реализующего методику распознавания марки ТС.
В результате в качестве алгоритма для обнаружения и распознавания эмблемы был выбран метод Виолы-Джонса [3], т.к. он обеспечивает необходимые скорость и качество обработки изображений.
В рамках работы метод Виолы-Джонса использовался в варианте, представленном в оригинальной статье [3], а также в статье Оле Дженсена [4]. При обучении использовался метод АёаВооБ1 в варианте, представленном Виолой и Джонсом.
2. Описание методики
Алгоритм Виолы-Джонса предназначен для обнаружения на изображении объектов определённого класса. Например, изначально он разрабатывался для обнаружения лиц. Эмблемы автомобилей различных марок, как правило, сильно отличаются друг от друга, поэтому их нельзя объединить в один класс объектов и, соответственно, выполнять их обнаружение за один проход.
Выходом из данной ситуации является использование различных эмблем в качестве отдельных классов. Такой подход позволяет одновременно решать и задачу обнаружения, и задачу классификации эмблем. Но он также имеет и недостаток, связанный с необходимостью отдельно запускать алгоритм Виолы-Джонса для каждой из марок, что при большом количестве анализируемых марок приведёт к увеличению времени обработки одного изображения.
Если при обработке одного изображения сработал классификатор только одной из эмблем, то очевидно, что на фотографии присутствует автомобиль соответствующей марки. При срабатывании же нескольких классификаторов требуется некоторым образом выбрать наиболее вероятную марку.
В результате работы алгоритма Виолы-Джонса получается набор областей (окон) на изображении, где предположительно находится искомый объект. При этом срабатывания для реального объекта, как правило, происходят в нескольких соседних окнах, покрывающих его. Поэтому в качестве критерия достоверности можно использовать количество соседних перекрывающихся окон. Следует отметить, что это значение очень часто применяется для исключения ложных срабатываний алгоритма Виолы-Джонса.
Положим, что для требуемых эмблем были построены соответствующие классификаторы. Тогда общая методика определения марки автотранспортного средства на фотографии с помощью алгоритма Виолы-Джонса выглядит следующим образом.
а) Запустить для текущего изображения алгоритм Виолы-Джонса с каждым из классификаторов в отдельности.
б) Провести фильтрацию результатов для каждого классификатора. При этом срабатывания в соседних окнах должны быть сгруппированы и исключены все срабатывания с малым количеством окон в группе (< 4).
10.7463/0612.0434600
206
в) Упорядочить все группы для всех классификаторов по убыванию числа объединённых окон и выбрать группу, имеющую наибольшее число объединённых окон. Классификатор эмблемы, который произвёл выбранную группу окон и будет наиболее вероятным.
г) Вернуть марку в соответствии с эмблемой, для которой был построен сработавший наилучшим образом классификатор.
3. Вычислительный эксперимент
При исследовании корректности работы приведённой методики было обучено пять классификаторов для эмблем следующих марок: Audi, Nissan, Volkswagen, Toyota и Mercedes-Benz. Следует также заметить, что основной маркой при исследовании была Audi, т.к. она имеет хорошо узнаваемую эмблему. Поэтому обучение классификатора для Audi производилось в несколько итераций с целью получения наилучших результатов, в отличие от других марок.
Для количественной оценки правильности работы метода были использованы следующие понятия математической статистики.
• Верные положительные срабатывания - количество правильно классифицированных алгоритмом изображений среди всех изображений, содержащих распознаваемую марку
(марки), т.е. в положительном наборе. Для вычисления значения используется следующая
, число вернных положит. срабатыв.
формула: tpr =------100%.
число изобр. в положит. наборе
• Ложноотрицательные срабатывания - количество неверно классифицированных изображений в положительном наборе. Для вычисления используется следующая формула: fnr = 100% - tpr .
• Верные отрицательные срабатывания - количество правильно классифицированных изображений среди всех изображений, не содержащих распознаваемую марку, т.е. в
отрицательном наборе. Для вычисления используется следующая формула:
nnr = число верн. отриц. срабатыв. Ю0% число изобр. в отриц. наборе
• Ложноположительные срабатывания - количество неверно классифицированных изображений в отрицательном наборе. Для вычисления используется следующая формула: fpr = 100% - tnr .
При проверке качества определения марки было отобрано 10000 изображений, среди которых около 250 изображений каждой марки. Результаты проверки качества работы алгоритма для каждой из марок представлены в таблице и на рисунке 1.
Количество верных и ошибочных срабатываний
Марка Количество в выборке По положительному набору По отрицательному набору
Верные положительные срабатывания Ложноотрица- тельные срабатывания Верные отрицательные срабатывания Ложноположи-тельные срабатывания
Audi 418 356 (85,65%) 60 (14,35%) 9489 (99,029%) 93 (0,971%)
Volkswagen 215 123 (57,21%) 92 (42,79%) 9499 (97,077%) 286 (2,923%)
Nissan 223 131 (58,74%) 92 (41,26%) 9524 (97,412%) 253 (2,588%)
Toyota 309 188 (60,84%) 121 (39,16%) 9474 (97,761%) 217 (2,239%)
Mercedes 178 120 (67,42%) 58 (32,58%) 9655 (98,3%) 167 (1,7%)
Совместно 1343 918 (68,35%) 425 (31,65%) 7641 (88,26%) 1016 (11,74%)
Рис. 1. Гистограммы корректного определения и ложноположительного срабатывания по каждой марке
По представленным данным можно оценить степень безошибочности метода:
accuracy = Верн пол- + Верн отриц. шо% = 918 + 7641. 100% = 85,59% Размер выборки 10000
Соответственно, степень ошибочных срабатываний составляет 14,41%. 10.7463/0612.0434600 208
Заключение
По результатам проведённого исследования качества работы предложенного метода было установлено, что точность определения марки ТС составляет 85 %, что позволяет говорить о возможности внедрения метода в эксплуатацию.
Данная работа является лишь первым шагом к решению предложенной задачи. Текущая реализация метода имеет неудовлетворительные показатели скорости обработки фотографии. Кроме того, методика имеет потенциал к повышению качества распознавания.
Список литературы
1. H.K. Sulehria and Ye Zhang. Vehicle Logo Recognition Using Mathematical Morphology // Proc. 6th WSEAS Int. Conference on Telecommunications and Informatics. 2007. PP. 95-98.
2. A.P. Psyllos, C.-N. E. Anagnostopoulos, E.Kayafas. Vehicle Logo Recognition Using a SIFT-Based Enhanced Matching Scheme // IEEE Trans. Intelligent Transportation Systems. June 2010. Vol. 11. PP. 322-328.
3. P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features // Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. December 2001. Vol. 1. PP. 1063-6919.
4. O.H. Jensen. Implementing the Viola-Jones Face Detection Algorithm // Technical Univ. of Denmark, Kongens Lyngby. 2008. 36 p.
5. R. Szeliski. Computer Vision: Algorithms and Applications. London: Springer. 2010. 832 p.
SCIENTIFIC PERIODICAL OF THE BAUMAN MSTÜ
SCIENCE and EDUCATION
EL JV® FS 77 - 4821 1. №0421200025. ISSN 1994-0408 electronic scientific and technical journal
Determination of car brand on the video frame using the Viola-Jones
modified algorithm
# 06, June 2012
DOI: 10.7463/0612.0434600
Kopylov I.E., Tassov K.L.
Russia, Bauman Moscow State Technical University
FramePS2@yandex.ru
This article describes an approach to defining the brand of a vehicle by images received from systems of recognition of state license plates of vehicles. Brand logo is used as a criterion for identification. To solve the problem the authors developed a methodology based on the Viola-Jones algorithm for detecting objects. The authors studied determining the correctness of its work for various brands of vehicles. When using this method the accuracy of brand vehicle recognition averaged to 85%, which will allow to apply the developed method in practice.
Publications with keywords: brand, recognition, logo, classification, Viola-Jones, car Publications with words: brand, recognition, logo, classification, Viola-Jones, car
References
1. Sulehria H.K., Zhang Ye. Vehicle Logo Recognition Using Mathematical Morphology. Proc. 6th WSEAS Int. Conference on Telecommunications and Informatics. 2007, pp. 9598.
2. Psyllos A.P., Anagnostopoulos C.-N. E., Kayafas E. Vehicle Logo Recognition Using a SIFT-Based Enhanced Matching Scheme. IEEE Trans. Intelligent Transportation Systems, June 2010, vol. 11, pp. 322-328.
3. Viola P., Jones M. Rapid object detection using a boosted cascade of simple features. Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. December 2001, vol. 1, pp. 1063-6919.
4. Jensen O.H. Implementing the Viola-Jones Face Detection Algorithm. Technical Univ. of Denmark, Kongens Lyngby, 2008. 36 p.
5. Szeliski R. Computer Vision: Algorithms and Applications. London, Springer, 2010. 832 p.
10.7463/0612.0434600
210
