CC BY
560
УДК 004.932 ББК 32.81
А.В. ОБУХОВ, С.А. ЛЯШЕВА, М П. ШЛЕЙМОВИЧ
МЕТОДЫ АВТОМАТИЧЕСКОГО РАСПОЗНАВАНИЯ АВТОМОБИЛЬНЫХ НОМЕРОВ
Ключевые слова: автоматическое распознавание автомобильных номеров, локализация, нормализация, сегментация, распознавание символов, синтаксический анализ.
Представлены результаты исследования методов автоматического распознавания автомобильных номеров. Описаны процедуры локализации области автомобильного номера на изображении, нормализации изображения номера, сегментации изображения номера, распознавания символов номера и синтаксического анализа элементов номера. Показано, что эффективный подход может быть основан на применении методов Виолы - Джонса, Хафа, анализа гистограмм яркостей и машины опорных векторов. Описанный подход позволяет получить достаточно высокую точность распознавания при различных поворотах автомобильного номера относительно камеры.
В настоящее время системы автоматического распознавания автомобильных номеров востребованы в самых различных областях. Например, они применяются в работе автотранспортных предприятий, станций техобслуживания, автомобильных парковок и др. Подобные системы позволяют контролировать наличие автомобилей в зоне обслуживания, определять время обслуживания автомобилей клиентов, количество свободных мест на парковке, фиксировать время пребывания автомобиля в конкретной зоне, организовывать автоматический въезд и выезд автомобилей и т.д. Кроме того, возможность автоматического распознавания номера автомобиля является важным аспектом контроля и обеспечения безопасности дорожного движения ввиду постоянно увеличивающегося на дорогах количества транспортных средств.
Под системами автоматического распознавания автомобильных номеров подразумеваются программный или аппаратно-программный комплекс, который реализует алгоритмы автоматического распознавания номерных знаков для регистрации событий, связанных с перемещением автомобилей, т.е. для автоматизации ввода данных и их последующей обработки [5].
В основе автоматического распознавания автомобильных номеров лежат следующие процедуры [7]:
1) локализация;
2) нормализация;
3) сегментация;
4) распознавание;
5) синтаксический анализ.
Первая процедура предназначена для обнаружения и локализации на изображении области с регистрационным номером автомобиля. Далее найденная область вырезается из исходного изображения и рассматривается отдельно. Нормализация заключается в приведении размеров и ориентации полученного на предыдущем шаге изображения с номером к требуемому виду. Здесь выполняются геометрические преобразования, шумоподавление, изменение яркости и
контраста. Процедура сегментации обеспечивает разделение изображения на знакоместа, т.е. выделение областей отдельных символов. Процедура распознавания предназначена для формирования строки символов автомобильного номера. Последняя процедура (процедура синтаксического анализа) выполняется для определения элементов строки, содержащей символы номера. Данные элементы могут различаться согласно стандартам стран регистрации автотранспортных средств. Например, в Российской Федерации используется стандарт, определяемый ГОСТ Р 50577-93 (с изменениями, внесенными приказами Федерального агентства по техническому регулированию и метрологии)1.
Для локализации области номера на изображении применяются различные алгоритмы. В большинстве своем они базируются на бинаризации, выделении контуров, морфологической обработке изображений. При этом предполагается, что исходное цветное изображение преобразуется в полутоновую форму. Бинаризация изображений заключается в разделении всех пикселей полутонового изображения по яркости на два класса - объект и фон. В системах автоматического распознавания номеров могут применяться как методы глобальной, так и локальной бинаризации изображений. Однако адаптивные подходы являются более предпочтительными ввиду возможности компенсировать влияние помех на различные участки изображения, например, распределение теней из-за неоднородности освещения. Вместе с бинаризацией может также применяться выделение контуров [1]. Для устранения мелких деталей и разрывов часто применяются морфологические методы обработки изображений. В результате указанных процедур формируются связанные последовательности точек бинарного изображения - контуры. На заключительном этапе процедуры локализации определяется, какой из полученных контуров является границей области автомобильного номера.
Таким образом, можно предложить следующий алгоритм локализации области автомобильного номера на изображении:
1) преобразовать исходное цветное изображение, содержащее автомобильный номер, в полутоновый вид;
2) выполнить обработку изображения градиентными операторами, например, Собела или Превитт, результатом которой является изображение, значение каждого пикселя которого равно модулю градиента в соответствующей точке исходного изображения;
3) выполнить адаптивную бинаризацию изображения, полученного на предыдущем шаге;
4) выполнить операцию морфологического закрытия с прямоугольником в качестве структурирующего элемента;
5) определить контуры на изображении;
6) определить области, ограниченные контурами;
7) выбрать область, параметры которой соответствуют автомобильному номеру.
1 ГОСТ Р 50577-93. Знаки государственные регистрационные транспортных средств. Типы и основные размеры. Технические требования. М.: Изд-во стандартов, 2002.
Альтернативный подход для локализации области автомобильного номера на изображении базируется на методе Виолы - Джонса, разработанном и представленном в 2001 г. П. Виолой и М. Джонсом [8]. Метод Виолы -Джонса является одним из самых известных методов поиска объектов на изображении в реальном времени. Данный подход позволяет находить область номера в сложных и нетипичных условиях. Метод Виолы - Джонса основан на применении набора признаков Хаара. Признак Хаара состоит из смежных прямоугольных областей, которые позиционируются на изображении, далее происходит суммирование интенсивности пикселей в областях, затем между суммами вычисляется разность. На этапе обнаружения заданной области в методе Виолы - Джонса используется окно определенного размера, которое перемещается по изображению. Признак Хаара рассчитывается для каждой области изображения, над которой проходит окно. Наличие или отсутствие предмета в окне определяется разницей между значением признака и обучаемым порогом. Высокую точность обнаружения заданных объектов на изображении обеспечивает каскадный классификатор.
Подходы, основанные на анализе контуров, позволяют находить номер различного размера и под различным наклоном. Однако у них есть несколько недостатков:
1) на изображении автомобиля может быть много прямоугольных объектов, похожих своими очертаниями на автомобильный номер;
2) относительно высокая трудоемкость вычислений - даже на изображении небольшого размера время обнаружения может достигать нескольких секунд;
3) они основаны на анализе границ номера, что не всегда возможно в реальных условиях. Например, на изображениях запыленных автомобилей могут отсутствовать четко выраженные границы.
Более эффективным для локализации номера представляется подход на основе метода Виолы - Джонса. Соответствующая процедура фактически анализирует искомую область на предмет наличия в ней характерных для номера отношений, точек или градиентов, выявленных на этапе обучения по положительным и отрицательным примерам. При этом, используя некоторые известные соотношения, можно еще больше повысить эффективность поиска. Например, начальное значение сканирующего окна можно задать исходя из размеров автомобильного номера 520x115 мм согласно ГОСТ Р 50577-93. Недостатком данного подхода является относительно невысокая степень инвариантности к аффинным и проекционным искажениям объектов на изображениях.
После локализации области изображения с автомобильным номером необходимо сформировать изображение, содержащее только номер, и выполнить его нормализацию. В простейшем случае нормализация заключается в повороте соответствующей прямоугольной области таким образом, чтобы его ориентация совпадала с ориентацией осей системы координат изображения. Но, как правило, часто приходится выполнять обрезание рамки номера по горизонтали и по вертикали. Кроме того, можно выполнить фильтрацию с целью шумоподавления или повышения контраста.
Как правило, выделенная область с номером имеет сравнительно небольшой размер, содержит границы номера, горизонтальные полосы очертания бампера и радиаторной решетки. Поэтому для определения угла поворота рамки номера можно применить алгоритм на основе преобразования Хафа для линий [2]. Алгоритм заключается в следующем:
1) определяются линии, длина которых больше половины ширины области номера;
2) формируется прямая из средних значений всех точек полученных линий;
3) вычисляется угол между полученной прямой и линией горизонта.
Следующий этап нормализации заключается в поиске границ рамки номерной платы автомобильного номера. Для этого используются гистограммы интенсивности по горизонтали и вертикали соответственно. Для построения гистограмм необходимо просуммировать значения всех пикселей бинарного изображения по строкам или столбцам, затем выделить максимум и отсеять все значения меньше 20% от максимума.
Следующая процедура, как было сказано выше, состоит в выделении знакомест на изображении (сегментация). Самым простым подходом для сегментации символов является использование заранее заданного шаблона [4]. Шаблон можно представить в виде изображения темных прямоугольников, соответствующих символам, на светлом фоне, как показано на рис. 1. Основным требованием для эффективной сегментации здесь является правильное определение рамки номера на этапе нормализации, а любое отклонение от реальных габаритов будет способствовать ухудшению сегментации символов номера.
I
Рис. 1. Шаблон расположения символов на номерной плате автомобиля
Следующий подход основан на построении горизонтальной проекции средней интенсивности [2]. Суть этого подхода сводится к тому, что вычисляется средняя интенсивность в каждом столбце изображения номера и определяются столбцы, в которых средняя интенсивность значительно отличается от порогового значения (рис. 2).
Рис. 2. Гистограмма распределения яркости пикселей номерной пластины
Еще один способ базируется на проведении контурного анализа [6]. После получения контуров, которые представляют собой связанные последова-
тельности точек бинарного изображения, определяются те из них, которые являются границами областей символов номера автомобиля. Это достигается путем фильтрации контуров, удовлетворяющих определенным требованиям к соотношению геометрических характеристик [2]. Пример работы соответствующего алгоритма показан на рис. 3.
штшщ
Рис. 3. Результат сегментации символов автомобильного номера
Метод, основанный на использовании шаблонов, очень прост в реализации и не требует сложных операций, связанных с анализом изображения для поиска символов, но для его работы необходимо точное выделение границ рамки номера, что в реальных условиях не всегда выполнимо. Гистограмм-ный анализ изображения имеет высокую чувствительность к шумам и дефектам на изображении, особенно в промежутках между символами. В результате этого гистограммы могут не дать выявить ярко выраженные максимумы в промежутках между символами. В данном методе могут возникнуть также затруднения при выделении символов региона, так как под ними находится символы принадлежности к стране. Сегментация на основе контурного анализа является менее требовательной к условиям реализации, поскольку здесь используются обобщенные геометрические признаки.
Для распознавания символов необходимо привести каждый из них к заранее определенному стандартному виду. Как правило, это сводится к масштабированию и проведению бинаризации символов для достижения наилучшего контрастирования символов и фона. После предварительной обработки к соответствующим выделенным знакоместам можно применить различные методы распознавания. Часто применяются методы сопоставления с шаблонами, методы на основе анализа моментов, машины опорных векторов [1, 3].
Преимущества шаблонных методов заключаются в простоте реализации и устойчивости к дефектам изображения символов. Основной недостаток шаблонных методов заключается в невозможности распознавания символов, которые подвержены аффинным и проекционным искажениям и отличаются от заложенных в системе шаблонов.
Достоинство использования моментов изображения для выделения признаков символов заключается в высокой устойчивости к изменению масштаба изображения и другим геометрическим преобразованиям. Недостаток их использования заключается в высокой чувствительности к шумам и дефектам на изображении, в результате чего символы могут неправильно классифицироваться.
Достоинство метода SVM заключается в том, что для построения классификатора для распознавания символов достаточно обучающей выборки сравни-
тельно небольшого размера. Кроме того, он имеет низкую вероятность ошибки. Недостаток данного метода заключается в том, что в процессе классификации учитывается не все множество данных, а только ближайшая к разделяющей классы границе часть. Метод опорных векторов представляется наиболее эффективным для распознавания символов автомобильного номера.
Сформулированные выводы по эффективности реализации каждой из процедур были подтверждены в результате проведения экспериментов с разработанным программным обеспечением. Эксперименты проводились на базе двухъядерного персонального компьютера с процессорами Intel Core 5i, тактовой частотой 1,6 ГГц, оперативной памятью 4 Гб, под управлением операционной системы Windows. Программное обеспечение разработано на языке C# с применением библиотеки компьютерного зрения Emgu. Результаты экспериментов приведены в табл. 1-4. В табл. 2-3 приведены результаты анализа изображений автомобильных номеров, полученных при повороте плоскости изображения относительно камеры (рис. 4).
Таблица 1
Время распознавания в зависимости от расстояния до объекта
Расстояние Время Время Общее время
до объекта, м локализации, с распознавания, с обработки, с
1 0,67 0,26 0,93
2 0,69 0,28 0,97
3 0,84 0,29 1,13
4 0,94 0,29 1,23
5 0,81 0,32 1,13
6 0,89 0,31 1,20
7 0,85 0,29 1,14
8 0,91 0,29 1,20
9 0,79 0,31 1,10
10 0,85 0,31 1,16
Таблица 2
Распознавание номера при повороте в плоскости
Угол поворота -25 -20 -15 -10 0 10 15 20 25
Процент правильного распознавания 50 82 95 100 100 98 96 79 37
Таблица 3
Распознавание номера при повороте в пространстве по вертикали
Угол поворота -70 -60 -40 -20 0 20 40 60 70
Процент правильного распознавания 53 87 98 98 100 97 98 90 52
Таблица 4 Распознавание номера при повороте в пространстве по горизонтали
Угол поворота -40 -30 -20 -10 0 10 20 30 40
Процент правильного распознавания 63 95 98 100 100 100 99 92 57
Х212нр16_
хЩШ
|.х]Ш хШ
¡й
&
Рис. 4. Повороты плоскости изображения на плоскости (слева), в пространстве по вертикали (по центру), в пространстве по горизонтали (справа)
Таким образом, эффективная система автоматического распознавания автомобильных номеров может быть построена на основе метода Виолы -Джонса для локализации области номера на изображении, методов Хафа и анализа гистограмм яркостей пикселей для нормализации, контурного анализа для сегментации и метода SVM для распознавания символов.
Разработанные алгоритмы позволили обеспечить распознавание автомобильных номерных знаков, соответствующих ГОСТ Р 50577-93 (группа 1, тип 1), с точностью не менее 85% при различных углах поворота.
Литература
1. Гонсалес Р., Вудс Р. Цифровая обработка изображений. 3-е изд., испр. и доп. М.: Техносфера, 2012. 1104 с.
2. Елизаров А.И., Афонасенко А.В. Методика построения систем распознавания автомобильного номера // Известия Томского политехнического университета. 2006. Т. 309. № 8. С. 118-122.
3. Кирпичников А.П., Ляшева С.А., Обухов А.В., Шлеймович М.П. Автоматическое распознавание автомобильных номеров // Вестник Казанского технологического университета. 2015. Т. 18, № 4. С. 218-222.
4. Мурыгин К.В. Нормализация изображения автомобильного номера и сегментация символов для последующего распознавания // Искусственный интеллект. 2010. № 3. С. 364-369.
5. Свирин И., Ханин А. Некоторые аспекты автоматического распознавания автомобильных номеров // Алгоритмы безопасности. 2010. № 3. С. 26-29.
6. Фурман Я.А., Юрьев А.Н. , Яншин В.В. Цифровые методы обработки и распознавания бинарных изображений. Красноярск: Изд-во Краснояр. ун-та, 1992. 248 с.
7. Shin Shi. Emgu CV Essentials. Packt Publishing, 2013, 105 p.
8. Viola P., Jones M.J. Rapid Object Detection using a Boosted Cascade of Simple Features. Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR 2001), 2001, vol. 1, p. 511-518.
ОБУХОВ АНДРЕЙ ВЛАДИМИРОВИЧ - магистр, Казанский национальный исследовательский технический университет имени А.Н. Туполева-КАИ, Россия, Казань ([email protected]).
ЛЯШЕВА СТЕЛЛА АЛЬБЕРТОВНА - кандидат технических наук, доцент кафедры прикладной математики и информатики, Казанский национальный исследовательский технический университет имени А.Н. Туполева-КАИ, Россия, Казань ([email protected]).
ШЛЕЙМОВИЧ МИХАИЛ ПЕТРОВИЧ - кандидат технических наук, доцент кафедры автоматизированных систем обработки информации и управления, Казанский национальный исследовательский технический университет имени А.Н. Туполева-КАИ, Россия, Казань ([email protected]).
A. OBUKHOV, S. LYASHEVA, M. SHLEYMOVICH
THE METHODS OF AUTOMATIC LICENSE PLATE RECOGNITION
Key words: automatic license plate recognition, localization, normalization, segmentation, character recognition, syntactic analysis.
The results of the methods research of automatic license plate recognition are presented. The procedures of the localization region license plates in the image picture, normalizing the license plate image, license plate image segmentation, character of license plate recognition and syntactic analysis of the elements of the license plate. It is shown that an effective approach can be based on the applying methods of the Viola-Jones, Hough, the analysis of histograms of brightness and support vector machine. The described approach allows to obtain high recognition accuracy in different corners of the license plate relative to the camera.
References
1. Gonzalez R., Woods R. Digital Image processing. 3rd ed. New Jersey, Prentice Hall, 2008 (Russ. ed.: Tsifrovaya obrabotka izobrazhenii. 3-e izd., ispr. i dop. Moscow, Tekhnosfera Publ., 2012, 1104 p.).
2. Elizarov A.I., Apanasenko A.V. Metodika postroeniya sistem raspoznavaniya avtomobil'no-go nomera [Method of construction of systems of recognition of license plate]. Metodika postroeniya sistem raspoznavaniya avtomobil'nogo nomera [Bulletin of the Tomsk Polytechnic University], 2006, vol. 309, no. 8, pp. 118-122.
3. Kirpichnikov A.P., Lyasheva S.A., Obukhov A.V., Shleymovich M.P. Avtomaticheskoe raspoz-navanie avtomobil'nykh nomerov [Automatic license plate recognition]. Vestnik Kazanskogo tekhnologi-cheskogo universiteta [Herald of Kazan Technological University], 2015, vol. 18, no. 4, pp. 218-222.
4. Murygin K.V. Normalizatsiya izobrazheniya avtomobil'nogo nomera i segmentatsiya simvo-lov dlya posleduyushchego raspoznavaniya [Normalization of the Image of a Car Plate and Segmentation of Symbols for the Subsequent Recognition]. Iskusstvennyi intellekt [Artificial intelligence], 2010, no. 3, pp. 364-369.
5. Svirin I., Hanin A. Nekotorye aspekty avtomaticheskogo raspoznavaniya avtomobil'nykh no-merov [Some aspects of automatic recognition of license plates]. Algoritmy bezopasnosti [Security algorithms], 2010, no. 3, pp. 26-29.
6. Fuhrman J.A., Yur'ev A.N., Yanshin V. Tsifrovye metody obrabotki i raspoznavaniya binar-nykh izobrazhenii [Digital methods of processing and recognition of binary images]. Krasnoyarsk, Krasnoyarsk University Publ., 1992, 248 p.
7. Shin Shi. Emgu CV Essentials. Packt Publishing, 2013, 105 p.
8. Viola P., Jones M.J. Rapid Object Detection using a Boosted Cascade of Simple Features. Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR 2001), 2001, vol. 1, p. 511-518.
OBUKHOV ANDREY - Master, Kazan National Research Technical University named after A.N.Tupolev-KAI, Russia, Kazan.
LYASHEVA STELLA - Candidate of Technical Sciences, Assistant Professor, Department of Applied Mathematics & Informatics, Kazan National Research Technical University named after A.N.Tupolev-KAI, Russia, Kazan.
SHLEYMOVICH MIKHAIL - Candidate of Technical Sciences, Assistant Professor, Department of Automated Information Processing Systems & Control, Kazan National Research Technical University named after A.N.Tupolev-KAI, Russia, Kazan.
Ссылка на статью: Обухов А.В., Ляшева С.А., Шлеймович М.П. Методы автоматического распознавания автомобильных номеров // Вестник Чувашского университета. - 2016. - № 3. -С. 201-208.
