CC BY
18ИНФОРМАТИКА И УПРАВЛЕНИЕ В ТЕХНИЧЕСКИХ И СОЦИАЛЬНЫХ СИСТЕМАХ
УДК 528.854.4 DOI: 10.46960/1810-210X 2020 3 7
В.Е. Гай1, К.Н. Шарутин1, М.И. Арабаджи2, Г.Д. Кузнецов1, Р.О. Баринов1
МЕТОД ОБНАРУЖЕНИЯ ПЛАСТИНЫ НОМЕРА АВТОТРАНСПОРТНОГО СРЕДСТВА
Нижегородский государственный технический университет им. Р. Е. Алексеева1 Акционерное общество «Инжиниринговая компания «АСЭ» 2
Предложен новый подход к решению задачи обнаружения пластины номера транспортного средства, актуальный для разработки систем мониторинга и контроля дорожного траффика. На основе теории активного восприятия разработан новый метод локализации рамки номера автомобиля, включающий три этапа: предварительную обработку изображения, грубую и точную оценку положения пластины номера. Этап предварительной обработки позволяет определить область изображения, в которой находится транспортное средство. Использование грубой оценки позволяет выделить области интереса на изображении и за счет этого сократить время обнаружения пластин номера. На этапе точной оценки выполняется уточнение границ пластины номера. Тестирование метода выполнено на наборе данных, содержащем 2 000 изображений, включающих изображения как пустой дороги, так и различных транспортных средств. Проведен сравнительный анализ результатов применения предложенного метода по точности обнаружения с ранее известными подходами (методом Виолы-Джонса, методом на основе дифференцирования изображения, преобразованием Хафа).
Ключевые слова: обнаружение пластины номера, обнаружение объекта, теория активного восприятия, распознавание образов, формирование признакового описания.
Введение
Задача распознавания образов в настоящее время является одной из актуальных задач теоретической информатики. Ее частным случаем является задача обнаружения номерной пластины автомобиля. Основной сферой применения является здесь мониторинг дорожных ситуаций, упрощение системы оплаты штрафов, контроль проезда и учета транспорта на контрольно-пропускных пунктах, автомойках, парковках, закрытых жилых территориях. Этапы обнаружения пластины номера включают [1]:
1) предварительную обработку изображения для очистки изображения от шума;
2) обнаружение в кадре транспортного средства;
3) поиск номерной пластины, результатом выполнения которой являются координаты прямоугольника, содержащего в себе номерную рамку.
Известны различные алгоритмы обнаружения пластины номера: методы, выполняющие дифференцирование изображения, метод на основе преобразования Хафа, метод Виолы-Джонса.
Методы дифференцирования изображения можно разделить на две условных категории: основанные на поиске максимумов (т.е., на вычислении первой производной), и основанные на поиске нулей (т.е., на вычислении второй производной) [2]. Недостатком данных методов является сложность дифференцирования непрерывного контура (без разрывов).
Преобразование Хафа позволяет находить плоские кривые, заданные параметрически, на монохромном изображении и предполагает представление искомого объекта в виде параметрического уравнения [3]. Недостатком является низкая устойчивость шуму на изображе-
© Гай В.Е., Шарутин К.Н., Арабаджи М.И., Кузнецов Г.Д., Баринов Р.О.
I, = , (1)
нии; также преобразование Хафа чувствительно к качеству бинаризации и обладает невысокой скоростью работы.
Метод Виолы-Джонса относится к методам, использующим статистический анализ и классификаторы [4]. К достоинствам данного метода можно отнести устойчивость к искажениям изображений номерных знаков.
1. Метод локализации номерной пластины автотранспортного средства
1.1. Предварительная обработка изображения.
Этап предварительной обработки заключается в определении области, в которой находится транспортное средство.
Пусть Е - эталонное изображение, на котором транспортное средство отсутствует. Для определения на изображении С наличия транспортного средства необходимо выполнить следующие шаги.
1. Перевести изображения Е и С в градации серого (1):
(Я + в_ + В)
3
где ¡ё - изображение в градации серого, Я, G, В - значения цветовых каналов.
2. Выполнить нормализацию изображений Е и С (2):
= 1 - тт(1), (2)
тах(1)
где mm(¡) - минимальный элемент в матрице яркостей, max(/) - максимальный элемент в матрице яркостей, ¡ы - нормированное изображение.
Полученное таким образом нормированное изображение пригодно для дальнейших преобразований.
3. Представить изображения Е и С в виде множества непересекающихся областей (3):
Р = {р}, I = , (3)
где Рг - область изображения размером п * п пикселей; N - число областей.
4. Вычислить матрицы визуальных масс изображений Е и С на основе 0-преобразо-вания (4):
3 =Е т], I = (4)
к=1 т=1
5. Сравнить весовые матрицы изображений Е и С для принятия решения о наличии в кадре транспортного средства и определения его положения:
О = 3 - , (5)
где - матрица визуальных масс эталонного изображения, Б - результат сравнения, - матрица визуальных масс изображения с предполагаемым объектом.
В случае, когда разность значений элемента по модулю превышает значение средней разности, можно говорить о том, что в кадре находится новый объект (6).
[1, если Ц > Т, I = , 7 = ТХ, , ч
В = ] ' ' , , ,7 , , (6) [0, иначе,
где Т - значение средней разности.
Рис. 1. Изображение-эталон: пустая дорога Рис. 2. Исследуемое изображение
Результатом работы данного алгоритма является область, в которой находится транспортное средство (рис. 3).
Рис. 3. Часть исследуемого изображения, содержащая транспортное средство
Алгоритм обнаружения пластины номера включает два этапа: грубую и точную оценку положения номерной пластины.
1.2. Грубая оценка положения номерной пластины.
Алгоритм грубой оценки состоит из следующих шагов.
1. Разделить изображение на 256 подобластей. Визуальные массы пикселей для каждой подобласти суммируем и получаем матрицу визуальных масс подобласти (7):
I = {dj }, i = TJe,j = Цб, (7)
где I - изображение, i, j - число подобластей.
2. Выполнить поэлементное умножение матрицы визуальных масс на фильтр F2 (8):
Pj = Q[dj ] х F2, i = U6,j = Цб. (8)
Для поиска прямоугольной области необязательно использовать все шестнадцать фильтров, поэтому с помощью вычислительного эксперимента было определено, что фильтр F2 и его значение спектрального коэффициента содержат наиболее полезную информацию.
3. Определить, для какой из подобластей изображения значение спектрального коэффициента по данному фильтру будет максимальным (9):
(imax > jmax ) = arg ^ij ■ (9)
i=1,16, j=1,16
Результаты вычисления спектральных коэффициентов по фильтру ¥г представлены в табл. 1.
Таблица 1.
Спектральные коэффициенты исследуемого изображения по фильтру
54,48387 49,49194 807,9355 177,8105
-37,99597 92,875 -1047,907 -182,4516
-254,5685 123,4919 1255,746 792,621
225,0323 -40,38306 -520,9113 -283,379
По наибольшему значению отклика по фильтру можно определить подобласть анализируемого изображения, которая содержит номерную пластину (рис. 4).
Рис. 4. Примерная область расположения номерной рамки
1.3. Точная оценка положения номерной пластины.
Алгоритм поиска точного местоположения пластины номера автотранспортного средства состоит из следующих шагов.
1. Выполнить проверку размеров изображения на возможное деление на неперекрывающиеся области размером 16х16. В случае необходимости к изображению нужно добавить пиксели (рис. 5), например, повторив те, которые находятся на границе изображения.
Рис. 5. Скорректированный участок изображения, содержащий номерную рамку
2. Разбить изображение на неперекрывающиеся области размером 16*16, для каждого участка вычислить отклик по шестнадцати фильтрам (рис. 6).
Рис. 6. Разбивка участка, содержащего номерной знак, на подобласти
3. Сформировать на основе признаковых описаний для каждой области среднее отклонение без учета отклика по фильтру ^о по следующей формуле (10):
^ т - ^)2, ■ - Цб, ]=, (10)
где - среднее отклонение спектральных коэффициентов, п =15 - количество учитываемых спектральных коэффициентов, & - /-й спектральный коэффициент, ёср - среднее арифметическое для спектральных коэффициентов подобласти.
В табл. 2 представлены значения средних отклонений, рассчитанные для каждой подобласти исследуемого изображения.
Таблица 2.
Средние отклонения спектральных коэффициентов, рассчитанные для участка изображения, содержащего номерной знак
12,113 10,683 12,034 5,2491 0,889 1,3138 1,4227 6,3531
3,2312 3,8494 5,0964 7,3662 4,0894 5,8663 5,7029 10,38
4,1662 5,3511 8,1975 7,6788 8,5634 9,0629 9,7544 4,6465
7,5104 5,2413 3,9111 3,3227 4,4436 3,3613 3,4298 3,6652
3,8617 3,8551 3,9215 3,9819 4,0459 4,0536 3,9939 4,2138
4. Произвести поиск такой области изображения, которая удовлетворяла бы двум критериям: критерию предполагаемой размерности номерной рамки (2*5 подобластей) и критерию максимальной яркости на исследуемом участке изображения (сумма значений средних отклонений для подобластей, расположенных справа и снизу от текущей подобласти, должна быть максимальной).
5. Произвести окончательную локализацию номерной рамки автотранспортного средства путем соединения точек, лежащих в центрах, выбранных на прошлом этапе подобластей.
В результате выполнения алгоритма поиска области изображения, сумма средних отклонений которой будет максимальна, а размерность - соответствующей ожидаемой размерности номерной рамки, можно получить список подобластей, соединив центры которых, очертим искомую область нахождения рамки номерного знака автотранспортного средства (рис. 7).
Рис. 7. Область нахождения рамки номерного знака
2. Вычислительный эксперимент
2.1. Описание эксперимента.
Исходными данными для проведения вычислительного эксперимента послужила база, содержащая 2 000 изображений, полученных с дорожной камеры, и включающая в себя изображения как пустой дороги, так и различных транспортных средств. Их количество на изображении меняется в диапазоне от 1 до 5, также различается освещенность. Большая часть изображений базы снята дорожной камерой, расположенной под углом 40 ° к дорожному полотну. Рассматриваемый метод локализации номерной рамки в качестве выходных данных выдает изображение, предположительно содержащее транспортного средство, а также прямоугольную область предполагаемого местонахождения номерной рамки, границы которой выделены белым цветом.
Результатом сравнения координат выделенной области с координатами реального местоположения номерной рами будет вывод о степени точности локализации рамки.
2.2. Анализ результатов эксперимента.
Результаты тестирования разработанного алгоритма в нормальных условиях приведены в табл. 3.
Таблица 3.
Результаты тестирования алгоритма в нормальных условиях
Размер окна Фильтр Количество подобластей Точность локализации, % Ошибка 1 рода, % Ошибка 2 рода, %
2 х 5 16 80 13 6,7
64 93,5 4,4 2,1
256 95,5 3 1,5
16 70,2 21,8 9
64 75,5 16,3 8,2
256 82,5 11,7 5,8
^10 16 65,3 23,1 11,6
64 68,1 21,2 10,7
256 70,5 19,7 9,8
3 х 6 ^2 16 78,6 14,2 7,2
64 81,2 12,5 6,3
Окончание табл. 3
^2 256 88,9 7,4 3,7
16 68,7 20,8 10,5
64 70 11 19
256 74,3 17,1 8,6
^10 16 59,1 13,7 27,2
64 60,2 26,5 13,3
256 64,4 23,7 11,9
Из данной таблицы видно, что наилучшая точность локализации номерной рамки на изображении была достигнута при следующей конфигурации:
1) количество квадратных областей, на которые разбивается изображение на этапе поиска местоположения транспортного средства: 256;
2) фильтр, на основе которого проводится расчет спектральных коэффициентов, используемых для вынесения решения о предварительном местоположении номерной рамки:
3) размерность окна, использующегося для поиска местоположения номерной рамки:
2x5;
Точность, достигнутая при этой конфигурации, составила 95,5 %. В табл. 4 проводятся сравнение наилучшего полученного результата с результатами работы известных алгоритмов, рассмотренных ранее.
Таблица 4.
Сравнение точности работы известных методов локализации номерных рамок
Название метода Точность локализации, %
Выделение границ (операторы Кэнни, Собеля, Робертса) 85-90
Преобразование Хафа 95
Гистограммный анализ регионов 88
Метод Виолы-Джонса 98
Предлагаемый метод 96
Таким образом, реализация предложенного метода локализации номерной рамки транспортного средства по точности обнаружения и производительности не уступает реализации известных методов.
Заключение
Методы обнаружения объектов на изображении имеют широкий круг применения и играют большую роль в решении задачи локализации рамки номера автотранспортного средства. В данной работе предложен новый метод локализации рамки номера автомобиля, разработанный с позиции теории активного восприятия. В ходе вычислительного эксперимента было проведено тестирование алгоритма на различных наборах входных данных. Полученные результаты свидетельствуют о корректной работе предложенного метода. Значение точности локализации рамки номера на изображении оказалось сопоставимо с точностью ранее известных методов, а в ряде случаев даже превысило их результативность. Таким образом, предложенный метод является конкурентоспособным и пригодным к внедрению.
Библиографический список
1. Утробин, В.А. Элементы теории активного восприятия изображений // Труды НГТУ им. Р.Е. Алексеева, 2010. - Т. 81, № 2. - С. 61-69.
2. Kuo-Ming, H. A Real-Time Mobile Vehicle License Plate Detection and Recognition / H. Kuo-Ming, H. Ching-Tang // Tamkang Journal of Science and Engineering, 2010. - V. 13. - №. 4. - P. 433-442.
3. Fernandes, L.A.F. Real-time line detection through an improved Hough transform voting scheme / L.A.F. Femandes, M.M. Oliveira // Pattern Recognition, 2008. - V. 41. - N. 1. - P. 299-314.
4. Viola, P. Rapid object detection using a boosted cascade of simple features // CVPR (1), 2001. - V. 1. -P. 511-518.
5. Fukunaga, K. The Estimation of the Gradient of a Density Function, with Applications in Pattern Recognition / K. Fukunaga, L. Hostetler // IEEE Transactions on Information Theory, 1975. - V. 21. - N. 1. -P. 32-40.
6. Утробин, В.А. Компьютерная обработка изображений. Анализ и синтез / В.А. Утробин. - Н. Новгород: НГТУ им. Р. Е. Алексеева, 2003. - 228 с.
7. Утробин, В.А. Компьютерная обработка изображений. Информационные модели этапа понимания / В.А. Утробин. - Н. Новгород: НГТУ им. Р. Е. Алексеева, 2006. - 247 с.
8. Утробин, В.А. Физические интерпретации элементов алгебры изображения // Успехи физических наук, 2004. - Т. 174. - № 10. - С. 1089-1104.
Дата поступления в редакцию: 25.01.2020
V.E. Gai1, K.N. Sharutin1, M.I. Arabadzhi2, G.D. Kuznecov1, R.O. Barinov1
A METHOD OF DETECTING THE NUMBER PLATE OF A MOTOR VEHICLE
Nizhny Novgorod state technical university n.a. R.E. Alekseev1 Joint-stock company «Engineering company «ASE»2
Purpose: The paper proposes a solution to one of the urgent problems of pattern recognition — detecting the plate of a vehicle's number. The created method of solving this problem can be used in the development of monitoring and control systems for road traffic.
Design / methodology / approach: The proposed method is based on the theory of active perception and includes three stages of processing the original image: preprocessing, a rough and accurate estimate of the plate number position. Findings: The test results of the method showed its effectiveness in the problem solving. The method performs detection without taking into account the nationality of the plate number.
Research limitations/implications: The proposed method, as well as the obtained results, are the starting point in the new method development of character recognition on the plate number.
Originality/value: The value of the proposed method is in the new approach of calculating the feature description of a plate number, due to which, in comparison with the known approaches, the computational complexity of solving the problem is reduced.
Key words: license plate detection, object detection, theory of active perception, object recognition, feature description forming.
