Автоматическое распознавание автомобильных номерных знаков Текст научной статьи по специальности «Компьютерные и информационные науки»

ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ

ТЕХНИКА И УПРАВЛЕНИЕ INFORMATION TECHNOLOGY, COMPUTER SCIENCE, AND MANAGEMENT

УДК 621.893 https://doi.org/10.23947/1992-598G-2G2G-20-1-93-99

Автоматическое распознавание автомобильных номерных знаков А. В. Полтавский1, Т. Г. Юрушкина2, М. В. Юрушкин3

1 3 ФГБОУ ВО «Южный федеральный университет» (г. Ростов-на-Дону, Российская Федерация) 2ФГБОУ ВО «Донской государственный технический университет» (г. Ростов-на-Дону, Российская Федерация)

Введение. Статья посвящена задаче автоматического обнаружения и распознавания автомобильных номеров, решение которой имеет множество потенциальных применений, начиная от обеспечения безопасности и заканчивая управлением трафиком на дорогах. Целью данной работы являлась разработка интеллектуальной системы нахождения и распознавания автомобильных номеров, основанной на применении алгоритмов глубокого обучения и сверточных нейронных сетей, учитывающей различные региональные стандарты автомобильных номеров, и устойчивой к различным расположениям камеры, качеству видео, освещению, погодным условиям и деформациям номерных знаков.

Материалы и методы. Предложен комплексный подход к решению задачи, основанный на применении сверточных нейронных сетей. Проведен экспериментальный анализ нейросетевых моделей, обученных под требования задачи универсального распознавания номерного знака. На его основании были выбраны модели, показывающие лучшее соотношение качества и быстродействия. Качество системы обеспечивается оптимизацией различных моделей с различными модификациями. В частности, сверточные нейронные сети обучались с использованием изображений из нескольких наборов данных. Кроме того, для получения наилучших результатов используемые модели были предобучены на специально сгенерированном синтетическом датасете. Результаты исследования. В статье приведены численные эксперименты, результаты которых свидетельствуют о превосходстве разработанного алгоритма над коммерческим пакетом OpenALPR на публичных наборах данных. В

S

частности, на наборе данных 2017-lWT4S-HDR_LP-dataset точность распознавания номерных знаков составила 94 ¡в

процента, а на наборе данных Application-Oriented License Plate 86 процентов. §

eö

Обсуждение и заключения. Полученный алгоритм может быть использован для автоматического обнаружения и ^ распознавания автомобильных номеров. Проведенные эксперименты показали, что качество алгоритма не уступает ^ качеству коммерческого пакета OpenALPR. Качество разработанного алгоритма можно увеличивать за счет

IS

увеличения тренировочного датасета, что не требует участия разработчика. К

<а

Ключевые слова: обнаружение и распознавание объектов, сверточные нейронные сети, генерация и аугментация ^

CÖ

данных, распознавание номерных знаков. M

4

Образец для цитирования: Полтавский, А. В. Автоматическое распознавание автомобильных номерных знаков / н

5

А. В. Полтавский, Т. Г. Юрушкина, М. В. Юрушкин // Вестник Донского государственного технического g университета. — 2020. — Т.20, №1. — С. 93-99. https://doi.org/1G.23947/1992-598G-202G-20-1-93-99 Я

3

© Полтавский А. В., Юрушкина Т. Г., Юрушкин М. В., 2020 И

eö И

IS

<3 S a о

к S

Automatic license-plate recognition

A. V. Poltavskii1, T. G. Yurushkina2, M. V. Yurushkin3

1,3 Southern Federal University (Rostov-on-Don, Russian Federation)

2 Don State Technical University (Rostov-on-Don, Russian Federation)

Introduction. The problem of automatic license plate recognition is considered. Its solution has many potential applications from safety to traffic control. The work objective was to develop an intelligent recognition system based on the application of deep learning algorithms, such as convolution neural networks that consider automotive standards for license plates in various countries and continents, and are tolerant to camera locations and quality of input images, as well as to changing lighting, weather conditions, and license plate deformations.

Materials and Methods. An integrated approach for the problem solution based on the application of convolution neural network composition is proposed. An experimental analysis of neural network models trained to meet the requirements of the universal license plate recognition task was conducted. Based on it, models that showed the best ratio of quality and speed were selected. Quality of the system is provided through the optimization of various models with different modifications. In particular, convolution neural networks were trained using images from several datasets. In addition, to obtain the best results, the models used were pre-trained on a specially generated synthetic dataset.

Results. The paper presents numerical experiments, the results of which imply the superiority of the developed algorithm over the commercial OpenALPR package on public datasets. In particular, on the 2017-IWT4S-HDR_LP-dataset, license plate recognition accuracy was 94 percent, and on the Application-Oriented License Plate dataset, 86 percent. Discussion and Conclusions. The resulting algorithm can be used to automatically detect and recognize license plates. The experiments show that the algorithm quality meets or exceeds quality of the commercial OpenALPR package. The developed algorithm quality can be improved through increasing the training dataset, which does not require the participation of the developer.

Keywords: object detection and recognition, convolution neural networks, data generation and augmentation, license plate recognition

For citation: A.V. Poltavskii, T.G. Yurushkina, M.V. Yurushkin. Automatic license-plate recognition. Vestnik of DSTU, 2020, vol. 20, no. 1, pp. 93-99. https://doi.org/10.23947/1992-5980-2020-20-1-93-99

Введение. Системы автоматического распознавания номеров (ALPR) используются для автоматического контроля скорости движения, идентификации угнанных транспортных средств, контроля доступа транспортных средств в частных помещениях и взимания платы за проезд1 [1, 2, 3]. Однако большинство существующих алгоритмов2, 3 работают только для конкретного шаблона номерного знака или со сложными системами захвата изображений, требовательны к условиям освещения и типам транспортных средств [4, 5, 6].

Благодаря быстрому развитию глубинного обучения и его приложений в области компьютерного зрения [7] стало возможным создание системы ALPR, способной распознавать многочисленные шаблоны номерных знаков в произвольной среде4,5,6 [8]. Основными трудностями при распознавании номерных знаков являются особенности условий съемки — наличие дождя, снега или плохое освещение. Задача распознавания становится более сложной, если номерной знак имеет нетривиальные площадь и соотношение сторон, цвет фона, форму, количество линий, размер шрифта, расстояние между символами и т. д.

Целью данной работы являлась разработка системы распознавания автомобильных номеров, поддерживающей различные региональные стандарты номерных знаков, и не зависящей от условий видеосъемки

2 автомобилей, таких как грязь на номерах, погодные условия и т.д.

3

и -

О 1 Lotufo RA, Morgan AD, Johnson AS. Automatic number-plate recognition. IEEE Colloquium on Image Analysis for Transport Applications. Feb., 1990.

P. 1-6.

r;^ 2 Du S, et al. Automatic license plate recognition (ALPR): A state-of-the-art review. IEEE Transactions on Circuits and Systems for Video Technology.

Й 2013;23(2):311-325.

3 Gou C., et al. Vehicle license plate recognition based on extremal regions and restricted Boltzmann machines. IEEE Transactions on Intelligent .> Transportation Systems. 2016;17(4):1096-1107.

T^ 4 Hsu G., Chen J., Chung Y. Application-oriented license plate recognition. IEEE Trans. Veh. Technol. 2013;62(2):552-561.

•j^ 5 Li H., Shen C. Reading car license plates using deep convolutional neural networks and lstms. 2016. arXiv preprint arXiv:1601.05610.

JH 6 Yuan Y., et al. A robust and efficient approach to license plate detection. IEEE Transactions on Image Processing. 2017;26(3): 1102-1114.

Материалы и методы. Автоматическая система детекции и распознавания автомобильных номеров. В рамках данного раздела дается описание программной реализации системы обнаружения транспортного средства на фотографии, нахождения в нем номерного знака и его распознавания.

Предлагаемая система состоит из композиции нескольких нейросетевых моделей. Идея композиции заключается в том, что на вход следующей модели подается результат выполнения предыдущей, а весь процесс анализа разбивается на этапы. Схематически принцип работы системы представлен на рис. 1:

Обнаружение транспортного Обнаружение номерного знака / ^Ржшшадшж шмотот н°мерн°го

Средства / Vehicle detection Licensee plane detection знака / License Plate rec°gmti°n

Рис. 1. Трехэтапный подход в задаче обнаружения и распознавания номерных знаков

Первый этап работы алгоритма заключается в обнаружении транспортного средства. Для решения этой задачи использовалась модель SSD Resnet1, обученная на наборе данных COCO (Common Objects in Context)2. Результатом работы данной модели являются фрагменты входного изображения, которые включают в себя транспортные средства. На втором этапе полученные фрагменты подаются на вход разработанной модели детекции автомобильных номеров, которая возвращает фрагменты изображения, включающие только автомобильные номера. На заключительном этапе производится распознавание символов, образующих автомобильный номер, и их склейка. Подробное описание разработанных моделей, используемых во втором и третьем этапе работы алгоритма, приведено в соответствующих разделах статьи.

Выбранный подход обладает следующими преимуществами:

Отсекаются объекты, которые могут восприниматься как номерной знак: вывески на витринах магазинов, окнах или ограждениях;

Становится возможным установить взаимосвязь между номером и соответствующим транспортным

средством, предусматривая расширение системы в сторону распознавания других характеристик, таких как вид,

марка и модель транспортного средства, цвет и направление движения, отслеживание в видеопотоке; и

К

Сохраняется модульность системы, состоящей из независимых моделей, специализирующихся в решении д конкретной задачи на высоком уровне. §

Модель детекции номеров. Начальный набор данных для тренировки модели представлял из себя 1700

д

изображений индийских автомобилей, снятых под определенным углом. Обученная на данном наборе модель не ^

являлась вариативной к разным условиям, поэтому был применен метод псевдолейблинга3 для неразмеченных

наборов данных (изображений с транспортными средствами). Таким образом, изначальный набор данных для я

К

тренировки был увеличен до 400 тысяч изображений. Размер набора данных для валидации равен 5% от набора для g тренировки. Изображения выбирались случайно и проверялись на правильность разметки координат номерного н знака. ^

Для оценки качества модели использовались метрики IoU (Intersection over Untion), mAP (mean Average ч

4 ^

Precision) и AR (Average Recall) : ^

'DetectionBoxes_Precision/mAP': точность классов, усредненная по пороговым значениям 1ои в диапазоне о

от 0,5 до 0,95 с шагом 0,05; ¡г

л

__и

<3

'Tensorflow detection model zoo. Available at: http://download.tensorflow.org/models/object_

detection/ssd_resnet50_vl_fpn_shared_box_predictor_640x640_cocol4_sync_2018_07_03.tar.gz (accessed: 03.11.2019). ¡5

2 COCO — Common Objects in Context. Available at: http://cocodataset.org/#home (accessed: 03.11.2019).

3 Pseudo-Labeling and Confirmation Bias in Deep Semi-Supervised Learning / E. Arazo [et al.]. 2019. 8 Aug. // arXiv preprint arXiv:1908.02983. ^

4 mAP (mean Average Precision) for Object Detection. Available at: https://medium.com/@jonathan_hui/map-mean-average-precision-for-object- &1 detection-45c121a31173 (accessed: 30.10.2019). ^

X

S 95

'DetectionBoxes_Precision/mAP@.50IOU': средняя точность классов по значению IoU равному 0,5; 'DetectionBoxes_Precision/mAP (small)': средняя точность классов для маленьких объектов (площадь < 32Л2 пикселя);

'DetectionBoxes_Precision/mAP (medium)': средняя точность классов для объектов (32Л2 пикселя < площадь < 96Л2 пикселя);

'DetectionBoxes_Precision/mAP (large)': средняя точность классов для больших объектов (96Л2 пикселя < площадь < 10000Л2 пикселя).

Таблица 1

Результат mAP на валидационных данных

Задача / task Модель / model mAP mAP@.50IOU mAP@.75IOU mAP (small) mAP (medium) mAP (large)

Обнаружение номерных знаков / License plate detection SSD MobileNet v1 FPN 0,8292 0,9843 0,9739 0,7199 0,8197 0,8544

й о тз

'й

и (U

Ü С -Й

Полученная модель устойчива к размеру входного изображения (таблица 1), обнаруживает номерные знаки под наклоном, а также с нетривиальным соотношением сторон.

Модель распознавания номеров. Задача распознавания номерного знака сводится к задаче детекции объектов 36 классов: 26 букв латинского алфавита верхнего регистра и 10 цифр.

Начальный набор данных для обучения модели представлял из себя 1700 изображений индийских автомобилей. Валидация происходила на 10% от начального набора, состоящих преимущественно из трудночитаемых изображений, размеченных вручную.

За отсутствием в достаточном количестве размеченных наборов данных, удовлетворяющим требованиям обучения модели распознавания номеров, было принято решение сгенерировать синтетический набор данных. В качестве аугментаций использовались такие преобразования как поворот, размытие и затемнение, а также различные размеры и цветовые раскраски номерного знака, начертания шрифтов, расстояния между символами (рис. 2).

Рис. 2. Примеры генерируемых изображений

Модель обучалась на синтетическом наборе данных, включающем 300 тысяч изображений. Для повышения точности и количества реальных данных для обучения модели была применена техника псевдолейблинга, увеличившая набор реальных данных до 250 тысяч. Точность распознавания на валидационном наборе данных выросла на 15%, достигнув отметки в 63% (рис. 4). Этот рост обусловлен присутствием в реальных изображениях артефактов, недоступных при генерации.

Рис. 3. Результаты mAP модели до и после добавления реальных наборов данных

Таблица 2

Сравнение mAP моделей на валидационных данных

Задача / task Модель / model mAP mAP@,50IOU mAP@,75IOU mAP (small) mAP (medium) mAP (large)

Распознавание номерных знаков / License plate recognition Faster R-CNN Resnet-101 0,4783 0,9372 0,3578 0,4689 0,5251 0,5543

0,6332 0,9503 0,7228 0,6009 0,6397 0,7051

Faster R-CNN Inception v2 0,5567 0,9534 0,6113 0,5569 0,6094 0,6493

0,5784 0,9652 0,6184 0,5583 0,6157 0,6676

<и

Результаты исследования. В полученной комбинации нейросетевых моделей каждый из классификаторов независимо обучался с использованием изображений из нескольких наборов данных, включающих в себя номерные

знаки стран всех континентов и методов увеличения этих наборов для достижения устойчивости в различных

1 2 К

условиях . Е

ш

Для оценки результатов обнаружения номерных знаков использовалась метрика 1ои. Для задачи §

й

распознавания символов номерного знака правильно размеченным считалось то изображением, в котором все ^ символы в номерном знаке были распознаны корректно. Лишний, отсутствующий или некорректно распознанный ^ символ считались ошибкой на всем номере.

Сравнение результатов проводилось с последней облачной версией коммерческого пакета OpenALPR3 и с S

4 ^

упомянутым выше исследованием 2016 года . Тестирование проводилось на наборе данных 2017-IWT4S-HDR_LP- ^

dataset (таблица 3), предоставленном в исследовании и Application-Oriented License Plate (AOLP) (таблица 4), g

л

предоставленном в исследовании6, включающим в себя 2049 изображений с тайваньскими номерными знаками. ¡2

<и

Они подразделялись на три подмножества с различным уровнем сложности и условиями фотографирования: Access

Control (AC), Law Enforcement (LE) и Road Patrol (RP). о

s

z

--3

1 Pseudo-Labeling and Confirmation Bias in Deep Semi-Supervised Learning. ю

2 Nowruzi FE, et al. How much real data do we actually need: Analyzing object detection performance using synthetic and real data. 2019. arXiv preprint й arXiv:1907.07061. §

3 OpenALPR Cloud API. Available at: https://api.openalpr.com/v2/ (accessed: 02.11.2019). jg

4 Li H., Shen C. Op. cit. ^

5 Hsu G., Chen J., Chung Y. Op. cit.

6

Л О

Li H., Shen C. Op. cit. ф

К

S 97

Таблица 3

Численный эксперимент на публичном наборе данных 2017-IWT4S-HDR_LP-dataset

Метрики / metrics ours OpenALPR

Количество корректно распознанных номерных знаков / Number of correct license plate recognitions 619 / 653 377 / 653

Процент корректно распознанных номерных знаков / Percent of correct license plate recognitions 94,79 57,73

Таблица 4

Численный эксперимент на публичном наборе данных

Метрики / metrics Применяемые решения / Applied solutions Подмножество AC / Subset AC (%) Подмножество LE / Subset LE (%) Подмножество RP / Subset RP (%)

ours 95,58 93,97 94,29

OpenALPR 91,80 86,89 90,84

[12] 1st approach(with CNN I) 93,53 89,83 86,58

IoU обнаружения номерного знака / plate detection [12] 1st approach(with CNN II) 93,25 90,62 86,74

[12] 1st approach(with CNN I & II) 93,97 92,87 87,73

[12] 2st approach(with global features only) 90,50 91,15 83,98

[12] 2st approach(with both local and global features) 94,85 94,19 88,38

Количество

корректно

распознанных ours 88,75 83,94 85,40

номерных знаков / number of correct

letter recognitions:

OpenALPR 86,04 77,98 85,71

2 Обсуждение и заключения. Были построены модели для обнаружения и распознавания номерных знаков

3 транспортных средств. Согласно численным экспериментам, модель для обнаружения номеров оказалась точнее ¡2 решений, полученных в 2016 и 2019 годах1,2 на наборе данных, опубликованных в 2013 году3. Модель -§ распознавания автомобильных номеров оказалась точнее решения 2019 года4 на наборе данных, полученных в 2017 г;^ году [8]. Для увеличения точности моделей были использованы методы генерации синтетических данных и

с

.> 1 Li H., Shen C. Op. cit.

2 OpenALPR Cloud API.

■&1 3 Hsu G., Chen J., Chung Y. Op. cit.

J3 4 OpenALPR Cloud API.

псевдолейблинга. Полученная система оказалась устойчивой к размеру входного изображения и особенностям среды.

Библиографический список

1. Bernstein, D. Automatic vehicle identification: technologies and functionalities / D. Bernstein, A. Y. Kanaan // Journal of Intelligent Transportation System. — 1993. — 1 (2). — P. 191-204.

2. Development of vehicle-license number recognition system using real-time image processing and its application to travel-time measurement / K. Kanayama [et al.] // IEEE Vehicular Technology Conference. — May, 1991. — P. 798-804.

3. Kessentini, Y. A two-stage deep neural network for multi-norm license plate detection and recognition / Y. Kessentini, M.D. Besbes, S. Ammar, A. Chabbouh // ExpertSystems with Applications. — 2019. — Vol. 136. — P. 159170.

4. Tian, J. A two-stage character segmentation method for Chinese license plate / J. Tian, R. Wang, G. Wang, J. Liu, Y. Xia // Computers & Electrical Engineering. — 2015. — Vol.46. — P. 539-553.

5. A CNN-based approach for automatic license plate recognition in the wild / M. Dong [et al.] // British Machine Vision Conference (BMVC). — 2017. — P. 1-12.

6. LeCun, Y. Deep learning / Y. LeCun, Y. Bengio, G. Hinton // Nature. — 2015. — Vol. 521, no. 7553. — P. 436-444.

7. Holistic recognition of low quality license plates by CNN using track annotated data / J. Spanhel [et al.] // 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). — 2017. — P. 1-6.

Сдана в редакцию 16.01.2020 Запланирована в номер 05.03.2020

Об авторах:

Полтавский Артем Владимирович, студент кафедры «Алгебра и дискретная математика», Институт математики механики и компьютерных наук им. И. И. Воровича, (344058, РФ, г. Ростов-на-Дону, ул. Мильчакова, 8а), ORCID: https://orcid.org/0000-0003-3937-1143, poltavskv@sfedu.ru

Юрушкина Татьяна Геннадьевна, преподаватель кафедры «Естественные науки», ФГБОУ ВО «Донской государственный технический университет» (344002, РФ, г. Ростов-на-Дону, пл. Гагарина, 1), ОЯСГО:

https://orcid.org/0000-0001-8413-8506, t.vurushkina@gmail.com ш

К

к

и

Юрушкин Михаил Викторович, старший преподаватель кафедры «Алгебра и дискретная математика», ¡^ Институт математики механики и компьютерных наук им. И. И. Воровича, (344058, РФ, г. Ростов-на-Дону, ¡^

м

ул. Мильчакова, 8а), кандидат физико-математических наук, ORCID: https://orcid.org/0000-0003-2477-0459, ^

m.vurushkin@gmail.com к

ей И К

К

*

Заявленный вклад соавторов Н

А. А. Полтавский — исследования, проведение расчетов, подготовка текста, формирование выводов, §

анализ результатов; Т. Г. Юрушкина — проведение расчетов, подготовка текста, формирование выводов, анализ л

результатов; М. В. Юрушкин — формирование основной концепции, цели и задачи, научное руководство,

доработка текста, корректировка выводов, исследований. ¡3

о К

Е

и

<й и к

<3

а о

к К

99

Все авторы прочитали и одобрили окончательный вариант рукописи.