CC BY
0
Автоматическое распознавание автомобильных номерных знаков в автомобильной самоорганизующейся сети
1 1 12 А.Н. Земцов , М.А. Кузнецов , Садек Сажжад , В.К. Попов ,
П.С. Ступницкий2
1 Волгоградский государственный технический университет 2ООО «ВолгаБлоб»
Аннотация: В работе анализируются различные подходы к выделению и распознаванию номерной пластины в интеллектуальных транспортных сетях. Была предложена модель глубокого обучения для локализации и распознавания номерных знаков на естественных изображениях, которая позволяет достичь удовлетворительных результатов с точки зрения точности и скорости распознавания по сравнению с традиционными. Приводятся оценки эффективности модели глубокого обучения.
Ключевые слова: VANET, интеллектуальные транспортные сети, YOLO, система управления городским движением, стеганография, deep learning, глубокое обучение, защита информации, convolutional neural network, CNN
Постоянное развитие самоорганизующихся транспортных сетей переживает новый этап развития благодаря появлению современных интеллектуальных методов многомодального взаимодействия социокиберфизических систем [1, 2], которые позволяют сделать дорожное движение более безопасным, эффективным, и комфортным. Современные транспортные средства, в том числе, самоуправляемые, могут использовать видеокамеры, радары и лидары для предупреждения столкновений. Концепция многомодального взаимодействия социокиберфизических систем на основе современных методов, таких как LTE Direct, LTE-A, LTE-A Pro, 5G NR позволяет не только избежать коллизий, но также заблаговременно анализировать и сообщать водителю о различных событиях и объектах вне его поля зрения, эффективно управлять городским трафиком и экономить топливо.
При анализе и фиксации различных дорожных событий основным носителем информации о транспортном средстве является его уникальный идентификатор - номерной знак, размер которого составляет 520 X112 мм.
Распознавание номерных знаков является ключевым этапом в системе управления интеллектуальной транспортной сетью, например, при поиске и отслеживании транспортных средств, автоматическом взимании платы за проезд по платным автодорогам и оказание услуг платной парковки.
В современных системах распознавания номерных знаков, как показано на рисунке 1, обычно выделяют три основных этапа: обнаружение, сегментация и распознавание номерного знака. Для реализации предварительной обработки изображения, в том числе, удаления шума бинаризации, выравнивания гистограммы, и других задач использовался функционал библиотеки ОрепСУ.
Рис. 1. - Укрупненные этапы распознавания номерных знаков.
Существует множество подходов, направленных на решение этой задачи. Одними из эффективных являются методы текстурного анализа. Например, в [4] представлен, основанный на вейвлет-преобразовании с использованием функции масштабирования Хаара, эффективный метод обнаружения номерных знаков, который включает 3 последовательных этапа: выделение контрастных особенностей с помощью вейвлет-преобразования для приближенной локализации номерных знаков на изображении, уточнение области поиска номерных знаков с помощью опорной линии с максимальным горизонтальным отклонением, и окончательную локализацию номерных знаков. Данный метод особенно эффективен при извлечении различно освещенных и ориентированных номерных знаков.
В [5] авторы используют механизм скользящего окна для выявления областей номерного знака в областях вейвлет-разложения анализируемого изображения.
В [6] описан метод на основе вейвлет-разложения и эмпирической модовой декомпозиции для определения положения номерного знака. Все методы текстурного анализа устойчивы к деформации номерных знаков, что является ключевым преимуществом их использования.
Для поиска прямых линий на изображении может использоваться преобразование Хафа [7]. В информационных системах интеллектуальных транспортных сетей преобразование Хафа используется для решения целого ряда задач: поиск номерных знаков, элементов дорожной разметки, дорожных знаков и указателей, и т.д.
В [8] преобразование Хафа используется для поиска границ полосы движения в сложных погодных условиях. К недостаткам этой группы методов следует отнести чувствительность к шуму, и низкую эффективность обработки размытых и комплексных многокомпонентных изображений. Следует отметить, что эти недостатки могут быть нивелированы за счет использования методов предварительной обработки [8].
На этапе тестирования в системе был предложен и реализован метод на основе комбинации преобразования Хафа с контурным анализом, позволивший добиться высокой скорости обработки и высокой точности выделения пластины номерного знака, т.к. для выделения границ существует множество методов на основе быстрых алгоритмов фильтрации, которые обладают естественным параллелизмом, и высокой эффективностью аппаратной реализации. Примеры выделения границ и вычисления преобразования Хафа для захваченных изображений показаны на рисунке 2.
Й Инженерный вестник Дона, №12 (2023) ivdon.ru/ru/magazine/archive/N12y2023/8880
Захваченное изображение Контрастирование перепадов Преобразование Хафа
Рис. 2. - Примеры выделения границ и вычисления преобразования Хафа для
захваченных изображений.
Пример области пластины номерного знака, выделенной из фрагмента захваченного изображения дорожной обстановки показан на рисунке 3.
Новизна подхода также заключается в том, что с помощью преобразования Хафа генерировалась отфильтрованная выборка для последующего обучения нейронной сети с переносом опыта. Геометрические преобразования изображения пластины номерного знака осуществлялись на основе усреднения углов найденных прямых.
Рис. 3. - Область пластины номерного знака с обнаруженными
линиями.
Пример выделенной из захваченного изображения дорожной обстановки изображения пластины номерного знака показан на рисунке 4.
Эквализация, сглаживание, бинаризация, фильтрация являются необходимыми в условиях вариативности освещения, погодных условий, местоположения номерной пластины в кадре, углов расположения относительно регистрирующего устройства, и осуществлялись с помощью разработанной библиотеки.
Ы776нн!?1 Н776НН34
Рис. 4. - Выделенная номерная пластина и результат бинаризации.
В настоящее время для решения задачи распознавания номерных знаков наиболее подходящими являются модели нейронных сетей, основанные на глубоком обучении. Одной из лучших архитектур для решения задачи распознавания номерных знаков является сверточная нейронная сеть [9].
В качестве базовой модели для обучения с переносом опыта использовалась модель из семейства открытых моделей машинного обучения YOLO, предложенного в [10]. Модель характеризуется высокой точностью, быстродействием, и компактностью генерируемых файлов весов, что позволяет использовать ее на встраиваемых устройствах [11].
С другой стороны, рекуррентные нейронные сети играют незаменимую роль в области сквозной обработки естественного языка, позволяя избавиться от сегментации символов. Необходимо отметить, что большинство исследований ограничивается идеальными внешними условиями и статическим фоном, т.е. не тестировались в условиях различного освещения, движущихся с различной скоростью транспортных средств, и т.п.
На рисунке 5 показан график зависимости точности распознавания в течение цикла обучения. Практические сценарии включали дорожные события на улицах и парковках в различных условиях окружающей среды. За счет реализованного обучения с переносом опыта модель обеспечивает хороший показатель точности свыше 96.5% уже на 5 эпохе обучения.
М Инженерный вестник Дона, №12 (2023) ivdon.ru/ru/magazine/archive/N12y2023/8880
Изображения номерной пластины, дорожного события, фрагмент видеопоследовательности позволяют страховым компаниям и следователям более полно установить все обстоятельства происшествия, и могут автоматически передаваться для хранения в базе данных.
Результаты фото и видеофиксации могут быть легко отредактированы злоумышленником. Для обеспечения санкционированного доступа могут использоваться средства как криптографической, так и стеганографической защиты. Защита такого рода данных осуществлялась комбинацией российских криптографических стандартов, а также методами стеганографической защиты [12], и скремблирования [13], обеспечивая, таким образом, надежный подход к противодействию растущим угрозам компьютерных и сетевых атак.
В ходе работы была предложена модель глубокого обучения с переносом опыта для локализации и распознавания номерных знаков на естественных изображениях.
Рис. 5. - График зависимости точности модели от количества эпох обучения.
Модель распознавания номерных знаков с использованием алгоритма локализации глубокого обучения демонстрирует удовлетворительные результаты с точки зрения точности и скорости распознавания по сравнению
с описанными подходами на основе методов текстурного анализа с освещенностью пластины номерного знака от 20 до 1000 лк, и углами отклонения пластины номерного знака до 1.135 радиан.
Литература
1. Шилов Н.Г., Ермолаев В.И. Методологические основы интеллектуальной поддержки социально-ориентированных решений в гибких транспортных системах // Научный вестник НГТУ, 2016. № 3. С. 59-72.
2. Смирнов А.В., Левашова Т.В. Приобретение знаний в социокиберфизических системах в процессе информационного взаимодействия ресурсов // Информационно-управляющие системы, 2017. № 6(91). С. 113-122.
3. Земцов А.Н., Балеев И.А. Распознавание дефектов на металлических сплавах с помощью алгоритмов компьютерного зрения OpenCV // Инженерный вестник Дона, 2021. № 3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6874.
4. Hsieh J.W., Yu S.H., Chen Y. Morphology-based license plate detection from complex scenes // 2002 Int. Conf. on Pattern Rec., 2002. Vol. 3. pp. 176-179.
5. Wang Y.R., Lin W.H., Horng S.J. A sliding window technique for efficient license plate localization based on discrete wavelet transform // Expert Systems with Applications, 2011. Vol. 38(4), pp. 3142-3146.
6. Yu S., Li B., Zhang Q. A novel license plate location method based on wavelet transform and EMD analysis // Pattern Rec., 2015. Vol. 48, pp. 114125.
7. Corera I., Pineiro E., Navallas J. Long-Range Traffic Monitoring Based on Pulse-Compression Distributed Acoustic Sensing and Advanced Vehicle Tracking and Classification Algorithm // Sensors, 2023. Vol. 23(6):3127.
8. Javeed M.A. Lane Line Detection and Object Scene Segmentation Using Otsu Thresholding and the Fast Hough Transform for Intelligent Vehicles in Complex Road Conditions // Electronics, 2023. Vol. 12(5): 1079.
9. Selmi Z., Halima M.B., Alimi А.М. Deep learning system for automatic license plate detection and recognition // 14th IAPR Int. Conf. Document Anal. Rec.., 2017. pp. 1132-1138.
10.Redmon J., Divvala S., Girshick R. You only look once: Unified, real-time object detection // IEEE Conf. Comput. Vis. Pattern Rec., 2016. pp. 779788.
11.Tumas P., Serackis A., Nowosielski A. Augmentation of Severe Weather Impact to Far-Infrared Sensor Images to Improve Pedestrian Detection System // Electronics, 2021. 10(8):934.
12.Земцов А.Н., Чан З.Х. Защита графической информации от неправомерного использования маркированием на основе модуляции индекса квантования // Современные наукоемкие технологии, 2023. № 8. С. 20-26.
13.3емцов А.Н., Цыбанов В.Ю. Скремблирование цифровых изображений // Инженерный вестник Дона, 2020. № 6. URL: ivdon. ru/ru/magazine/archive/N6y2020/6503.
References
1. Shilov N.G., Ermolaev V.I. Nauchnyj vestnik NGTU, 2016. № 3. pp. 59-72.
2. Smirnov A.V., Levashova T.V. Informacionno-upravlyayushchie sistemy, 2017. № 6(91). pp. 113-122.
М Инженерный вестник Дона, №12 (2023) ivdon.ru/ru/magazine/archive/N12y2023/8880
3. Zemtsov A.N., Baleev I.A. Inzhenernyj vestnik Dona, 2021. № 3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6874.
4. Hsieh J.W., Yu S.H., Chen Y. 2002 Int. Conf. on Pattern Rec., 2002. Vol. 3. pp. 176-179.
5. Wang Y.R., Lin W.H., Horng S.J. Expert Systems with Applications, 2011. Vol. 38(4), pp. 3142-3146.
6. Yu S., Li B., Zhang Q. Pattern Rec., 2015. Vol. 48, pp. 114-125.
7. Corera I., Pineiro E., Navallas J. Sensors, 2023. Vol. 23(6). p. 3127.
8. Javeed M.A. Electronics, 2023. Vol. 12(5). p. 1079.
9. Selmi Z., Halima M.B., Alimi А.М. 14th IAPR Int. Conf. Document Anal. Rec., 2017. pp. 1132-1138.
10.Redmon J., Divvala S., Girshick R. IEEE Conf. Comput. Vis. Pattern Rec., 2016. pp. 779-788.
11.Tumas P., Serackis A., Nowosielski A. Electronics, 2021. 10(8):934.
12.Zemtsov A.N., Tran D.K. Sovremennye naukoemkie tekhnologii, 2023. № 8. pp. 20-26.
13.Zemtsov A.N., Tsybanov V.Yu. Inzhenernyj vestnik Dona, 2020. № 6. URL: ivdon.ru/ru/magazine/archive/N6y2020/6503.
Дата поступления: 10.11.2023 Дата публикации: 12.12.2023
