CC BY
77
Разработка и исследование программного модуля для контроля и управления доступом транспортных средств на основе распознавания автомобильных номеров
Е.Е. Истратова, А.И. Гостеева
Аннотация—В статье представлены результаты разработки и исследования программного модуля для контроля и управления доступом транспортных средств на территорию. На основе анализа литературных источников был разработан алгоритм для распознавания государственных автомобильных номеров, выполнена его программная реализация, сформирован собственный набор данных и обучена модель нейронной сети. Функциональные возможности программы заключаются в применении одноэтапных методов обнаружения к решению задачи распознавания автомобильных номеров транспортных средств. Благодаря этому, программный продукт может быть использован в учебных и научно-исследовательских целях, а также может применяться как автономно, так и подключаться к системам безопасности зданий в качестве встраиваемого модуля. В ходе сравнительного анализа разработанного программного модуля с аналогичными программными продуктами, был сделан вывод о том, что применение разработанной модели является целесообразным. Она может быть использована для распознавания государственных автомобильных номеров в режиме реального времени, показывая хорошую точность и полноту, а также отличную скорость обработки кадров. В результате был реализован и исследован программный модуль для контроля и управления доступом транспортных средств на основе распознавания автомобильных номеров, обладающий следующими преимуществами: возможностью работы на устройствах с небольшой вычислительной мощностью; высокой скоростью обработки изображений; возможностью интеграции с другими программными продуктами; низкой себестоимостью.
Ключевые слова—государственный автомобильный номер, сверточная нейронная сеть, распознавание, автоматизация, видеоаналитика, программный модуль.
I. Введение
Автоматизация пропуска транспортных средств на территорию предприятия является серьезной проблемой, для решения которой применяются различные методы, например, установка датчиков обнаружения движения. Но зачастую необходимо не просто пропустить машину на территорию, но и распознать номер въезжающего
Истратова Евгения Евгеньевна, Новосибирский государственный технический университет, [email protected]
Гостеева Анна Игоревна, новосибирский государственный технический университет, [email protected]
транспортного средства. Усовершенствовать процесс пропуска автомобилей можно за счет применения систем автоматизированной интеллектуальной видеоаналитики.
Компьютерное зрение - это направление в области искусственного интеллекта, связанное с использованием информационных технологий для получения, обработки и применения изображений объектов реального мира для решения разного рода прикладных задач без участия (полного или частичного) человека. Как и другие типы искусственного интеллекта, компьютерное зрение ориентируется на выполнение и автоматизацию задач, имитирующих человеческие возможности, например, процессы имитации зрения и восприятия человека. Очень активно компьютерное зрение используется для обнаружения движений и распознавания объектов, лиц, символов. Также данная технология применяется в системах безопасности зданий для автоматизации контрольно-пропускных пунктов, таких как: шлагбаумы, ворота, турникеты.
Автоматизация процесса идентификации
регистрационного номера автомобиля является важным аспектом контроля и обеспечения безопасности. Однако сверять номер подъезжающей машины с номерами машин, допуск которых разрешен на территорию, -задача, требующая наличия временных и кадровых ресурсов [1]. Поэтому для ее решения целесообразно применение интеллектуальной видеоаналитики, характеризующейся оперативность обработки, высоким качеством выполнения процесса идентификации и стабильностью работы даже на встраиваемых устройствах с небольшой вычислительной мощностью.
Видеоаналитика представляет собой направление, связанное с компьютеризированной обработкой и автоматическим анализом видеоконтента VCA (Video Content Analysis), который поступает на видеосервер с видеокамер, переносных устройств или из сети Интернет через веб-камеры [2]. Используя средства видеоаналитики можно создать систему распознавания автомобильных номеров, которая позволит выполнять следующие функции:
1) ограничение доступа автомобилей на территорию;
2) разграничение уровней доступа пользователей в системе;
3) управление временем нахождения машин на территории;
4) отслеживание въезда и выезда автотранспорта на автостоянках;
5) осуществление автоматического подсчета стоимости предоставленных услуг по парковке автомобилей;
6) контроль свободного места на парковках;
7) сбор статистических данных [3].
Автоматизация процесса въезда машин на
территорию с помощью технологии распознавания автомобильных номерных знаков положительно влияет на производительность и надежность работы контрольно-пропускных пунктов, скорость пропуска машин на которых в данном случае зависит исключительно от пропускной способности шлагбаумов, ворот и других средств ограничения въезда. Такая система безопасности будет работать автономно, а вмешательство человека будет необходимо только для разрешения спорных ситуаций [4].
Распознавание автомобильных номерных знаков является актуальной областью исследований, поскольку требования к качеству и скорости обработки информации в городских интеллектуальных транспортных системах повышаются. Однако, поскольку распознавание автомобильных номерных знаков чувствительно к условиям окружающей среды, таким как: сложный фон изображения, угол обзора и изменение освещенности, то корректно распознавать буквы и цифры на них по-прежнему сложно. Таким образом, можно сделать выводы об актуальности и востребованности процесса распознавания
автомобильных номерных знаков с точки зрения разработки программного обеспечения для применения в качестве модуля системы безопасности зданий.
Целью исследования являлась разработка программного модуля для распознавания государственных автомобильных номеров,
соответствующих ГОСТ Р 50577-2018 [5].
II. Анализ аналогов для распознавания
АВТОМОБИЛЬНЫХ НОМЕРОВ
Согласно проведенному анализу литературных источников, активный рост числа камер наблюдения привел к тому, что для решения задач распознавания автомобильных номеров в обязательном порядке должны применяться интеллектуальные системы с настроенными алгоритмами автоматического распознавания объектов. При этом могут использоваться различные технологии и методы.
В последнее время автоматическое распознавание автомобильных номерных знаков привлекло внимание исследователей из-за значительной производительности методов глубокого обучения (ЭЬ). Данный способ требует достаточно большую обучающую выборку, что позволяет увеличить точность алгоритма. При этом система, использующая нейронные сети, менее требовательна к входным данным, в отличие от предыдущих методов. При таком подходе система
распознавания номеров будет более универсальной, нежели использование, например, шаблонных методов. Нейронная сеть способна распознавать номера вне зависимости от формата, а также номера, которые могут находится в неожиданном месте или содержащие различное количество букв и цифр. Данный метод будет быстрее точнее извлекать и анализировать информацию, а также показывать хорошие результаты при работе в режиме реального времени. При таком подходе не обязательна предварительная обработка кадра, что позволяет увеличить скорость распознавания.
В статье [6] для распознавания автомобильных номерных знаков применяется глубокая сверточная нейронная сеть (ЭСМЫ), представляющая собой метод, производительность которого, как недавно было доказано, имеет превосходную частоту ошибок обобщения в области распознавания изображений. Предлагаемая многоуровневая структура БСЫЫ, используемая в этом исследовании, состояла из комбинации слоев для оценки наличия автомобильного номерного знака и для распознавания цифр и символов на нем. Метод обучения был основан на многозадачном обучении. С помощью экспериментов с использованием реальных изображений авторы исследования доказали, что предложенная многоуровневая структура классифицирует цифры и символы более точно, чем БСЫЫ, использующая обычный слой.
В последние годы различные системы, использующие подходы глубокой сверточной нейронной сети, достигли хороших результатов при обнаружении номерных знаков и распознавании символов. Однако задача распознавания номерных знаков, как правило, требует значительных вычислительных ресурсов, когда сканируется весь кадр входного изображения, а затем выполняется распознавание символов.
Распознавание нескольких номерных знаков становится все более популярным в приложениях интеллектуальной транспортной системы для мониторинга безопасности и наблюдения. Достижения в области устройств сбора данных увеличили доступность изображений высокой четкости, которые могут захватывать изображения нескольких транспортных средств. Так как номерной знак занимает относительно небольшую часть изображения, поэтому его обнаружение на изображении считается сложной задачей. Кроме того, общая производительность ухудшается, когда вышеупомянутый фактор сочетается с различными условиями освещения, такими как: ночь, сумерки и дождь. Поскольку трудно найти небольшой объект на всем изображении, в статье [7] был предложен двухэтапный подход к локализации пластины в сложных условиях. Было доказано, что такой подход повышает точность и сокращает время обработки. Для распознавания символов был применен классификатор справочной таблицы, использующий адаптивное повышение с модифицированным преобразованием переписи в качестве экстрактора признаков.
В статье [8] представлена методология разработки системы обнаружения и распознавания бразильских
номерных знаков с использованием сверточных нейронных сетей, которая подходит для встроенных систем. Полученное решение обнаруживает номерные знаки на захваченном изображении с использованием архитектуры Tiny YOLOv3 и идентифицирует их символы с помощью второй сверточной сети, обученной на синтетических изображениях и настроенной на изображения реальных номерных знаков. Предложенная архитектура продемонстрировала свою устойчивость к изменениям угла и шума, при этом требуя одного прямого прохода для каждой сети, что обеспечивает более быструю обработку по сравнению с другими подходами к глубокому обучению. Методология была проверена с использованием реальных изображений номерных знаков в различных условиях окружающей среды, достигла уровня обнаружения 99,37% и общего уровня распознавания 98,43%, показывая среднее время 2,70с для обработки изображений 1024*768 с одним номерным знаком в Raspberry. Pi3 (процессор ARM Cortex-A53). Для повышения точности распознавания был протестирован ансамбль моделей CNN вместо одной модели CNN, что привело к увеличению среднего времени обработки до 4,88с для каждого изображения при увеличении скорости распознавания до 99,53%.
Благодаря быстрому развитию сверточных нейронных сетей производительность обнаружения и распознавания автомобильных номерных знаков значительно улучшилась. Тем не менее, большинство существующих методов решают проблемы обнаружения и распознавания по отдельности и фокусируются на конкретных сценариях, что затрудняет развертывание для реальных приложений.
Исследование [9] было посвящено обнаружению и распознаванию китайских номерных знаков на сложном фоне. Актуальность работы связана с тем, что большинство приложений, в настоящее время, ориентированы на хорошие условия. В сложных природных сценах возникают проблемы с неточной локализацией и плохой точностью распознавания символов. Поэтому в статье был предложен двухэтапный алгоритм распознавания номерных знаков на основе YOLOv3 и улучшенной сети распознавания номерных знаков (ILPRNET). На первом этапе использовался YOLOv3 для определения положения номерного знака и его последующего извлечения. На втором этапе сеть распознавания номерных знаков ILPRNET применялась для локализации символов номерных знаков, а двухмерный распознаватель номерных знаков с кодировщиком CNN выполнял распознавание автомобильных номерных знаков. Результаты тестирования показали, что предложенный алгоритм хорошо работает в различных сложных сценариях. В частности, в поднаборах данных, таких как CCPD-Base, CCPD-DB, CCPD-FN, CCPD-Weather и CCPD-Challenge, точность распознавания достигла 99,2%, 98,1%, 98,5%, 97,8% и 86,2%, соответственно.
При проектировании автоматической системы для сбора информации о транспортных средствах номерной знак является уникальным идентификатором каждого
транспортного средства. Исходя из этого, в статье [10] была представлена система автоматического распознавания автомобильных номеров, основанная на технологии Faster R-CNN и улучшенная за счет добавления адаптивной сети для сегментации номерного знака для извлечения, как самих номеров, так и идентификационных букв на них. Кроме того, в систему был добавлен слой деконволюции в верхней части сети извлечения признаков, чтобы определить небольшой размер целевого номерного знака. Оценка предлагаемого модельного набора данных привела к полноте 98,65% и точности 97,46%. Разработанная система способна обрабатывать изображения в режиме реального времени со скоростью обработки 23 кадра в секунду.
В статье [11] предложена структура глубоких сверточных нейронных сетей для распознавания иранских номерных знаков. Первая CNN — это сеть YOLOv3, которая обнаруживает иранский номерной знак на входном изображении, а вторая CNN — это Faster R-CNN, которая распознает и классифицирует символы обнаруженного номерного знака. В статье также приведены результаты разработки набора данных иранских номерных знаков, состоящего из плохо обработанных изображений. Сеть YOLOv3 достигла 99,6% mAP, 98,26% отзыва, 98,08% точности, а средняя скорость обнаружения составила всего 23 мс. Кроме того, сеть Faster R-CNN была обучена и протестирована на разработанном наборе данных и достигла отзыва 98,97%, полноты 99,9% и точности 98,8%. Предлагаемая система может распознавать номерной знак в сложных ситуациях, таких как нежелательные данные на номерном знаке. Сравнение этой системы с другими иранскими системами распознавания номерных знаков показало, что она быстрее, точнее, а также может работать в открытой среде.
Таким образом, на основе проведенного анализа методов распознавания автомобильных номеров был сделан вывод о том, что наиболее оптимальным из них для реализации программного модуля является именно применение нейронных сетей. Поэтому разработка модуля системы безопасности для распознавания государственных автомобильных номеров была выполнена на основе нейронных сетей и глубокого обучения.
III. Разработка программного модуля
Цель разработки модуля заключалась в автоматизации процессов сбора, обработки, хранения и вывода информации о государственных автомобильных номерах для принятия решения о разрешении или запрещении въезда автотранспортного средства на территорию.
Для решения данной цели были выполнены задачи по захвату видеопотока, распознаванию символов номера транспортного средства, проверке права автомобиля на въезд, а также регистрации в журнале событий. Функциями разрабатываемого программного модуля являются:
1. Обнаружение и классификация номера подъезжающей к шлагбауму машины.
2. Пропуск автомобиля на территорию на основе сравнения номера подъезжающего транспортного средства с номерами, хранящимися в базе данных. Исходя из результатов поиска, посылается запрос в модуль управления ограничивающими устройствами для открытия шлагбаума, либо в главный пункт управления, где решение по допуску машины на территорию будет приниматься человеком.
3. Запись и хранение в базе данных событий (время события, номер автомобиля, карточка владельца транспортного средства).
4. Создание карточки владельца транспортного средства.
На основе исследования целей и задач программного модуля были сформулированы следующие функциональные требования, выполнение которых необходимо для его эффективного использования:
1) достаточно быстрая обработка кадра в режиме реального времени;
2) возможность оптимизации архитектуры под одноплатные компьютеры и встраиваемые системы;
3) простота установки и развертывания программного обеспечения на целевых платформах;
4) малое потребление вычислительных ресурсов оборудования.
В разрабатываемом программном модуле необходимо предусмотреть авторизацию и разграничение ролей пользователей. Для реализации программного обеспечения были выделены две основные роли пользователей: администратор и оператор.
Пользователь с ролью администратор обладает полными правами, связанными с установкой и настройкой программного модуля, а также с добавлением новых пользователей и разграничением их прав доступа к различным элементам данной программы. Администратор имеет возможность редактировать базу данных.
Пользователь с ролью оператор может просматривать информацию, хранящуюся в базе данных без возможности ее исправить. Данная функция просмотра данных ему необходима для отслеживания информации о транспортных средствах и их владельцах. Помимо этого, оператор может пропускать транспортное средство самостоятельно в случае необходимости.
На основании анализа различных методов, моделей и алгоритмов для итоговой реализации программного модуля был разработан алгоритм для распознавания государственных автомобильных номеров,
отличающийся такими характеристиками, как: высокая точность обнаружения объектов на изображениях, возможность работы в режиме реального времени и низкие требования к вычислительным ресурсам оборудования.
Разработанный алгоритм включает следующие
основные этапы:
1) захват видеопотока;
2) распознавание символов номера транспортного средства;
3) проверка права автомобиля на въезд;
4) регистрация в журнале событий.
Блок-схема алгоритма процесса распознавания и
автоматического пропуска транспортного средства на территорию представлена на рис. 1.
Так как программный модуль служит в основном для пропуска машин на территорию, то необходимо сверять распознанный номер подъезжающей машины с «разрешенными» для въезда на территорию номерами, которые хранятся в базе данных. Если номер на кадре распознан с точностью, выше заданного пользователем параметра, и отличается от номера, который был распознан на предыдущем кадре, то посылается запрос в базу данных. Если данному транспортному средству разрешен допуск на территорию, то посылается запрос в реле для открытия шлагбаума, ворот и т.д. Если номер на кадре совпадает с номером на предыдущем кадре, то запросы в базу данных будут посылаться после истечения таймера, заданного пользователем. Это необходимо для того, чтобы предотвратить случаи, когда транспортное средство, имеющее допуск к проезду, не пропускают на территорию из-за технических ошибок, например, сбоя в работе реле. В случае спорных ситуаций, оператор системы безопасности может самостоятельно принять решение о допуске автомобиля на территорию, для этого предусмотрена кнопка, которая посылает запрос в реле для открытия шлагбаума, ворот и т.д.
пользователю доступна работа с основным окном программного модуля, которое изображено на рис. 2.
Z
Ввод пороговой точности
7
Поиск неиронией Сё! ,1
Рис. 1 - Блок-схема алгоритма для распознавания государственных автомобильных номеров
Для удобства работы с программным модулем для пользователя был разработан интерфейс, процесс создания которого состоял из следующих этапов:
1) разработка основного окна программы;
2) разработка форм для взаимодействия пользователей с базой данных;
3) разработка формы для авторизации пользователей.
При запуске программы первое, что видит пользователь - форма авторизации. Логины и пароли пользователей хранятся в таблице базы данных Users. Добавлять новых пользователей и задавать им пароли может администратор в специальном разделе редактирования базы данных. После авторизации
Рис. 2 - Главное окно программы
Визуально структура окна разбита на три области, в каждой из которых представлен соответствующий процесс. Первый блок, расположенный в левом верхнем углу, содержит в себе видеопоток. Второй блок, размещенный справа сверху, состоит из функциональных кнопок для добавления потока, разрешения въезда вручную, а также позволяет перейти к редактированию базы данных. Третий блок, расположенный в нижней части окна, является журналом событий. В меню инструментов находятся кнопки для изменения настроек и выхода из учетной записи.
Форма для работы с базой данных содержит таблицу с информацией об автомобилях и их владельцах, а также таблицу с информацией сотрудниках, которые являются пользователями программного модуля. В зависимости от роли пользователя предусмотрены такие функции, как: просмотр, добавление, удаление и редактирование записей. Форма для изменения настроек позволяет задавать пороговую точность, при достижении которой будет посылаться запрос в базу данных для проверки транспортного средства на право въезда, а также зону области обнаружение номера (ширина и высота, соответственно).
IV. Разработка набора данных и обучение модели нейронной СЕТИ
Для обучения модели нейронной сети был собран и размечен набор данных. Часть набиралась из сети Интернет, другая - была собрана вручную. Нужно было обеспечить разнообразие данных, чтобы модель могла работать в различных условиях (загрязненные номера, плохая видимость, зашумленность, разные ракурсы и т.д.), а после для улучшения точности модели необходимо было собрать такой датасет, где номер одного и того же автомобиля будет сфотографирован с хорошим разрешением и с разных ракурсов - левый, правый, ближний фронтальный и дальний фронтальный ракурсы. После сбора данных происходила их разметка.
На сегодняшний день разметка данных активно используется в сферах машинного обучения и искусственного интеллекта. Без размеченных данных нельзя было бы обучить алгоритмы машинного обучения. Разметка данных представляет собой процесс выявления людьми объектов в сырых данных, например, в видео или на изображениях, и добавления к ним меток. С помощью размеченных данных модель нейронной сети может обучаться, так как она узнает правильный ответ. Обученная модель может распознавать и классифицировать данные уже на совершенного незнакомом для нее наборе данных. Разметка данных происходила на платформе DarkMark.
DarkMark - это открытый бесплатный инструмент с графическим интерфейсом, который был написан на языке C++. Он используется для аннотирования изображений и имеет несколько функций, адаптированных для использования с Darknet и YOLO. Для контроля качества в DarkMark предусмотрен быстрый обзор всех аннотаций. С помощью него можно заметить ошибки в разметке данных. Помимо этого, DarkMark можно использовать для создания конфигурационных файлов Darknet и YOLO для дальнейшего обучения модели нейронной сети.
Для обучения модели нейронной сети необходимо предоставить данные в формате YOLO Darknet TXT. Этот формат содержит один текстовый файл для каждого изображения (содержащий аннотации и числовое представление метки) и карту меток, которая сопоставляет числовые идентификаторы с удобочитаемыми строками. Аннотации нормализованы в диапазоне [0, 1], что упрощает работу с ними даже после масштабирования или растяжения изображений. Данный формат стал довольно популярным, поскольку использовался для различных моделей YOLO в среде Darknet. Обучение происходило в среде google colab в течении 72 часов при количестве итераций (эпох) 46000.
V. Исследование программного модуля для
РАСПОЗНАВАНИЯ ГОСУДАРСТВЕННЫХ АВТОМОБИЛЬНЫХ НОМЕРОВ
Для оценки качества обучения в той же среде google colab был сгенерирован график точности mAP и средней ошибки avg Loss от количества итераций. Результаты обучения модели представлены на рис. 3.
Из рисунка видно, что средняя точность обнаружения mAP составила 96,6%, что является довольно хорошим показателем при условии наличия большого числа классов, необходимых для распознавания. Модель способна обнаруживать номерную пластину и распознавать все цифры и буквы, которые используются для автомобильных номеров Российской Федерации. Таким образом, количество классов для распознавания составляет 10 цифр + 12 букв + номерная пластина = 23.
Рисунок 3 - Зависимость средней точности тАР (красный цвет) и значения ошибки (синий цвет) от числа итераций
Чтобы убедиться в корректности модели, было проведено сравнение различных моделей для распознавания автомобильных номеров, взятых из открытых литературных источников. Результаты представлены в табл. 1.
Таблица 1. Результаты сравнения разработанного программного модуля с другими программными
Ссылка мл источник Mo it:- Точность, % Паюта, % Hpi'UH обраоо|кн.чс
[S] CNN 9MJ 99,37 4!
гя CNN Ш 11
[101 Faster R-CNN 98,65 13
[111 Г,- i: 1» CNN ■мл *»*) И
PS'ifi :nV>: liн:- lj_h моле.чь 9S.4S 99.» ?
продуктами
Исходя из результатов сравнительного анализа, можно сделать вывод о том, что применение разработанной модели является целесообразным. Она может быть использована для распознавания государственных автомобильных номеров в режиме реального времени, показывая хорошую точность и полноту, а также отличную скорость обработки кадров.
VI. Заключение
Таким образом, в результате реализации работы было получено программное обеспечение [12], предназначенное для распознавания государственных автомобильных номеров. Готовый программный продукт может быть использован в учебных и научно-исследовательских целях, а также для обеспечения безопасности в составе модуля систем безопасности зданий.
Преимущества разрабатываемого решения заключаются в снижении себестоимости системы, быстродействии, возможности работать в режиме реального времени, выполнять обработку большого количества видеопотоков, простоте интеграции, которая позволяет программе применяться как автономно, так и подключаться к системам безопасности зданий в
качестве встраиваемого модуля. Следовательно, программное обеспечение может применяться для ограничения доступа автомобилей на территорию, разграничения уровней доступа, управления временем нахождения транспортного средства на территории и сбора статистических данных.
Практическая значимость работы заключается в использовании одноэтапного подхода к обнаружению объектов и самостоятельного сбора набора данных для обучения модели, а также непосредственного обучения модели нейронной сети для распознавания государственных автомобильных номеров в режиме реального времени. Программный модуль работает достаточно быстро и точно даже в плохих условиях. Данный модуль можно использовать на базе встраиваемых систем или одноплатных компьютеров за счет его высокой производительности и малого потребления ресурсов.
Библиография
[1] Лаптева М.А., Фаворская М.Н., Болдырев К.М. Система распознавания регистрационных номеров автомобиля с применением нейронной сети // Актуальные проблемы авиации и космонавтики. 2014. №10. URL: https://cyberleninka.ru/article/n/sistema-raspoznavaniya-registratsionnyh-nomerov-avtomobilya-s-primeneniem-neyronnoy-seti.
[2] Могилин К.А., Селищев В.А. Интеллектуальные системы видеонаблюдения в комплексах безопасности // Известия ТулГУ. Технические науки. 2020. №3. URL: https://cyberleninka.ru/article/n/intellektualnye-sistemy-videonablyudeniya-v-kompleksah-bezopasnosti.
[3] Елизаров А. И., Афонасенко А. В. Методика построения систем распознавания автомобильного номера // Известия ТПУ. 2006. №8. URL: https://cyberleninka.ru/article/n/metodika-postroeniya-sistem-raspoznavaniya-avtomobilnogo-nomera.
[4] Кадров И.В., Воробейчик М.М, Редькин М.Ю., Мягков А.Ю. Распознание автомобильных номеров с помощью нейронной сети // StudNet. 2020. №10. URL: https://cyberleninka.ru/article/n/raspoznanie-avtomobilnyh-nomerov-s-pomoschyu-neyronnoy-seti.
[5] ГОСТ Р 50577-2018 Знаки государственные регистрационные транспортных средств — М.: АО «Кодекс», 2018. — 40 с.
[6] Kim HH., Park JK., Oh JH. Multi-task convolutional neural network system for license plate recognition. Int. J. Control Autom. Syst. 15, 2942-2949 (2017). URL: https://doi.org/10.1007/s12555-016-0332-z.
[7] Khan K., Imran A., Rehman H.Z.U. Performance enhancement method for multiple license plate recognition in challenging environments. J Image Video Proc. 2021, 30 (2021). URL: https://doi.org/10.1186/s13640-021-00572-4.
[8] Izidio D.M.F., Ferreira A.P.A., Medeiros H.R. An embedded automatic license plate recognition system using deep learning. Des Autom Embed Syst 24, 23-43 (2020). URL: https://doi.org/10.1007/s10617-019-09230-5.
[9] Zou Y., Zhang Y., Yan J. License plate detection and recognition based on YOLOv3 and ILPRNET. SIViP 16, 473-480 (2022). URL: https://doi.org/10.1007/s11760-021-01981-8.
[10] Saidani T., Touati Y.E. A vehicle plate recognition system based on deep learning algorithms. Multimed Tools Appl 80, 36237-36248
(2021). URL: https://doi.org/10.1007/s11042-021-11233-z.
[11] Shahidi Zandi M., Rajabi R. Deep learning-based framework for Iranian license plate detection and recognition. Multimed Tools Appl
(2022). URL: https://doi.org/10.1007/s11042-022-12023-x.
[12] Истратова Е.Е., Бухамер Е.А., Гостеева А.И. Программа для контроля и управления доступом транспортных средств на основе распознавания автомобильных номеров. Свидетельство о
регистрации программы для ЭВМ 2022661265, 22.06.2022.
Заявка № 2022660761 от 22.06.2022.
Истратова Евгения Евгеньевна. Новосибирский государственный технический университет, г. Новосибирск, Россия. Кандидат технических наук, доцент кафедры автоматизированных систем управления. Количество печатных работ: 97. Область научных интересов: информационные технологии, информационные системы, системы компьютерного зрения. e-mail: [email protected] (Ответственная за переписку).
Гостеева Анна Игоревна. Новосибирский государственный технический университет, г. Новосибирск, Россия. Студентка факультета автоматики и вычислительной техники. Количество печатных работ: 2. Область научных интересов: системы компьютерного зрения, искусственный интеллект, информационные технологии.
Development and research of the software module for vehicle access control and management based on license plate recognition
E.E. Istratova, A.I. Gosteeva
Abstract—The article presents the results of the development and research of a software module for monitoring and managing the access of vehicles to the territory. Based on the analysis of literary sources, an algorithm for recognizing state license plates was developed, its software implementation was completed, its own data set was formed, and a neural network model was trained. The functionality of the program lies in the application of one-stage detection methods to solving the problem of recognizing license plates of vehicles. Thanks to this, the software product can be used for educational and research purposes, and can also be used both standalone and connected to building security systems as an embedded module. In the course of a comparative analysis of the developed software module with similar software products, it was concluded that the use of the developed model is appropriate. It can be used to recognize license plates in real time, showing good accuracy and completeness, as well as excellent frame processing speed. As a result, a software module for vehicle access control and management based on license plate recognition was implemented and studied, which has the following advantages: the ability to work on devices with low computing power; high speed image processing; possibility of integration with other software products; low cost.
Keywords—state license plate, convolutional neural network, recognition, automation, video analytics, software module.
Autom Embed Syst 24, 23-43 (2020). URL: https://doi.org/10.1007/s10617-019-09230-5.
[9] Zou Y., Zhang Y., Yan J. License plate detection and recognition based on YOLOv3 and ILPRNET. SIViP 16, 473-480 (2022). URL: https://doi.org/10.1007/s11760-021-01981-8.
[10] Saidani T., Touati Y.E. A vehicle plate recognition system based on deep learning algorithms. Multimed Tools Appl 80, 36237-36248
(2021). URL: https://doi.org/10.1007/s11042-021-11233-z.
[11] Shahidi Zandi M., Rajabi R. Deep learning-based framework for Iranian license plate detection and recognition. Multimed Tools Appl
(2022). URL: https://doi.org/10.1007/s11042-022-12023-x.
[12] Istratova E.E., Bukhamer E.A., Gosteeva A.I. Program for control and management of vehicle access based on license plate recognition. Certificate of registration of the computer program 2022661265, 06/22/2022. Application No. 2022660761 dated 06/22/2022.
References
[1] Lapteva M.A., Favorskaya M.N., Boldyrev K.M. Vehicle registration number recognition system using a neural network // Actual problems of aviation and cosmonautics. 2014. No. 10. URL: https://cyberleninka.ru/article/n/sistema-raspoznavaniya-registrationnyh-nomerov-avtomobilya-s-primeneniem-neyronnoy-seti.
[2] Mogilin K.A., Selishchev V.A. Intelligent video surveillance systems in security complexes // Izvestiya TulGU. Technical science. 2020. №3. URL: https://cyberleninka.ru/article/n/intellektualnye-sistemy-videonablyudeniya-v-kompleksah-bezopasnosti.
[3] Elizarov A.I., Afonasenko A.V. Methodology for building license plate recognition systems. Izvestiya TPU. 2006. No. 8. URL: https://cyberleninka.ru/article/n/metodika-postroeniya-sistem-raspoznavaniya-avtomobilnogo-nomera.
[4] Kadrov I.V., Vorobeichik M.M., Redkin M.Yu., Myagkov A.Yu. License plate recognition using a neural network // StudNet. 2020. No. 10. URL: https://cyberleninka.ru/article/n/raspoznanie-avtomobilnyh-nomerov-s-pomoschyu-neyronnoy-seti.
[5] GOST R 50577-2018 Signs of state registration of vehicles - M.: JSC "Kodeks", 2018. - 40 p.
[6] Kim H.H., Park J.K., Oh J.H. Multi-task convolutional neural network system for license plate recognition. Int. J. Control Autom. Syst. 15, 2942-2949 (2017). URL: https://doi.org/10.1007/s12555-016-0332-z.
[7] Khan K., Imran A., Rehman H.Z.U. Performance enhancement method for multiple license plate recognition in challenging environments. J Image Video Proc. 2021, 30 (2021). URL: https://doi.org/10.1186/s13640-021-00572-4.
[8] Izidio D.M.F., Ferreira A.P.A., Medeiros H.R. An embedded automatic license plate recognition system using deep learning. Des
