CC BY
27УДК 519.4
Ю. В. Косенко, О. И. Мартынов
Государственное учреждение «Институт проблем искусственного интеллекта», г. Донецк 83048, г. Донецк, ул. Артема, 118 б
СТРУКТУРА АВТОМАТИЗИРОВАННОГО КОМПЛЕКСА РАСПОЗНАВАНИЯ НОМЕРНЫХ ЗНАКОВ ТРАНСПОРТНЫХ СРЕДСТВ
Y. V. Kosenko, O. I. Martynov
Public institution «Institute of Problems of Artificial intelligence», Donetsk 83048, Donetsk, Artema st., 118b
THE STRUCTURE OF THE COMPLEX AUTOMATED LICENSE PLATE RECOGNITION OF VEHICLES
Ю. В. Косенко, О. I. Мартинов
Державна установа «1нститут проблем штучного штелекту», м. Донецьк 83048, м. Донецьк, вул. Артема, 118 б
СТРУКТУРА АВТОМАТИЗОВАНОГО КОМПЛЕКСУ РОЗП1ЗНАВАННЯ НОМЕРНИХ ЗНАК1В ТРАНСПОРТНИХ ЗАСОБ1В
В статье рассмотрены особенности распознавания номерных знаков в видеопотоке. Выявлены требования к системам распознавания номеров. Спроектирована схема базы данных. Предложена структура автоматизированного комплекса распознавания номерных знаков транспортных средств, позволяющая реализовать готовое решение согласно требованиям. Ключевые слова: автомобильные номера, транспортные средства, распознавание номеров.
The article considers the features of license plate recognition in the video stream and identifies the requirements for recognition of number plates. We design a database schema and suggest a structure of the complex automated recognition of license plates of vehicles, which allows implementing a turnkey solution as required.
Keywords: license plates, vehicles, license plate recognition.
У статп розглянуто особливост розшзнавання номерних знаш у вщеопотоцк Виявлено вимоги до систем розшзнавання номерiв. Спроектована схема бази даних. Запропоновано структуру автоматизованого комплексу розшзнавання номерних знаш транспортних засобiв, що дозволяе реалiзувати готове ршення згщно з вимогами.
Ключовi слова: автомобтьы номери, транспорты засоби, розшзнавання номер1в.
Введение
Автоматизация контроля движения автотранспорта является в настоящее время актуальной задачей, что объясняется постоянным ростом числа транспортных средств и необходимостью снижения влияния человеческого фактора. В рамках данной задачи активно разрабатываются и развиваются системы автоматического распознавания номерных знаков автомобилей (Automatic number platere recognition, ANPR или License-platere recognition, LPR).
Решение проблемы идентификации транспортных средств по регистрационному номерному знаку является важным аспектом безопасности и контроля. Практическая значимость систем автоматического распознавания номерных знаков подтверждается широким спектром возможных применений:
- контроль превышения скорости и проезда на красный свет, автоматическая выписка штрафов;
- автоматический поиск автомобилей, находящихся в угоне или тех, чьи владельцы разыскиваются за различные правонарушения;
- анализ данных о перемещениях транспортных потоков, определение наиболее загруженных магистралей;
- автоматизация управления платными дорогами, оптимизация проезда через пункты взимания платы и обеспечение максимально высокой пропускной способности;
- отслеживание въезда и выезда на платных автомобильных стоянках, осуществление автоматического подсчета стоимости предоставленных услуг, контроль свободного места;
- автоматизация контроля въезда и перемещения транспортных средств на объектах с ограниченным доступом и закрытых территориях;
- учет автотранспорта на логистических комплексах и таможенных терминалах;
- автоматизация сбора статистики для муниципальных служб.
Целью данной работы является разработка структуры автоматизированного комплекса распознавания номерных знаков транспортных средств, позволяющей создать программное обеспечение, удовлетворяющее современным требованиям.
Основными задачами являются анализ особенностей распознавания номерных знаков в видеопотоке, выявление требований к автоматизированному комплексу распознавания номеров, создание подробной структуры данного комплекса.
Требования к системе распознавания номерных знаков
Качество распознавания во многом зависит от качества данных, которые поступают на вход системы распознавания. Входными данными могут являться живой видеопоток, изображение или видеофайл. Основной единицей обработки выступает изображение. Технология получения изображения определяет среднее качество изображения, над которым алгоритму распознавания придется работать. Чем выше качество изображения, тем большая точность распознавания может быть достигнута.
Основные особенности при распознавании номеров в видеопотоке:
- постоянный размер кадра;
- постоянный ракурс съемки (если видеопоток получен с камеры, установленной статически);
- цветовой режим чаще в градациях серого (особенно при ночной съемке);
- разрешение кадра имеет один из стандартных форматов (например, 1920*1080 для Full HD 1080p);
- изображения номерных знаков могут иметь смаз;
- изображения номерных знаков могут быть размытыми;
- изображения номерных знаков могут иметь перспективные искажения;
- номерные знаки могут быть частично либо полностью перекрыты;
- видео может иметь чересстрочную развёртку;
- наличие сильного шума на изображении при съемке в ночное время;
- можно использовать результаты распознавания с прошлых кадров;
- можно использовать визуальную информацию с прошлых кадров (например, отслеживать номерной знак либо автоматически определять области, в которых есть движение);
- можно располагать априорной информацией об области поиска номерного знака;
- важна скорость обработки кадров.
На основе этих особенностей можно выдвинуть ряд требований как к самим видеокамерам [1], так и к системе распознавания.
Необходимые требования к системе распознавания номерных знаков:
1. На уровне получения данных:
- возможность работы с различными форматами видеофайлов;
- возможность работы с камерами и платами видеозахвата;
- возможность получения кадров с ГР-камер по адресу.
- возможность настройки параметров камер, таких как размер кадра, частота кадров в секунду, формат видеопотока, фильтры и т.д.
2. На уровне обработки данных:
- возможность изменения размеров кадра (масштабирования), если настройки камеры не позволяют этого осуществить;
- для устранения эффекта чересстрочной развёртки необходима функция де-интерлейсинга;
- наличие набора фильтров, улучшающих качество видеопотока, таких как эквализация, гамма-коррекция, удаление шумов, настройки контраста и яркости;
- возможность поворота кадра и/или выравнивания перспективы, в случае, если камера установлена неудачно.
3. На уровне анализа данных:
- обработка кадров видеопотока в режиме реального времени без задержек;
- возможность настройки отношения качества распознавания и скорости обработки, отношения количества ложных срабатываний к количеству пропущенных номерных знаков;
- поддержка распознавания основных типов номерных знаков, встречающихся в области установки камеры;
- ограничение по уровню достоверности распознавания, с целью фильтрации ложных срабатываний;
- необходимо проверять, встречался ли номер на предыдущих кадрах, и выводить результат только при наличии его на серии кадров;
- для повышения достоверности распознанных номеров на текущем кадре необходимо перепроверять результат распознавания с учетом предыдущих кадров, постепенно улучшая качество распознавания отдельных символов.
4. На уровне хранения данных:
- сохранение видеопотока и/или отдельных кадров, полученных в момент распознавания;
- сохранение всей доступной информации о распознанном номере в базу данных;
- сохранение времени и даты, в момент которых произошло распознавание;
- поддержка как локальных, так и удаленных баз данных;
- архивирование данных.
К
5. На уровне пользователя:
- простой способ обмена информацией между пользователем и системой распознавания;
просмотр видеопотока с результатами распознавания в реальном времени; просмотр архива распознанных номеров;
- хранение максимально возможной информации о распознанном номере;
- интеллектуальный поиск в базе данных по различным параметрам распознанного номера;
- формирование отчетов по результатам распознавания;
- возможность просмотра изображения номерного знака, снятого камерой наблюдения и редактирования результата при некорректном распознавании;
- поддержка списков «черных» и «белых» номеров;
- возможность обработки различного рода событий и информирования пользователя, например, обнаружения номера из «черного» списка.
Структура системы распознавания номерных знаков
Когда говорят о системе автоматического распознавания номеров, подразумевают программный или аппаратно-программный комплекс, реализующий алгоритмы автоматического распознавания номерных знаков для регистрации событий, связанных с перемещением автомобилей, т.е. для автоматизации ввода данных и их последующей обработки.
Системы распознавания номерных знаков являются комплексными системами, состоящими из нескольких этапов обработки и анализа входных данных [2].
Помимо анализа, данные системы должны включать методы получения видеопотока с камер наблюдения, методы хранения данных и интерфейс для взаимодействия с пользователем. Структура системы распознавания номерных знаков показана на рис. 1.
Блок ввода
М ■'.:! у л г. II рсдянрн ТНДЬВЦ м иБрааатки сидр Й
Модуле ■ ВДГ03акиа! .1
Центральный блок ! (блок управления)
--^
База данных
Елок вывода
\7
Модуль
Модул ь обработки событии
М ОД}'.11
Мвдул ь ■ндцмнипл юде ш
зг
Рисунок 1 - Структура системы распознавания номерных знаков
Работа с базой данных. Работа с базой данных происходит посредством взаимодействия блока управления, блока ввода и блока вывода. Работа БД с блоком анализа ведется косвенно через блок управления, возможность записи видеопотока с камеры обуславливает связь с блоком ввода. Данные с блока ввода через центр управления обрабатываются блоком анализа, затем сохраняются в базе и оттуда поступают на блок вывода. В базе имеются 6 таблиц:Ыаск^ (черный список) - хранит номера черного списка, country (страна) - содержит информацию о странах, direction (направление) - классифицирует движение по направлению (против хода, по ходу), recnumbers (распознанные номера) - предназначена для фиксирования информации о распознанных номерах, région (регион) - представляет собой каталог регионов, type (тип номера) - классифицирует номера по их типу. Таблица содержит следующие поля: дата, время, текст номера, степень достоверности распознавания, изображения номерного знака, направление движения транспортного средства, флаг наличия номера в черном списке, тип номера, страна, регион, путь к файлу с изображением кадра. Схема базы данных изображена на рис. 2.
blacklist
¡<1 integer
number №4)
comment text
direction
P ¡<1 integer
¿P name text
fecouir) tiers
Id integer
<f9№ date
ùme (me
number le XI
accuracy integer
image Dree
iitecfon integer
blacklist integer
type integer
tounlry integer
region integer
frame text
I
сои Шгу
il
р
H
name
¡пгедег taxi
region
£> id integer
name ie*i
type
P id integer
» name text
Рисунок 2 - Схема базы данных
Блок управления. Организует обмен информацией между другими блоками, управление загрузкой и сохранением настроек, обработку ошибок и пользовательский оконный интерфейс.
Блок ввода. Предназначен для получения и предварительной обработки видеопотока с камеры либо видеофайла.
Модуль видеозахвата. Модуль видеозахвата предназначен для получения видеопотока с видеофайлов или устройств, таких как цифровые камеры, аналоговые или IP-камеры.
Для работы с видеопотоком предлагается использовать открытые библиотеки, такие как OpenCV [3]. Данная библиотека дает большой набор возможностей по работе с видеофайлами, камерами, их настройке, обработке и анализу полученного видеопотока. Для получения видеопотока с камер при работе под операционной системой Windows может оказаться предпочтительней использовать библиотеку VideoInput [4], которая ограниченно включена в состав OpenCV.
Модуль видеозахвата предоставляет возможность настройки таких параметров, как: частота кадров, размер кадра, путь к файлу или номер устройства камеры в системе. Для доступа к 1Р-камерам возможна настройка 1Р-адреса, имени пользователя и пароля.
Модуль предварительной обработки кадра. Этот модуль предназначен для обработки каждого кадра видеопотока перед передачей его в блок анализа. В качестве обработки применяется масштабирование кадра, преобразование из цветового режима в градации серого, деинтерлейсинг, попиксельные фильтры для яркостной коррекции, шумоподавляющие фильтры, выравнивание перспективы.
Блок анализа. Данный блок состоит из нескольких модулей, обеспечивающих полный цикл поиска номеров в видеопотоке. На входном изображении кадра производится поиск изображений номерных знаков, распознавание, проверка корректности и корректировка. Результатом анализа является список номеров с атрибутами, готовыми для записи в базу данных.
Модуль детектирования. Производит обнаружение областей, в которых предположительно находится номерной знак. Модуль получает на вход изображение кадра и координаты области поиска, а также диапазон допустимых размеров номерных знаков. Результатом детектирования является список кандидатов (областей) номерных знаков.
Для обнаружения автомобильных номеров на цифровых изображениях может использоваться большое разнообразие различных эвристических подходов и их комбинаций, основанных на предполагаемых отличиях в свойствах изображений номерных знаков, и изображений, не относящихся к ним. К таким подходам можно отнести использование: карт вертикальных границ [5], [6]; спектральных характеристик [6]; нечетких карт принадлежности точек номерным знакам [7]; подсчета числа границ, следующих на определенном расстоянии друг от друга [8]; морфологического преобразования для поиска линий символов, имеющих определенную ширину [9] и др.
Для поиска областей можно использовать методику, которая уже себя хорошо себя зарекомендовала при автоматическом поиске лиц. Данный подход основан на мультимасштабном сканировании изображений и классификации типа объект/фон каждого получаемого в ходе сканирования кандидата [10], [11]. В данном случае, вычислительная сложность процесса обнаружения, определяется числом кандидатов и сложностью используемых классификаторов [12]. Для ускорения процесса классификации в большинстве случаев удается выполнить каскадную организацию классификаторов, целью которой является исключение большего количества кандидатов на начальных более простых классификаторах каскада.
Для получения каскада классификаторов можно использовать объединения простых Хаар-подобных свойств, полученные на основе алгоритма AdaBoost [10], [11], МКВ-классификаторов [13] и др. Кроме этого, как показано в работе [14], вычислительную сложность можно уменьшить на основе использования предобработки, и введение ее в каскад классификаторов в качестве первого классификатора каскада. Тип предварительной обработки определяется свойствами объекта поиска, а ее эффективность определяется в ходе дополнительных специальных экспериментов, аналогичных проведенным в работе [14].
Для поддержки нескольких типов номеров возможно применение комбинации различных обученных классификаторов, работающих параллельно либо построение общего классификатора, учитывающего все разнообразие допустимых изображений номерных знаков.
Модуль распознавания. Выполняет распознавание изображений номерных знаков. Для каждого найденного кандидата номерного знака данный модуль независимо вы-
полняет ряд операций: получение изображения номерного знака, нормализацию изображения, сегментацию символов и классификацию изображений символов. Результатом распознавания является тестовое значение номера, достоверность, изображение номерного знака, а также его тип.
Нормализация представляет собой приведение изображения уже найденного номерного знака к виду, удобному для дальнейшей сегментации символов и распознавания. На данном этапе выполняется поворот изображения с целью расположения символов номера на одной горизонтальной линии [15], устранение искажений, связанных с наклоном символов, яркостные преобразования изображения номерного знака, компенсирующие его частичное затенение и устраняющие шумы [16].
Под сегментацией символов подразумевается поиск изображений отдельных символов на изображении номерного знака. Данная задача может быть решена с помощью использования заранее заданных моделей расположения символов и их подгонки под конкретное изображение с целью максимизации выбранного критерия соответствия [15], [16]. Данный подход позволяет на этапе сегментации определить тип номерного знака, а также определить принадлежность каждого символа к определенному алфавиту.
Классификация изображений символов автомобильного номера представляет собой получение символьного значения для каждого изображения символа и объединение данных значений в текстовую строку. Для решения этой задачи может использоваться широкое разнообразие методов распознавания образов: сопоставление с эталоном [17], [18], применение деревьев решений [19], нейросетевые подходы, структурные подходы и т.д. Классификация каждого символа выполняется с некоторой вероятностью, что позволяет, во-первых, заменить недостоверные символы некоторым константным значением (например, знаком вопроса), во-вторых, получить общую степень достоверности распознавания, которая используется для фильтрации недостоверных результатов.
Модуль отслеживания. Позволяет улучшить результаты корректировки результатов распознавания за счет определения предполагаемой области нахождения номера в кадре на основе известного его положения на серии предыдущих кадров. Отслеживание может выполняться с помощью моделирования движения автомобиля либо с помощью визуального отслеживания изображения номерного знака между двумя последовательными кадрами [20]. Отслеживание выполняется до тех пор, пока изображение номерного знака не достигнет края экрана либо пока не пройдет заданное время после пропажи номера из поля видимости. Еще одной немаловажной функцией отслеживания является определение движения автомобиля.
Модуль проверки корректности и корректировки. Данный модуль совмещает результаты распознавания с нескольких кадров. Если номер уже был найден на одном из предыдущих кадров либо был найден похожий на него номер (имеющий некоторое количество общих символов), выполняется проверка соответствия номеров согласно результатам отслеживания. При успешном соответствии значение номера корректируется с учетом наибольшей достоверности распознанных символов. Если же номер найден впервые, он заносится во внутренний буфер модуля для дальнейшего отслеживания. Номера, которые были найдены на небольшом количестве кадров и не были найдены в дальнейшем, считаются выбросами и удаляются из буфера. Номера, которые отслеживались продолжительное время, считаются достоверными и перемещаются в буфер результата. Результат при этом содержит текст самого номера, его общую достоверность, изображение номерного знака, вырезанное в момент наи-
большей достоверности, дату и время, в момент которого номер впервые был замечен, и направление движения. В дальнейшем, блок управления извлечет все номера из буфера результата и сохранит в базу данных.
Блок вывода. Обеспечивает интерфейс между системой распознавания номерных знаков и пользователем.
Модуль выходных отчетных документов. В этом модуле формируются отчеты нескольких типов на основе запросов к базе данных. Первый тип отчета представляет собой содержимое протокола распознанных номеров, сформированного с использованием пользовательских фильтров. Второй тип отчета формируется для выбранного пользователем номера и содержит всю информацию о нем: изображение автомобиля, изображение номерного знака, флаг наличия номера в черном списке, дата/время проездов данного транспортного средства через блок мониторинга и т.д. Сформированные отчеты можно сохранить в файл или вывести на печать.
Модуль видеонаблюдения. Данный модуль предназначен для наблюдения за видеопотоком и процессом распознавания номерных знаков в реальном времени. Он обеспечивает вывод видеопотока с камеры на экран, текущего времени и даты, краткой информации о последних распознанных номерах и предыдущем распознанном номере, вывод общего количества проехавших транспортных средств. Вывод информации о последнем распознанном номере включает в себя: текст номера и изображение номерного знака, дата/время фиксации номера.
Модуль работы с архивом. Позволяет просматривать и редактировать архив номеров, распознанных ранее. Архив отображается в виде расширенной таблицы, содержащей полную информацию о номерах. Интерфейс работы с архивом позволяет пользователю редактировать текстовые значения номеров, если они не соответствуют изображению. Для каждой записи о номере в таблице доступна возможность просмотра изображения кадра, на котором виден сам номер вместе с транспортным средством, а также переход к данному кадру на видеозаписи с камеры наблюдения. Модуль включает интеллектуальный поиск по базе данных на основе расширенного фильтра. Возможно отображение лишь тех номеров, которые удовлетворяют параметрам фильтра: наличие в черном списке, период времени, в течение которого номер был распознан, страна, регион, тип номера, направление движения, номер целиком либо часть номера. Параметры фильтра можно комбинировать. Возможен поиск номеров, распознанных за последний час, сутки, неделю. Данные, отображаемые в таблице, можно сортировать по любому параметру номера.
Модуль обработки событий. Предназначен для обработки реакции на нестандартные события при распознавании: обнаружение номера из черного списка, проезд автомобиля против движения и др. Сообщает пользователю об обнаруженной тревожной ситуации посредством вывода на экран сообщения со звуковым сигналом
Выводы
В данной статье были рассмотрены основные особенности при распознавании номеров в видеопотоке и выдвинуты требования к системе распознавания. Учитывая данные требования, была предложена структура автоматизированного комплекса распознавания номерных знаков транспортных средств. Она охватывает весь этап распознавания номеров, от получения видеопотока с камеры наружного наблюдения до вывода результатов пользователю в удобном для него виде. Данная структура включает схему базы данных и 10 модулей, реализующих функционал захвата видеопотока, обработки, анализа и вывода результатов, и позволяет реализовать готовое решение согласно выдвинутым требованиям.
Список литературы
1. Косенко Ю. В. Требования к входным данным систем видеонаблюдения с функцией распознавания регистрационных номерных знаков автомобилей / Ю. В. Косенко // Инновационные перспективы Донбасса. - Донецк : ДонНТУ. - 2015. - Том 5. - С. 97-102.
2. Мурыгин К. В. Концепция системы автоматического распознавания номерных знаков автомобилей / К. В. Мурыгин // Искусственный интеллект. - 2012. - № 4. - С. 220-226.
3. Библиотека OpenCV. [Электронный ресурс]. - Режим доступа : http://opencv.org/
4. Библиотека Videolnput. [Электронный ресурс]. - Режим доступа: http://www.muonics.net/school/spring05/videoInput/
5. Real-Time Automatic Vehicle Management System Using Vehicle Tracking And Car Plate Number Identification / [Lee H., Kim D., Kim D., Bang S. Y.] // ICME. - 2003. - № 7. - P. 353-356.
6. Acosta B. D. Experiments in Image Segmentation for Automatic US License Plate Recognition / B. D. Acosta // Thesis submitted to the Faculty of the Virginia Polytechnic Institute and State University in partial fulfillment of the requirements for the degree of MASTER OF SCIENCE in Computer Science. - 2004. - 104 p.
7. Automatic License Plate Recognition / Chang S.-L., Chen L.-S., Chung Y.-C., Chen S.-W. // IEEE TRans. on Intelligent Transportation Systems. - 2004. - Vol. 5, № 1. - P. 42-53.
8. Broumandnia A. Application of pattern recognition for Farsi license plate recognition / A. Broumandnia, M. Fathy // ICGST Int. J. on Graphics, Vision and Image Processing. - 2005. - Vol. 5, № 2. - P. 25-31.
9. Martin F. Automatic Car Plate Recognition Using a Partial Segmentation Algorithm / F. Martin, D. Borges // Proc. of Signal Processing, Pattern Recognition, and Applications. - 2003. - P. 246-249.
10. Paul Viola. Jones Robust real-time object detection / Paul Viola and Michael J. // Proc. of IEEE Workshop on Statistical and Computational Theories of Vision. - 2001.
11. Мурыгин К. В. Особенности реализации алгоритма AdaBoost для обнаружения объектов на изображениях / К. В. Мурыгин // Искусственный интеллект. - 2009. - № 3. - С. 573-581.
12. Мурыгин К. В. Обнаружение автомобильных номерных знаков с использованием предварительной обработки кандидатов // Искусственный интеллект. - 2013. - №. 3. - С. 193-199.
13. Мурыгин К. В. Комбинирование бинарных свойств в виде МКВ-классификатора / К. В. Мурыгин // Искусственный интеллект. - 2010. - № 1. - С. 108-113.
14. Мурыгин К. В. Предварительная обработка кандидатов при обнаружении автомобильных номеров на изображениях / К. В. Мурыгин // Искусственный интеллект. - 2013. - № 2. - С. 32-37.
15. Мурыгин К. В. Нормализация изображения автомобильного номера и сегментация символов для последующего распознавания / К.В. Мурыгин // Искусственный интеллект. - 2010. - № 3. - С. 364-369.
16. Мурыгин К. В. Сегментация символов автомобильного номерного знака с учетом изменений ракурса съемки и затенения изображений / К. В. Мурыгин // Искусственный интеллект. - 2012. - № 1. -С. 97-102.
17. Мурыгин К. В. Оптимизация шаблонов изображений символов методом векторного приближения в задаче распознавания автомобильных номеров / К. В. Мурыгин, А. В. Дьяченко // Искусственный интеллект. - 2010. - № 4. - С. 195-200.
18. Мурыгин К. В. Получение шаблонов для распознавания символов автомобильного номера на основе взвешивания обучающего набора / К. В. Мурыгин // Искусственный интеллект. - 2011. -№ 2. - С. 164-170.
19. Мурыгин К. В. Применение МКВ-классификатора для распознавания символов автомобильных номеров / К. В. Мурыгин // Искусственный интеллект. - 2011. - № 4. - С. 203-206.
20. Kalal Z. Forward-backward error: Automatic detection of tracking failures / Z. Kalal, K. Mikolajczyk, J. Matas //Pattern Recognition (ICPR), 2010 20th International Conference on. - IEEE, 2010. - С. 2756-2759.
References
1. Kosenko U.V. Requirements to input data surveillance systems with detection of registration plates of vehicles // Innovative prospects of Donbass. - Donetsk: DonNTU. - 2015, Volume 5, p. 97-102.
2. Murygin K.V. The concept of the system of automatic recognition of license plates of cars / K.V.Murygin // Artificial intelligence. - 2012. - № 4. - pp 220-226.
3. The library OpenCV. [Electronic resource]. - Access: http://opencv.org/
4. Library VideoInput. [Electronic resource]. - Access: http://www.muonics.net/school/spring05/videoInput/
5. Real-Time Automatic Vehicle Management System Using Vehicle Tracking And Car Plate Number Identification / Lee H., Kim D., Kim D., Bang SY // ICME. - 2003. - № 7. - P. 353-356.
Косенко O. B., MapmbiHoe 0. M.
6. Acosta B.D. Experiments in Image Segmentation for Automatic US License Plate Recognition / BD Acosta // Thesis submitted to the Faculty of the Virginia Polytechnic Institute and State University in partial fulfillment of the requirements for the degree of MASTER OF SCIENCE in Computer Science. -2004. - 104 p
7. Automatic License Plate Recognition / Chang S.-L., Chen L.-S., Chung Y.-C., Chen S.-W. // IEEE TRans. on Intelligent Transportation Systems. - 2004. - Vol. 5, № 1. - P. 42-53.
8. Broumandnia A. Application of pattern recognition for Farsi license plate recognition / A. Broumandnia, M. Fathy // ICGST Int. J. on Graphics, Vision and Image Processing. - 2005. - Vol. 5, № 2. - P. 25-31.
9. Martin F. Automatic Car Plate Recognition Using a Partial Segmentation Algorithm / F. Martin, D. Borges // Proc. of Signal Processing, Pattern Recognition, and Applications. - 2003. - P. 246-249.
10.Paul Viola. Jones Robust real-time object detection / Paul Viola and Michael J. // Proc. of IEEE Workshop on Statistical and Computational Theories of Vision. - 2001.
11.Murygin K.V. Features of the algorithm AdaBoost to detect objects in the images / K.V.Murygin // Artificial intelligence. - 2009. - № 3. - S. 573-581.
12.Murygin K.V. detection of license plates using a pretreatment candidate // Artificial intelligence. - 2013. -№. 3. - P. 193-199.
13.Murygin K.V. Combining the properties of a binary classifier MAC / K.V.Murygin // Artificial intelligence. - 2010. - №1. - S. 108-113.
14.Murygin K.V. Pre-treatment of the candidates in the detection of car numbers in the images / K.V.Murygin // Artificial intelligence. - 2013. - № 2. - S. 32-37.
15.Murygin K.V. Normalization of license plate image segmentation and character recognition for subsequent / K.V.Murygin // Artificial intelligence. - 2010. - № 3. - S. 364-369.
16.Murygin K.V. Segmentation character automobile license plate with the changes the angle of shooting and shading images / K.V.Murygin // Artificial intelligence. - 2012. - № 1. - pp 97-102.
17.Murygin K.V. Optimization template images of characters by the vector of approximation in the problem of license plate recognition / K.V.Murygin, A.V.Dyachenko // Artificial intelligence. - 2010. - № 4. - pp 195-200.
18.Murygin K.V. Preparation of templates for character recognition license plate on the basis of weighing the training set / K.V.Murygin // Artificial intelligence. - 2011. - № 2. - S. 164-170.
19.Murygin K.V. Application of MAC-classifier for character recognition of car numbers / K.V.Murygin // Artificial intelligence. - 2011. - № 4. - pp 203-206.
20.Kalal Z., Mikolajczyk K., Matas J. Forward-backward error: Automatic detection of tracking failures // Pattern Recognition (ICPR), 2010 20th International Conference on. - IEEE, 2010. - S. 2756-2759.
RESUME
Y. V. Kosenko, O. I. Martynov
The Structure of the Complex Automated
License Plate Recognition of Vehicles
Background: currently, the automation of traffic on the roads and, in particular, the development of reliable systems for the recognition of number plates is an urgent task that can be attributed to the constant increase in the number of vehicles and the need to reduce the influence of the human factor. For such systems we meet a series of specific requirements in view of the peculiarities of getting video from surveillance cameras, the need to consider many factors in recognizing numbers, conservation, processing and display of results. The purpose of this paper is to develop the structure of the complex automated recognition of license plates of vehicles allowing us to create software that meets modern requirements. The main tasks include analysis features of the license plate recognition in the video stream, the identification of requirements for complex automated number plate recognition, creation of the detailed structure of the complex.
Materials and methods: various methods for image processing and analysis applied to the task of recognition of license plates were studied. Detection of license plates is implemented by using the combined cascade classifier based on MKV-classifiers and classifiers
derived from the AdaBoost algorithm. The necessity to support multiple types of numbers provides the use of parallel classifications, or construction of the general classifier. Selection of symbols is carried out by adjusting the predefined models location under a particular image in order to maximize compliance with the chosen criteria. The character recognition can be performed by comparing with the model, based on the decision tree or another method to estimate the accuracy of the result. To validate and correct recognition results proposed to track license plates we use the Median Flow method.
Results: the detailed analysis of the characteristics of license plate recognition in the video stream, on the basis of these characteristics, puts forward a number of demands to the recognition system. The article suggests a structure of the automated complex recognition of license plates of vehicles. This structure includes a database schema and 10 modules implementing the functionality of video capture, processing and analysis, as well as displays the results.
Conclusion: solving the problem of identification of vehicles on the registration plate is an important aspect of security and control. The practical significance of automatic number plate recognition is confirmed by a wide range of possible applications, as control of speeding and running a red light, automatic search for motor vehicles in the hijacking, automation control of the entry and movement of vehicles at sites with restricted access, and others. Thus the creation of systems of recognition of number plates is now a relevant and useful task.
Статья поступила в редакцию 17.12.2015.
