CC BY
51
УДК 004.932.2
Р. О. Султанов
канд. техн. наук, доцент, кафедра «Программное обеспечение», ФГБОУ ВО «Ижевский государственный технический университет имени М. Т. Калашникова»
М.О. Еланцев
аспирант,
кафедра «Программное обеспечение», ФГБОУ ВО «Ижевский государственный технический университет имени М. Т. Калашникова»
Н.М. Кощеев
магистрант, кафедра «Программное обеспечение», ФГБОУ ВО «Ижевский государственный технический университет имени М. Т. Калашникова»
В.В. Животов
магистрант, кафедра «Программное обеспечение», ФГБОУ ВО «Ижевский государственный технический университет имени М. Т. Калашникова»
ПОИСК И КЛАССИФИКАЦИЯ СТРУКТУРНЫХ ЭЛЕМЕНТОВ МЕТОДОМ ВЗАИМНОЙ КОРРЕЛЯЦИИ НА ПРИМЕРЕ РАСПОЗНАВАНИЯ АВТОМОБИЛЬНОГО НОМЕРА
Аннотация. В статье рассмотрен алгоритм поиска и классификации структурных элементов на изображениях государственных регистрационных номеров транспортных средств методом взаимной корреляции. Алгоритм состоит из трех этапов: предварительная обработка, вычисление корреляции и разрешение коллизий между эталонами символов номера. Дано описание алгоритма генерации эталонов символов на основе ГОСТ Р 50577-93. Проведено исследование эффективности алгоритма на тестовых данных с различными параметрами алгоритма.
Ключевые слова: взаимная корреляция, государственные регистрационные номера, анализ изображений, классификация.
R.O. Sultanov, Kalashnikov Izhevsk State Technical University
M.O. Elancev, Kalashnikov Izhevsk State Technical University
М.М. Koscheev, Kalashnikov Izhevsk State Technical University
V.V. Zhivotov, Kalashnikov Izhevsk State Technical University
STRUCTURE ELEMENTS SEARCHING AND CLASSIFICATION USING CROSS-CORRELATION
FUNCTION FOR VEHICLE LICENSE PLATE NUMBERS RECOGNITION
Abstract. The article reads about structure elements searching and classification algorithm for license plate number images using cross-correlation function. Algorithm consists of three steps: images preprocessing, cross-correlation and collision resolving between symbols' templates. Description of symbols' templates generation algorithm is given based on standard GOST 50577-93 of the Russian Federation. Algorithm performance research was performed on data sets with various parameters.
Keywords: cross-correlation, license plate numbers, image analysis, classification.
В задачах распознавания сложных объектов на изображении можно выделить три этапа: локализация объектов на изображении, поиск и классификация отдельных структурных элементов и анализ выделенных элементов в составе объектов. Первый этап в задаче распознавания государственного регистрационного номера автомобиля может быть осуществлен методом, предложенным в работе [1]. В данной статье рассматривается алгоритм поиска и классификации структурных элементов на изображениях локализованных рамок номера. Структурными элементами являются цифры и буквы, изображенные на номере.
Предлагаемый алгоритм распознавания основывается на последовательном поиске
эталонов структурных элементов на изображении. В качестве функции сравнения используется функция взаимной нормированной корреляции [2]:
X т (х' у')х|(х+х у+у')
Ях> у) = Л 2 2 ■ (1)
X (Т(х' у ')2 х 1(х + х \ у + у ')2
\ху
где Т(х, у) - яркость пикселя на изображении эталона в точке (х,у), а 1(х,у) - яркость соответствующего пикселя на изображении гос. номера.
Алгоритм состоит из последовательности действий:
- подготовка изображений;
- корреляция изображения со всеми эталонами всех классов;
- разрешение коллизий между совпавшими эталонами.
Подготовка изображений
При распознавании реальных снимков номеров изображения часто зашумлены чрезмерным затемнением, засвечиванием, отсутствием контраста символов и фона, геометрическими искажениями. Для снижения влияния этих факторов входные изображения проходят этап предварительной обработки, включающий:
- масштабирование изображения с государственным номером;
- преобразование цветов пикселей изображения в оттенки серого;
- выполнение автоконтраста и инверсии цветов.
Масштабирование изображения необходимо для того, чтобы размер символов на изображении соответствовал размерам символов на эталонах, т.к. максимальное совпадение размера эталона и размера искомого элемента крайне важно.
Преобразование цвета пикселей в оттенки серого необходимо для того, чтобы устранить различия оттенков между изображениями и уменьшить сложность алгоритма за счет работы только с одним каналом. Значением пикселя после преобразования является его яркость, вычисленная по следующей формуле [3]:
I = 0.299Я + 0.5870 + 0.114В, (2)
где Я, О и В - красная, зеленая и синяя составляющие цвета соответственно.
Далее выполняется операция автоконтраста [4], которая необходима для усиления контраста между символами и фоном, что улучшит результаты корреляции. После автоконтраста выполняется операция инверсии цветов. В основе взаимной корреляции лежит операция умножения, поэтому черные объекты, значение яркости пикселей которых близки к 0, будут коррелировать друг с другом слабее, чем белые объекты, значение которых близко к 255. Из этого следует, что символы на номере должны быть белыми.
Корреляция изображения со всеми эталонами всех классов
На изображениях государственного регистрационного номера автомобиля возможны структурные элементы следующих классов: «1», «2», «3», «4», «5», «6», «7», «8», «9», «0Ю», «А», «В», «С», «Е», «Н», «К», «М», «Р», «Т», «Х», «У». Символы «О» и «0» объединены в один класс из-за большого сходства изображений этих символов, они могут быть различены на следующем этапе распознавания, исходя из позиции в номере и размера. Эталоны классов получены с помощью шрифта, указанного в ГОСТ Р 50577-93 [5], по следующим правилам: один вариант размера эталона для букв и по два варианта размера эталонов для цифр, соответствующих размеру цифр в основной части номера и в области региона. Поскольку символы номера на реальных снимках размыты, для лучшего результата корреляции эталоны символов размываются с помощью фильтра Гаусса.
Для определения классов и позиций структурных элементов вычисляется взаимная корреляция между изображением номера и каждым эталоном каждого класса, последовательно
перемещая эталон по всему изображению. В результате для каждого эталона вычисляется следующая матрица:
[R(x,y), R(x,y) > Tk
M( x, y) =
(3)
0, R(x, y) < Tk
где Tk - задаваемый порог отсечения.
Данная матрица содержит плотные группы значений больших 0, в тех местах, где наиболее вероятно совпадение изображения с эталоном. Необходимо выполнить сведение этих групп до единственной точки, в которой значение внутри группы будет максимальным. Кандидатами на распознанный структурный элемент являются прямоугольные области размером, равным размеру эталона, и позицией, равной координатам сведенных точек.
Разрешение коллизий
Под коллизией понимается пересечение двух и более кандидатов на распознанный структурный элемент. Коллизии могут быть двух видов: внутриклассовые (например, между разными эталонами класса «О/О», как показано на рис. 1а) и межклассовыми (например, между эталонами классов «О/О» и «С», как показано на рис. 1б).
Рисунок 1 - Коллизии между эталонами: а) внутриклассовые (класс «О/О») б) межклассовые между классами «О/О» и «С»
Для разрешения коллизии из кандидатов выбирается только тот, значение корреляции которого было наибольшее в сведенной точке. Сначала разрешаются внутриклассовые коллизии, затем межклассовые.
Результат работы предложенного алгоритма показан на рисунке 2.
Рисунок 2 - Результат работы алгоритма. Прямоугольниками отмечены выделенные структурные элементы
Оценка работы алгоритма
Для оценки работы алгоритма были размечены позиции и классы структурных элементов на 100 изображениях реальных снимков номеров. Было проведено исследование зависимости коэффициента распознавания к (отношения числа верно классифицированных структурных элементов к общему числу структурных элементов) и времени работы алгоритма от порога Тк для двух наборов эталонов:
1. эталоны, вырезанные из изображений номеров (10 изображений на каждый класс);
2. эталоны, сгенерированные согласно ГОСТ Р 50577-93, как описано выше (2-4 изо-
бражения на каждый класс).
На рисунке 3 показаны полученные зависимости.
Время работы алгоритма k>g]0(t)3 с Коэффициент распознавания к,%
а) Б) Рисунок 3 - Графики зависимости: а) времени работы t от порога Tk;
б) коэффициента распознавания k от порога Tk.
Проанализировав полученные результаты, можно сделать вывод, что использование сгенерированных эталонов дает больший коэффициент распознавания при меньшем времени работы алгоритма. Оптимальным значением порога является Tk = 0,85, при котором коэффициент распознавания составил около 85%, а время обработки одного изображения - около 0.1 секунды на компьютере следующей конфигурации: процессор Pentium(R) Dual - Core CPU, 3.33GHz, 4 Гб ОЗУ.
В дальнейшем для снижения времени работы алгоритма сравнение изображения с эталонами планируется осуществлять только в областях с наиболее вероятной позицией соответствующих букв и цифр. Один из подходов к поиску подобных областей приведен в работе [6]. Кроме этого, планируется определять наклон номера и корректировать изображение на этапе предварительной обработки, что должно улучшить коэффициент распознавания.
Список литературы:
1. Архипов И.О., Еланцев М.О. Алгоритм выделения рамки государственного номера автотранспортного средства // Приволжский научный вестник. - 2013. - № 12-1 (28). - С. 30-33.
2. Айфичер Э. Цифровая обработка сигнала: практический подход: пер. с англ. - 2-е изд. - М.: Вильямс, 2004. - 992 с.
3. Визильтер Ю.В. и др. Обработка и анализ изображений в задачах машинного зрения: курс лекций и практических занятий. - М.: Физматкнига, 2010. - 672 с.
4. Сойфер В.А. Теоретические основы цифровой обработки изображений: учебное пособие / В.А. Сойфер, В.В. Сергеев, С.Б. Попов, В.В. Мясников. - Самара: Самар. гос. аэрокосм. ун-т им. акад. С.П. Королева, 2000. - 256 с.
5. ГОСТ Р 50577-93 Знаки государственные регистрационные транспортных средств. Типы и основные размеры. Технические требования.
6. Архипов И.О., Еланцев М.О. Поиск структурных элементов графического изображения на примере кластеризации государственного номера автотранспортного средства // Вестник Иж-ГТУ им. М.Т. Калашникова. - 2014. - № 2 (62). - С. 146-149.орлл
