CC BY
386
мую надежность и инвариантность к искажениям и зашумлениям входного сигнала, что позволяет создать на ее базе систему выделения сюжетной части изображения. Модификации процесса обучения обеспечивают качественный процесс обучения нейронной сети, улучшают ее обобщающие и клас-
сифицирующие способности, позволяют использовать данную программную систему для решения практических задач в системах видеонаблюдения и контроля доступа.
Работа выполнена при поддержке РФФИ, проект № 06-08-00751.
СПИСОК ЛИТЕРАТУРЫ
1. Moody J., Darken C.J. Fast Learning In Netwoks of Locally Tuned Processing Units // Neural Computation. - 1989. - № 1. -P. 281-284.
2. Haddadnia J., Faez K. Human face Recognition Using Radial Basis Function Neural Network // Proc. of 3rd International Conf. on Human and Computer. - Aizu, Japan, 6-9 Sept. 2000. - P. 137-142.
3. Lin S.H., Kung S.Y., Lin L.J. Face Recognition/Detection by Probabilistic Decision-Based Neural Network // IEEE Trans. Neural Networks. - 1997. - V. 8. - № 1. - P. 114-132.
4. LeCun Y. Generalization and network design strategies // Proc. of the Intern. Conf. Connectionism in Perspective. - University of Zurich, 10-13 October 1988. - P. 143-155.
5. Rumelhart D.E., Hinton G.E., Williams R.J. Learning internal representations by error propagation // Parallel distributed processing. - 1986. - V. 1. - P. 318—362.
6. Царегородцев В.Г. Общая неэффективность использования суммарного градиента выборки при обучении нейронной сети // Нейроинформатика и ее приложения: Матер. XII Всеросс. семинара. - Красноярск, 2004. - С. 145-151.
7. Murata N., Miller K.R., Ziehe A., Amari S. Adaptive on-line learning in changing environments // Advances in Neural Information Processing Systems. - 1997. - V. 9. - P. 599-623.
8. Sung K.K. Learning and Example Selection for Object and Pattern Detection: PhD thesis. - MIT AI Lab, 1996. - 150 p. (ftp://publi-cations.ai.mit.edu/ai-publications/1500-1999/AITR-1572.ps.Z)
УДК 004.9312
МЕТОДИКА ПОСТРОЕНИЯ СИСТЕМ РАСПОЗНАВАНИЯ АВТОМОБИЛЬНОГО НОМЕРА
А.И. Елизаров, А.В. Афонасенко
Томский государственный университет систем управления и радиоэлектроники E-mail: [email protected]
Рассмотрена технология создания системы поиска и распознавания автомобильных номеров. Предлагаются модифицированные алгоритмы, позволяющие повысить надежность и точность подобных систем. Данные алгоритмы использовались для создания программного комплекса, состоящего из набора программных модулей, выполняющих предварительную обработку изображений, обнаружение номерной пластины, извлечение символов, распознавание символов.
Проблема автоматизированного оперативного распознавания текстовой информации является актуальной задачей, связанной с широким классом практических приложений. Одной из таких задач является распознавания автомобильных номеров. Создание автоматической системы, регистрирующей автомобильные номера, позволяет: • автоматизировать контроль въезда и перемещения транспортных средств на объектах с ограниченным доступом и закрытых территориях;
• отслеживать въезд и выезд на автостоянках, осуществлять автоматический подсчет стоимости предоставленных услуг, контролировать свободное место;
• автоматизировать контроль выезда оплаченных или неоплаченных транспортных средств на станциях технического обслуживания и автокомбинатах, контролировать загрузку зоны обслуживания;
Рис. 1. Общая структура типовой системы распознавания автомобильных номеров
Устройство съема изображения
Предварительная обработка изображения
Обнаружение номерной пластины
Извлечение символов
Распознавание символов
• отслеживать въезд, выезд и время нахождения транспортных средств на территории склада и терминала, предотвращать возможные хищения;
• на автомагистралях обеспечить контроль транспортных потоков и осуществлять автоматическое трассирование угнанных транспортных средств и тех, за которыми числятся правонарушения;
• автоматизировать сбор статистики для муниципальных служб.
На сегодняшний день в мире уже существует несколько систем автоматического распознавания автомобильных номеров. Все они далеки от совершенства и постоянно модифицируются. Тем не менее, общая структура и решения данной задачи уже сформированы (рис. 1).
Устройство съема изображения - видеокамера. На установку видеокамеры накладывается ряд ограничений. Оптическое разрешение камеры выбирается таким образом, чтобы номерная пластина занимала в кадре по горизонтали от 25 до 33 %. Максимально допустимая скорость автомобиля, при которой возможно распознавание, зависит от угла наклона камеры к полотну дороги. В работе [1] декларируется: «Типовой угол наклона камеры должен равняться 40°, чтобы впереди идущий автомобиль не загораживал следующий», что также накладывает ряд ограничений. Вертикальный размер номерной пластины уменьшается пропорционально значению косинуса угла наклона камеры. Следовательно, необходимо увеличивать оптическое разрешение, что приводит к сокращению ширины поля зрения. Некоторые номерные пластины могут быть установлены с наклоном в сторону дорожного полотна. При большом угле наклона распознавание таких номеров весьма проблематично. Оптимальной считается горизонтальная установка видеокамеры, т. е. на том уровне, где находиться номерная
пластина. Такая установка используется в системах автоматического пропуска на закрытую территорию, парковки и т. д.
Другим важным параметром является минимально допустимая контрастность изображения номерной пластины. В некоторых системах устанавливается дополнительный модуль, состоящий из инфракрасной подсветки и соответствующего фильтра [2]. Такой подход позволяет повысить контрастность номерной пластины по отношению к остальному изображению. Эта технология основана на том, что номерная пластина имеет специальное светоотражающее покрытие, при котором отраженный свет распространяется в обратном направлении распространению падающего света (т. е. угол между падающим и отраженным лучом равняется 0°), вследствие чего камерой будет восприниматься в основном инфракрасный свет и свет, отраженный от номерной пластины (рис. 2). Снимок в этом случае, будет монохромным без деталей, за исключением номерной пластины.
Предобработка полученного изображения включает следующие этапы.
1. Коррекция изображения - эквилизация, ограничение экстремальных значений яркости, видоизменение гистограммы распределения яркостей.
2. Устранение эффекта смазывания изображения, возникающего в связи с тем, что скорость автомобиля больше чем скорость регистрации (компенсация сдвига).
3. Устранение избыточной информации - использование инфракрасной (ИК) подсветки, бинаризация, разбиение изображения на отдельные цветовые регионы.
4. Использования программного детектора движения для локализации автомобиля на изображении.
Недостатком предобработки с бинаризацией является то, что выбираемый порог бинаризации не обеспечивает необходимого качества для любого типа изображения. Такие факторы, как освещение или даже цвет транспортного средства влияют на качество бинаризации изображения. Использование методов адаптивной бинаризации позволяет, тем не менее, решить данную проблему более качественно.
Одним из применяемых подходов для локализации номерной пластины является метод обнаружения границ изображения с использованием таких алгоритмов как алгоритм Собеля, Кенни, Робинсона и др. [3]. Алгоритм обнаружения границ должен обнаруживать как горизонтальные, так и вертикальные края. Результирующее изображение, после выделения краев должно содержать большое количество линий в области пластины номерного знака, т. к. она содержит символы. Это основное свойство, которое используется для выделения области пластины номерного знака на изображении.
Для локализации области номерного знака создается окно, приблизительно равное размеру пластины номерного знака на изображении. Это окно используется, чтобы оценить количество граней во всех областях изображения, имеющих наибольший контраст. Окно накладывается на результирующее изображение в наиболее контрастных зонах. Если количество граней находится в заданном диапазоне, то данная область отмечается как область, возможно содержащая номерной знак. Необходимое количество граней определяется экспериментально. Результат работы этого окна - список возможных областей - кандидатов, в которых может содержаться пластина номерного знака. Основным недостатком этого подхода является то, что процесс выбора кандидата является медленным, поскольку значения всех пикселей в выделенном окне должны быть неоднократно суммированы. Другим недостатком является набор большого количества кандидатов в номерные знаки.
Альтернативным подходом для обнаружения номерной пластины является преобразование Ха-фа, которое используется для обнаружения участков различных форм в изображении, таких как круг, эллипс, прямая и т. д. [4]
На вход преобразования Хафа подается бинарное изображение с вертикальными и горизонтальными выделенными краями. На выходе преобразования получаем набор прямых линий, ограничивающих предполагаемый номерной знак, то есть список возможных кандидатов на местоположение пластины номерного знака.
Алгоритм преобразования Хафа для обнаружения прямой линии выглядит следующим образом.
1. Выбор начального пикселя А(х,у).
2. Выбор конечного пикселя В(х,у).
3. Подсчет точек бинарного изображения по линии АВ.
4. Если количество подсчитанных пикселей больше, чем заданное пороговое значение, то линия АВ присутствует в изображении и помечается.
5. Возврат к шагу 1 и выбор двух других пикселей, пока не достигнута последняя точка изображения. Горизонтальные и вертикальные пары линий
сопоставляются. Горизонтальные и вертикальные пары линий, составляющие прямоугольник с отношением сторон примерно равных отношению сторон номерной пластины, отмечаются как область, возможно содержащую номер.
Одним из недостатков преобразования Хафа является тот факт, что вертикальные линии на номерном знаке значительно короче горизонтальных и, следовательно, могут быть более зашумленными.
После того как номерная пластина локализована, выполняется операция обнаружения символов. Для устранения избыточной информации используется алгоритм бинаризации. Выбор порога в алгоритме осуществляется на основе яркостной гистограммы изображения, которая представляет собой одномерный массив Н[0,255], в каждой ячейке которого содержится число точек изображения, имеющих значение интенсивности I.
Согласно наблюдениям, автомобильный номер обладает следующим свойством: средняя площадь всех символов составляет около 23 % от площади всего номера, который имеет форму прямоугольника. Для разных номеров отклонения от этого значения не превышают 5 %. В этом случае порог бинаризации Т может быть определен следующим
т-1
выражением £ Н[3] < 0,23^, где 5 - площадь
3=0
прямоугольника, описывающего номер автомобиля. Результат работы данного алгоритма представлен на рис. 3.
М181уо1?
Рис. 3. Бинарное изображение
Рис. 4. Горизонтальная проекция (распределение средней интенсивности) номерной пластины
Следующим шагом является поиск отдельных символов. Для этой цели мы используем метод, основанный на построении проекции средней интенсивности (рис. 4). Суть этого подхода сводится к следующему,
вычисляется средняя интенсивность в каждом столбце, и в тех местах, где нет символа, средняя интенсивность будет значительно отличаться. Далее выполняя ту же операцию по строкам, получается набор отдельных символов, которые уже можно распознавать.
После выполнения данной операции мы можем получить как символы, так и различные помехи, которые необходимо устранить. Это достигается путем проверки ряда условий, которым должен удовлетворять символ как геометрический объект.
Во-первых, вычисляются размеры прямоугольника, описывающего область-кандидат. Проверяется выполнение условия 0,9 < Ь < 3,5, где а и Ь -
а
соответственно ширина и высота объекта. Объекты, не удовлетворяющие данному соотношению, отбрасываются из рассмотрения.
Во-вторых, проверяется выполнение условия
04 < Ь < 09 где к - высота прямоугольника,
к ' '
описывающего номер автомобиля. Это соотношение накладывает ограничение на минимальную и максимальную высоту символов по отношению к высоте номера.
Наконец, третье условие имеет целью удаление мелких областей, не представляющих интереса. Среди объектов, удовлетворяющих вышеописанным условиям, выбирается объект с максимальной площадью описывающего прямоугольника £шж=а-Ь. Затем среди оставшихся областей выбираются те, которые удовлетворяют условию —> 0,1, где £ -
^тах
площадь прямоугольника объекта-кандидата.
Проверка этих несложных условий позволяет устранить все лишние объекты, выделив только восемь знаков номера (рис. 5).
Рис. 5. Выделенные символы
Поскольку автомобильный номер содержит ограниченный набор символов фиксированного шрифта, в данном случае целесообразно применение шрифтового алгоритма распознавания. Принцип действия основан на прямом сравнении изображения символа с эталоном. Степень несходства при этом вычисляется как количество несовпадающих пикселей. Для обеспечения приемлемой точности шаблонного метода требуется предварительная обработка изображения: нормализация размера, наклона и толщины штриха. Эталон для каждого класса обычно получают, усредняя изображения символов обучающей выборки.
Этот метод прост в реализации, работает быстро, устойчив к случайным дефектам изображения, однако имеет относительно невысокую точность. Широко используется в современных системах распознавания символов.
Для распознавания символов нами используется одна из модификаций шрифтового алгоритма -метод зон [6] . Данный метод основан на сравнении зонного представления изображения символа с эталонным набором зонных представлений символов. Поэтому алгоритм распознавания состоит из трех основных процедур: обучение, загрузка набора эталонных зонных описаний, распознавание.
На этапе обучения использовался полный эталонный набор бинарных изображений символов, изображения всех допустимых символов. При этом для каждого эталонного изображения в наборе выполнялись следующие действия.
• Определение минимального прямоугольника, содержащего все черные пиксели.
• Равномерное разбиение рамки на Nx M прямоугольных зон.
• Подсчет числа пикселей, принадлежащих каждой зоне.
• Формирование вектора зонного описания, состоящего из значений числа черных пикселей для каждой зоны, нормированных путем деления на суммарное число черных элементов всего изображения.
Подсчет числа пикселей, принадлежащих каждой зоне, осуществляется путем голосования черных пикселей. При этом каждый пиксель рассматривается как квадрат размером 1x1, положение границ зон рассчитывается с субпиксельной точностью, и каждый черный пиксель голосует в пользу тех зон, с которыми он пересекается, с весом, равным площади пересечения.
В результате этапа обучения для каждого символа формируется файл зонных описаний, имя символа в ASCII-коде и вектор зонного описания размера NxM с элементами типа float. Вектор зонного описания записывается по строкам, слева направо сверху вниз.
При загрузке эталонных данных происходит считывание эталонного файла и формирование соответствующего списка эталонных векторов зонных описаний.
При анализе каждого символа производятся следующие операции:
1. формирование вектора зонного описания;
2. формирование вектора расстояний;
3. классификация символа на основе вектора расстояний.
Формирование вектора зонного описания осуществляется, как было описано ранее для эталонных изображений.
Формирование вектора расстояний предполагает последовательное вычисление евклидовых расстояний между вектором зонного описания тестируемого символа и векторами зонных описаний каждого эталона в списке. Классификация символа осуществляется путем анализа вектора расстояний и выбора «ближайшего соседа» среди эталонных зонных описаний.
0J20Í 0.055 0.053 Bíjjgo 0.010 ч
0.055 0.038 0.000 0.045 0.047 В
0.037 / HL 0.065 0.047 0.067 0.034
0.060 0.028 Ч 0.000 0.019 0.065
0.6 0.055 ,________________/А 0.050 J I 0.055 ВТ 0 025
Рис. 6. Эталонное изображение символа «8»
С учетом структуры штрихов начертания символов, для размера изображений символов порядка
10x15 пикселей оптимальным числом зон будет NxM,, где N=5 и M=5. При таком выборе зонного разрешения использованный способ нормирования вектора зонного описания позволяет обеспечить устойчивость данного метода распознавания к изменению толщины штрихов символа вследствие нестабильности яркостных характеристик изображения.
На рис. 6 показано эталонное изображение символа «8», разбиение на зоны и пиксельные веса каждой зоны.
Описанная выше, последовательность алгоритмов была использована при создании программы поиска и распознавания автомобильных номеров. Программа разработана в среде Delphi 7 и протестирована на 200 изображениях, вероятность распознавания автомобильного номера составила 85 %.
Работа выполнена при поддержке РФФИ, проект № 06-8-00751.
СПИСОК ЛИТЕРАТУРЫ
1. Department of Electrical and Computer Web Pages. License Plate Recognition Final Report. Обращение к документу 19.08.2006. http://www.ece.cmu.edu/~ee551/Final_Reports/Gr18.551.S00.pdf
2. Kim K.I., Kim K.K., Park S.H., Jung K., Park M.H., Kim H.J. VEGA VISION: A Vision System For Recognizing License Plates // IEEE Intern. Symp. on Consumer Electronics (ISCE 99). - 1999. -V. 2. - P. 176-181.
3. Прэтт У. Цифровая обработка изображений. Пер. с англ. - М.: Мир, 1982. - Т. 1, 2.
4. Gonzalez R.C., Woods R.E. Hough Transform Edge Linking // Digital Image Processing. - 2001. - № хх. - P. 569-577.
5. Уоссермен Ф. Нейрокомпьютерная техника. - М.: Мир, 1992. - 184 с.
6. M.V. Keldysh Institute for Applied Mathematics Russian Academy of Sciences Web Pages. Алгоритмическое обеспечение прототипа устройства считывания паспортов и виз. Обращение к документу 05.07.2006. http://www.keldysh.ru/papers/2003/prep46/ prep2003_46.html
УДК 004.932.4
БЫСТРЫЕ МОРФОЛОГИЧЕСКИЕ ПРЕОБРАЗОВАНИЯ ДЛЯ ЗАДАЧ КОРРЕКЦИИ И ПРЕОБРАЗОВАНИЯ БИНАРНЫХ ИЗОБРАЖЕНИЙ
А.В. Афонасенко
Томский государственный университет E-mail: [email protected]
Представлены быстрые алгоритмы морфологических преобразований бинарных изображений. Отличительной особенностью представленных алгоритмов является исключение операций поиска минимального или максимального элемента внутри структурирующего элемента, что существенно повышает скорость реализации данных алгоритмов.
Использование методов морфологического анализа изображения для коррекции изображений, искаженных случайной некоррелированной помехой является одним из перспективных направлений в области анализа изображений [1-8]. Для оперативных систем обработки и анализа изображений важную роль играют их скоростные характеристики. Поэтому построение эффективных, быстрых алгоритмов морфологических преобразований изображения является актуальной задачей.
Пусть Я и 2представляют соответственно множества действительных и целых чисел, и пусть Е представляет й-мерное непрерывное пространство
Яй, (й=1,2,3,...,К) или дискретное пространство 2й. Тогда й-мерный сигнал можно представить как функцию области Яй (непрерывной) или 2й (дискретной), диапазон которой составляет либо Я -при непрерывном изменении амплитуды, либо 2 -при квантованном изменении амплитуды. Двоичные сигналы могут быть представлены с помощью множеств. Например, изображение в левой верхней части рис. 1 представляет двоичный сигнал, в котором область белого фона выражена через 0, а заштрихованная зона через 1. Ясно, что сигнал может быть также представлен множеством X точек, соответствующих заштрихованной зоне.
