Методы предварительной обработки изображения в системе идентификации транспортных средств Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.93

К. Л. Т а с с о в

МЕТОДЫ ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЯ В СИСТЕМЕ ИДЕНТИФИКАЦИИ ТРАНСПОРТНЫХ СРЕДСТВ

Рассмотрены проблемы распознавания государственных регистрационных знаков и функционирования системы идентификации транспортных средств. Предложены методы предварительной обработки изображений для увеличения и выравнивания контрастности, подавления шумов, повышения четкости и устранения смазывания изображений.

E-mail: [email protected]

Ключевые слова: государственный регистрационный знак, распознавание, искажения, восстановление изображения, контрастность.

Системы видеонаблюдения, обладающие функцией автоматического распознавания образов, основаны на быстрых алгоритмах, которые в режиме реального времени анализируют изображение от оптико-электронных модулей (ОЭМ). Необходимые для распознавания вычислительные ресурсы ограничены техническими характеристиками сервера обработки, входящего в состав размещенного в точке наблюдения модуля считывания (МС), а также требуемым временем обработки. Правильность и возможность решения задачи распознавания существенно зависит от качества изображения, которое в свою очередь определяется внешними условиями: освещенностью, видимостью, а также спецификой наблюдаемых объектов. Среди систем видеонаблюдения широкое применение находят системы идентификации транспортных средств (СИТС), основанные на распознавании государственного регистрационного знака (ГРЗ) [1]. Факторы окружающей среды влияют на степень загрязнения поверхности пластины ГРЗ, уровень освещенности и приводят к потере качества (контрастности, яркости, четкости) изображения и проявлению шумов тракта ОЭМ. Становится актуальной задача дополнительной обработки изображения в целях максимально возможной компенсации искажений и подавления помех. С другой стороны, необходимость предварительной обработки и запуска ресурсоемких алгоритмов распознавания несовместима с техническими требованиями работы системы в режиме реального времени и фиксации всех событий проезда ТС при максимально возможной плотности и скорости дорожного движения. Таким образом, ставятся задачи создания оптимального алгоритма регистрации событий и соответствующей организации информационного обмена между МС и центром обработки данных (ЦОД). Ресурсы ЦОД

позволяют выполнить предварительную обработку изображений и распознать события, которые не могли быть распознаны средствами МС вследствие влияния помех или слишком большого количества событий в единицу времени.

Распределенная система видеонаблюдения для идентификации транспортных средств. Архитектура СИТС. Система идентификации ТС на основе распознавания ГРЗ состоит из множества МС, расположенных в разных зонах контроля (точках наблюдения) и соединенных с ЦОД посредством сети передачи данных. Эксплуатация системы и управление осуществляется с автоматизированных рабочих мест (АРМ), подключенных к серверу ЦОД. Каждый МС содержит несколько ОЭМ и один сервер распознавания (СР), выполняющий задачи обнаружения события (проезда ТС), выделения области ГРЗ и запуск программы распознавания. Для передачи данных от СР в ЦОД используется сеть передачи данных, которая может включать как проводные каналы, волоконно-оптические линии связи (ВОЛС), так и радиоканалы, при этом в состав МС входит блок автономного радиоканала (АРК). Архитектура системы идентификации ТС показана на рис. 1.

Алгоритмы работы СИТС на основе распознавания ГРЗ. В системах идентификации ТС с помощью специальных алгоритмов регистрируется факт проезда ТС и выделяется изображение пластины ГРЗ, поступающее на СР, который входит в состав МС. Результат распознавания ГРЗ и его выделенное изображение передаются в ЦОД. Объем, состав и порядок передачи информации от МС в ЦОД являются опционными характеристиками СИТС и могут быть реализованы в соответствии с предъявляемыми техническими требованиями и назначением системы.

Рис. 1. Архитектура системы идентификации ТС

Событием системы идентификации является факт проезда ТС через зону контроля, где установлен МС. Обработка события системы включает следующие этапы:

— фиксирование факта движения в зоне контроля;

— обнаружение объекта в кадре;

— определение типа объекта и принятие решения о дальнейшем распознавании;

— выделение вероятного местоположения пластины ГРЗ;

— определение типа ГРЗ;

— распознавание символов на пластине ГРЗ.

Рассматриваемые далее методы решения проблем связаны с последним этапом обработки события.

Для решения задач распознавания в настоящее время используют в основном нейросетевые алгоритмы (персептрон Розенблатта). Различные модификации искусственных нейронных сетей (ИНС) отождествляют (распознают) подверженный некоторому допустимому искажению символ с эталонным символом шрифта, на котором проводилось обучение ИНС [2, 3].

Проблемы распознавания ГРЗ и функционирования СИТС в целом. Проблемы СИТС подразделяют на три взаимосвязанных класса задач:

— предварительная обработка изображения в целях подавления помех и максимально возможного восстановления качества;

— распознавание символов устойчивого к искажениям и преобразованиям масштаба, поворота и сдвига символа;

— оптимальное распределение вычислений и передачи информации между МС и ЦОД.

Методы предварительной обработки изображения основаны на анализе и преобразовании функции интенсивности, заданной над плоскостью (массивом) пикселов. Данный класс задач связан с оптическими закономерностями видеонаблюдения, параметрами ОЭМ, состоянием пластины ГРЗ (загрязнения различного типа) и условиями внешней среды в зоне контроля (погодные условия, освещенность и т.п.).

Алгоритмы распознавания символов характеризуются вероятностью распознавания, зависящей от величины морфологических изменений символа. К таким изменениям относятся всевозможные искажения и преобразования масштаба, сдвига и поворота символа. Искажениями символов являются случайные деформации линий связанного символа, неоднородность фона, шумы, флуктуации контрастных границ. Преобразования масштаба и поворота символов происходят при

изменении дистанции и угла наблюдения пластины ГРЗ. Преобразование сдвига может возникать в результате автоматического определения границ связанного символа.

Оптимизация вычислений в системе идентификации может быть осуществлена исходя из требований регистрации всех событий во время максимальной нагрузки и допустимого времени обработки одного события. Вычислительные ресурсы МС ограничены использованием типовых СР, устойчивых к внешним воздействиям (полевое исполнение), и экономическими требованиями ввиду большого числа МС в составе системы.

Частота следования событий существенно изменяется в течение суток. Этой особенностью можно воспользоваться для оптимизации вычислений в системе. В периоды увеличения частоты регистрации событий прохождения ТС сервер не успевает распознать ГРЗ для каждого события, но может выполнять процедуру обнаружения ТС и выделения (захвата) пластины ГРЗ, а для распознавания ГРЗ изображения могут быть переданы в ЦОД, ресурсы которого существенно выше. Кроме того, передачу изображений пластин ГРЗ в ЦОД целесообразно осуществлять приотсутствии возможности распознавания всех символов знака средствами СР. В некоторых СИТС исходное изображение пластины ГРЗ и/или фотография ТС передаются в ЦОД независимо от результата распознавания.

Дополнительные методы предварительной обработки изображений ГРЗ. Входные данные. Выделенные изображения пластин ГРЗ, символы которых не были полностью распознаны средствами МС, а в некоторых случаях и фотографии ТС, передаются в ЦОД. При больших вычислительных ресурсах серверы ЦОД позволяют выполнять более сложную программу идентификации, включающую в себя предварительную обработку изображения и последующее распознавание с использованием специальных алгоритмов.

Для компенсации разных видов искажений в целях повышения вероятности распознавания символов применяют различные методы предобработки изображений. Входными данными задач такой обработки изображения являются графические файлы, содержащие массивы значений интенсивности (так называемых оттенков серого), соответствующие выделенным изображениям пластин ГРЗ.

Основные задачи предварительной обработки изображений. Наблюдаемые кадры изображения от видеокамеры могут содержать искажения, обусловленные воздействием различных внешних факторов.

Снижение контрастности (сужение диапазона оттенков) происходит при низкой или избыточной освещенности. Неоднородное изменение контрастности является следствием особенностей освещения:

сосредоточенные источники света, каустики световых лучей, отраженных от различных поверхностей, например, корпусов автомобилей и дорожного полотна в условиях дождя.

Шумы проявляются на изображении в условиях низкой освещенности, когда уровень полезного сигнала уменьшается и становится сравним с уровнем шумов светочувствительной матрицы и тракта передачи ОЭМ.

Загрязнения поверхности пластины ГРЗ приводят к наиболее существенным искажениям, снижающим вероятность распознавания символов. По степени неоднородности можно выделить три вида загрязнений:

— равномерное напыление - размер зерна неоднородности меньше разрешения на один пиксел;

— мелкозернистые - размер зерна неоднородности много меньше ширины линий символов;

— крупнозернистые - размер зерна неоднородности сравним с шириной линий символов.

Если влияние равномерного напыления сводится преимущественно к снижению контрастности, то зернистые загрязнения могут искажать форму символов, затруднять определение границ связанного символа. Проблема фильтрации неоднородных загрязнений изображения достаточно актуальна, но полностью не решена в настоящее время. Для формализации данной задачи требуется привлечение математических методов цифровой обработки сигналов и корреляционного анализа. В частности, при определении размера зерна неоднородности необходимо вычислять радиус корреляции значений интенсивности. Фильтрация зерен неоднородности возможна при нахождении критериев различия линий символов и зерен загрязнения.

Смазывание изображения может возникать в результате:

— рассеяния лучей при плохой видимости (туман, дождь, пространственные флуктуации температуры воздуха и др.);

— дефокусировки объектива видеокамеры;

— относительного движения камеры и объекта.

Предварительная обработка включает в себя следующие задачи

восстановления изображения:

— увеличение и выравнивание контрастности (локальное восстановление шкалы оттенков серого);

— подавление шумов и уменьшение влияния мелкозернистых загрязнений фона (на основе анализа свойств функции интенсивности как поверхности над плоскостью изображения);

— повышение четкости и устранение смазывания (спектральная регуляризация).

Восстановление изображения возможно при достаточном разрешении камеры и при отсутствии потери информации, необходимой для однозначного решения обратной задачи, в результате искажения. Для решения задач обработки изображения предлагаются следующие математические методы.

Увеличение и выравнивание контрастности изображения. Контрастность кадра может быть изменена с помощью локального преобразования значения интенсивности для каждого отдельного элемента (пиксела) изображения. Если интенсивность наблюдаемого исходного изображения описывается функцией X = X(х^ х2), тогда восстановленное изображение У(х^х2) с преобразованием контрастности вычисляется по формуле

где Ь(Х; (X), (DX)±) — функция преобразования исходного значения яркости X(х1, х2). Данная функция также зависит от трех параметров: среднего значения (X)(х1,х2) и дисперсий (DX)±(х1,х2) отклонения от среднего в сторону больших (+) и меньших (—) значений интенсивности в пределах заданной области изображения с центром в точке (х1,х2). Размер области, в которой вычисляются среднее значение и дисперсии, задается числом пикселов максимального отклонения от центра области: по горизонтали 1дар и по вертикали Jgap. Функцию преобразования (1) можно записать в виде:

где f (^) — непрерывная монотонная на отрезке [0,1] функция, принимающая значения на отрезке [0,1]; индексы г, ] нумеруют узлы сетки координат (х1,х2), соответствующие пикселам изображения.

Математический алгоритм увеличения контрастности сводится к восстановлению шкалы оттенков серого. Используемый стандартный диапазон градации серого заключен в пределах от 0 до 255. В результате искажений на реальном изображении диапазон оттенков может оказаться суженным и сконцентрированным в произвольных пределах внутри полной шкалы.

Функция преобразования (1) показанана рис. 2. В исходном изображении X шкала оттенков сужена и находится в диапазоне значений 100-200, после преобразования шкала восстанавливается до полного диапазона значений 0-255 в результирующем изображении У.

Примеры реальных наблюдений (рис. 3, а) показывают, что в условиях низкой или избыточной освещенности шкала оттенков на черно-белом изображении сужается и смещается на край шкалы: либо

Y = L(X; (X>, (DX>±),

(1)

(2)

в область темных оттенков, либо в область светлых оттенков. Результат увеличения и выравнивания контрастности данным методом приведен на рис. 3, б.

Подавление шумов и уменьшение влияния мелкозернистых загрязнений фона. Функцию интенсивности изображения можно рассматривать как двумерную поверхность над плос-

Рис. 2. Функция для восстановления шкалы костью (массивом) пикселов. оттенков серого Существуют стандартные ме-

тоды анализа поверхностей [4], включающие нахождение кривизны, геодезических линий и касательных векторов к ним таким образом, что в каждой точке исходную поверхность можно аппроксимировать квадратичной формой, коэффициенты которой определяют тип кривизны. По типу кривизны все точки поверхности подразделяют на три подмножества: гиперболические, эллиптические и параболические. Тогда линии связанного символа в идеальном случае будут образованы точками параболического типа (одна из главных кривизн равна нулю, а другая положительна для позитива и отрицательна для негатива). В реальном случае интенсивность вдоль линии символа непостоянная и тип образующих ее точек поверхности близок к параболическому, т.е. эллиптический или гиперболический, но с большим аспектным отношением: максимальное и минимальное абсолютные значения главных кривизн существенно различаются.

Предлагаемый метод позволяет, с одной стороны, строить изображение по значениям кривизны, с другой стороны, используя квадрант

6

Рис. 3. Исходные и обработанные изображения пластин ГРЗ:

а — исходное; б — с восстановленным диапазоном оттенков серого; в — обработанное с использованием свойств функции интенсивности как двумерной поверхности

Рис. 4. Исходные и обработанные изображения пластин ГРЗ:

a — исходное; б — с восстановлением диапазона оттенков серого, обработанное с использованием свойств функции интенсивности как двумерной поверхности, и фоном отрицательной кривизны; в — результат автоматического выделения границ связных символов; г — результат спектральной регуляризации, повышающий четность контрастных границ

тичную аппроксимацию поверхности в окрестности каждой точки, подавить шумы и уменьшить влияние мелкозернистых загрязнений. Применяя в заданной окрестности каждой точки (х^х2) метод наименьших квадратов для аппроксимации, т.е. нахождения коэффициентов формы:

1

2 2

Q = Co + ^ Са(Уа - Ха) + ^ ^ ^ Caßya - Xa)(yß - Xß) (3)

a=1

2

a=1 ß=1

вычислим главные кривизны К1, К2 и построим преобразованное изображение по формуле

Y(xi,x2) = X(xi, X2) + Co(xi, X2).

(4)

Благодаря устойчивости метода наименьших квадратов к случайному разбросу значений аппроксимируемой функции с помощью решения для СО компенсируются помехи (шумы и мелкозернистые загрязнения) исходного изображения X.

Коэффициенты формы (3) являются производными функции интенсивности исходного изображения согласно формуле ряда Тейлора:

Ca -

dX(x1, x2)

Ca,ß =

d2X(x1, x2)

дХа ОХаОХр

Метрический тензор поверхности и его определитель

(5)

gaß = Saß + CaCß, D - det - 1 +

£ Ca.

a=1

(6)

Главные кривизны поверхности и соответствующие им направления геодезических линий определяются решением следующей задачи на собственные векторы и собственные значения:

(-= Caß - gaßKjaUß = 0. (7)

Собственные значения К1,К2 задачи (7) есть главные кривизны поверхности в точке (x1,x2), а собственные векторы U1,U2 задают направления геодезических линий, проходящих через данную точку. Пусть значения К1 и К2 пронумерованы в порядке убывания абсолютного значения, т.е. всегда выполняется условие: |К1| > |К2|.

Применительно к изображению символов, геодезическая линия с минимальной по модулю кривизной К2, близкой к нулю, и максимальными значениями кривизны К1 является линией связанного символа. Импульсные шумы видеосигнала и мелкозернистые загрязнения фона проявляются на изображении в виде хаотически расположенных точек (зерен), размером от одного до нескольких пикселов в зависимости от масштаба. Изображению точки соответствуют максимальные по модулю кривизны, совпадающие по знаку и близкие по значению. Указанное соответствие значений кривизны и элементов изображения систематизировано в таблице.

Тип фото Значения главных кривизн Гауссова кривизна Элементы изображения

Позитив Ki ^ max K2 ^ 0± KlK2 ^ 0± Линия символа

Негатив Ki ^ min K2 ^ 0± KlK2 ^ 0±

Позитив Kl ^ max K2 ^ max Ki K2 ^ max Зерно загрязнения

Негатив Kl ^ min K2 ^ min Ki K2 ^ max

Позитив Kl ^ 0- K2 ^ 0- KiK2 ^ 0- Чистый фон

Негатив Ki ^ 0+ K2 ^ 0+ KiK2 ^ 0+

Изображения, построенные с использованием кривизн К\,К2, представлены на рис. 4, б.

Повышение четкости и устранение смазывания изображения. Универсальная форма уравнения, связывающего наблюдаемое и обработанное изображения, имеет вид:

X(х) /[ д,у1д,у2К(х - у)У (у)д,Ь. (8)

??

Уравнение (8) является уравнением Фредгольма 1-го рода. Данная задача не является корректно поставленной, поэтому при решении

уравнения (8) используется метод регуляризации Тихонова [5]. Здесь и далее будем использовать обозначения x = (x1, x2) и y = (y1, y2) для аргументов функций яркости X(x1,x2) = X(x) и Y(y1,y2) = Y(y).

Возможные обобщения ядра K могут быть получены при совместном действии искажающих факторов (плохая видимость, движение, дефокусировка), а также сучетом распределения яркости в пятне рассеяния на изображении произвольной точки объекта. Ядро уравнения (8) можно обобщить в виде:

K(x - y) = e(p2a - р2) + ^^S(x1 - y0%2 - x2)0(x2 - y2 + «Г), пр0 ат

где р2 = (x1 - y1)2 + (x2 - y2)2.

Ядро уравнения (8) зависит только от разности аргументов x - y, следовательно, интеграл в правой части уравнения представляет собой свертку функций K(z) и Y(z):

[K * Y](x) = JJ dy1 dy2K(x - y)Y(y).

При фурье-преобразовании свертки двух функций получим произведение их спектров. В результате интегральное уравнение (8) преобразуется в алгебраическое уравнение, связывающее спектры искомой (Y) и заданной (X) функций:

X(k) = K"(fc)(fc), (9)

где спектры функций связаны с оригиналами обратным преобразованием Фурье:

Y(x) = f dk1 dk2e-ikxY(k).

Решение уравнения определяет спектр искомой функции:

Y(k)=т (10)

Решение (10) может оказаться неограниченной функцией в окрестности нулей функции ядра KT(k) = 0. Для корректного решения обратной задачи используется метод регуляризации.

Сформулируем задачу (8) в виде поиска минимума следующего функционала:

Mo[Y] = JJ dx1dx2[X(x) - [K * Y](x)]2 = 0. (11)

Метод регуляризации при решении уравнения (8) реализуется заменой задачи минимизации (11) аналогичной задачей для дополнен-

ного функционала:

Mo[Y] = eN[Y] + Mo[Y] ^ min, (12)

где N [Y] — регуляризирующий функционал

N [Y]= /У dxldx2(pl(d)lY (x))2 + p2((d )2Y (x))2 + qY2(x)). (13)

Сформулируем задачу (13) в спектральном представлении. Регуляризирующий функционал

NV[Y] = JJ dkldk2(p\k\2 + q)Y2(k); (14)

основной функционал

MMo[Y] = JJ dkidk2(X(k) - K(k)Y(k))2; (15)

полный функционал (сумма)

Ma[Y] = /У dkidk2{e(p\k\2 + q):P2(k) + (X(k) -K(k)Y(k))2} ^ min.

(16)

Решение задачи минимизации функционала (16) для спектра таково:

-(*) = - . (17)

V 7 К-2(к) + е(р|к|2 + д)

Решение для (оригинала) искомой функции получим обратным преобразованием Фурье:

Y(х) = [[ -в-гкх, (18)

1 ; (2п)2Л К-2(к) + е(р|к|2 + д) ' '

где е — параметр регуляризации.

Устранение смазывания, возникшего при дефокусировке объектива

видеокамеры в круге радиуса р0, описывается уравнением

Ь1_Ь2

X(x) = / I dyidv2—2в(р0о - p2)Y(y). (19)

1

ПР0

??

Заметим, что ядро уравнения (19) зависит от разности аргументов. Устранение смазывания, возникшего при плохой видимости. В

условиях плохой видимости (туман, дождь и др.) происходит случайное рассеяние (или изотропное хаотическое искривление) оптических лучей, что приводит к эффективной дефокусировке изображения каждой точки объекта в круге радиуса р0. В общем случае распределение яркости в пятне рассеяния определяется некоторой функцией

А(р), зависящей от характера искажающего фактора. Таким образом,

уравнение (19) обобщается в виде:

если рассеяние ограничено кругом радиуса р0

—1—2

X(х)= /У ¿Ы|/2^0(р0 - р2)У(у); (20)

У,/ пРо

00

с огибающей функцией Гаусса

—1—2

X(х) = /У %2^ ехр(—р2/р0)У (у), (21)

.1.1 пР0

00

где р 2 = (ж1 — У1)2 + (х 2 — у2)2 и ядро уравнений (20), (21) также зависит от разности аргументов.

Устранение смазывания, возникшего при относительном движении камеры и объекта. Если X = X(х1,х2) — наблюдаемое изображение, смазанное вследствие относительного движения камеры и объекта, тогда исходное четкое изображение У = У (х1, х2) удовлетворяет уравнению

т

X(х1,х2) = —У ¿¿У(х1 + а^, х2 + а2£), (22)

0

где т — время экспозиции. Пусть скорость а = (0, а) параллельна вертикальной оси координат у2. Тогда уравнение (21) можно записать в виде двумерного интегрального уравнения Фредгольма 1-го рода

—1 Ж2+ат

X(хьх2) = J 5(х1 — У1)У(У1,У2), (23)

0 а2

где ^(х1 — у1) — дельта-функция. Используя функцию Хэвисайда запишем уравнение (23) в стандартном виде с постоянными пределами интегрирования:

£>1—2

X// ¿¿(х! — У1 )%2 — х2)^(х2 — У2 + ат)У(у). (24)

00

Испытания проводились с помощью СИТС "Автоураган 3.5" на выборке 10 000 нераспознанных ГРЗ, на которой распознавание составило 5 % ГРЗ, благодаря чему увеличивается доля распознанных ГРЗ, полученных от СИТС.

В результате исследования алгоритмов предварительной обработки видеонаблюдения достигнуто повышение качества распознавания при

использовании разработанной СИТС по сравнению с существующими системами. Определена последовательность применения алгоритмов предварительной обработки.

В настоящее время продолжаются исследования по всем этапам обработки и распознавания ГРЗ: предварительной обработки, выделения ГРЗ и его символов, определения его типа, распознаванию символов. Предполагается осуществить детальную оценку вычислительной сложности разрабатываемых алгоритмов.

СПИСОК ЛИТЕРАТУРЫ

1. Технологии распознавания. - URL: http://recognize.ru

2. Розенблатт Ф. Принципы нейродинамики: Персептроны и теория механизмов. - М.: Мир, 1965. - 480 с.

3. FukushimaK. Neocognitron: A self-organizing neural network for mechanism of pattern recognition unaffected by shift in position // Biological Cybernetics. -1980. -№№ 36. - P. 193-202.

4. М и щ е н к о А. С., Ф о м е н к о А. Т. Курс дифференциальной геометрии и топологии. - М.: МГУ, 1980. - 440 с.

5. Тихонов А. Н., Арсенин В. Я. Методы решения некорректных задач. -2-е изд. - М.: Наука, 1979. - 288 с.

Статья поступила в редакцию 10.05.2012