CC BY
42
УДК 004.93'12
Д.О. Очаковский, А.И. Елизаров
Локализация автомобильных номеров методом разбиения изображения на блоки
Предлагается метод локализации автомобильных номеров в изображении (видеопотоке). Представлена формализованная постановка задачи локализации областей автомобильных номеров в изображении и рассмотрен вариант ее реализации.
Введение. Одной из востребованных задач идентификации изображений является задача распознавания автомобильных номеров. Интерес к этой проблеме обусловлен появлением систем идентификации автомобильных номеров и обеспечением новых возможностей в области безопасности и учета. Система идентификации автомобильных номеров может быть применена при решении следующих задач:
— идентификация «автомобиля-нарушителя» на дороге;
— автоматическая регистрация автомобиля на автостоянке;
— идентификация неверно припаркованного либо разыскиваемого автомобиля и т.д.
В настоящее время множество разработчиков работают над решением данной проблемы. В качестве примеров можно привести такие системы, как «АВТО-Инспектор» [1], «Сова» [2], «Поток» [3] и др. По заявлениям разработчиков, каждая из систем обладает высокой степенью точности, т.е. способностью локализовать, распознать и классифицировать номер с вероятностью 90% и более, при соблюдении необходимых технических условий.
В таблице представлены некоторые технические условия указанных трех систем.
Технические условия систем «АВТО-Инспектор», «Сова» и «Поток»
Максимально допустимая скорость движения автомобилей, км/ч «АВТО-Инспектор» «Сова» «Поток»
До 150 До 150 До 150
Максимальное количество одновременно распознаваемых номеров Не ограничено 3 Не указано
Требуемая освещенность, лк Не менее 50 Не указано Не менее 60
Ширина зоны контроля, м До 5 3-3,7 3,1
Вертикальный угол наклона к плоскости дорожного полотна, град До 40 Не указано Не указано
Угол отклонения от вектора движения, град До 30 10-20 11-15
Возможный угол крена номерной пластины на автомобиле, град До 15 До 10 Не указано
Вероятность распознавания, % Не менее 95 70-90 94-99
Как следует из приведенных данных, технические характеристики этих систем существенно ограничивают сферу их применения. Ограничение на скорость делает невозможным применение систем на скоростных загородных шоссе. Требование к освещенности предполагает наличие дополнительных источников освещения в ночное время, что не всегда реализуемо (для сравнения, человеку для чтения необходимо лишь 30 лк). Ограничения на углы наклона камеры и крена номерной пластины не допускают использования данных систем, например, в открытых местностях без использования дополнительных конструкций.
Учитывая все вышеперечисленное, можно констатировать, что задача поиска методов идентификации автомобильных номеров остается актуальной. Кроме того, необходимость поиска новых решений заключается и в низкой применимости подобных систем (в России) из-за высокой стоимости, которая колеблется от 1500 до 6500 долл.
В общем случае задачу идентификации автомобильного номера можно декомпозировать на следующие подзадачи:
— локализация области номера;
— распознавание номера в найденной области;
— классификация распознанного номера.
Формализация задачи локализации области автомобильного номера. Задача локализации области автомобильного номера может быть сформулирована в виде следующей последовательности:
— Определение функции принадлежности к множеству областей автомобильных номеров.
— Поиск областей, «соответствующих» функции принадлежности.
В теории множеств принадлежность некоторого элемента к множеству определяется функцией принадлежности f [4]. Для множества областей автомобильных номеров функция принадлежности может быть представлена следующим соотношением:
f (X, Х^, р)
1, если £ Wi *(XiRXi) < р
г = 1,п,
(1)
0, иначе,
где X — вектор значений информативных признаков эталонной области; X — вектор значений информативных признаков анализируемой области; W — вектор весовых коэффициентов элементов информативных признаков; р — пороговое значение; п — количество информативных признаков; R — отношение отклонения одного значения информативного признака от другого.
Очевидно, что функция принимает значение 1, если рассматриваемая область принадлежит к области автомобильного номера, и 0 в противном случае.
Определение отношения R является трудноформализуемым и может отличаться для разных информативных признаков.
Проблемы подбора значений вектора W и порогового значения р могут быть решены на основе экспериментальных исследований.
Под информативными признаками области автомобильного номера понимается набор формализованных (числовых) характеристик именно для данного объекта. Информативные признаки могут быть определены не полностью, однако необходимо выделить достаточное количество для установления факта принадлежности.
Применительно к области автомобильного номера можно определить следующие информативные признаки:
— наличие «высокой» контрастности;
— габариты области;
— площадь области;
— периметр области;
— компактность области;
— формы области;
— изменение координат области с течением времени (для двигающихся автомобилей).
На элементы множества информативных признаков можно наложить ограничения, для чего необходимо задать ряд величин:
— пороговое значение контрастности (т.е. значение, ниже которого область не считается «высококонтрастной»);
— минимально и максимально допустимые значения габаритов области;
— минимально и максимально допустимые значения площади области;
— минимально и максимально допустимые значения периметра области;
— минимально и максимально допустимые значения компактности области;
— допустимые искажения формы области (данное ограничение может быть задано как минимальное и максимальное отношение ширины области к ее длине или наоборот);
— минимально и максимально допустимые значения скорости изменения координат области.
Таким образом, значения информативных признаков области должны удовлетворять пороговым
значениям или входить в выделенный интервал.
Ограничения определяют область допустимых значений информативных признаков и, как следствие, технические условия эксплуатации системы. Пороговое значение контрастности зависит от освещенности области номерной пластины. Граничные значения интервалов для габаритов, площади, периметра и компактности зависят от размеров изображения и удаленности камеры от автомобиля. Ограничение на искажение формы зависит от углов между камерой и плоскостью номерной пластины. Ограничение скорости изменения координат должно варьироваться в зависимости от возможной скорости перемещения автомобиля.
Таким образом, первый шаг решения поставленной задачи включает в себя локализацию областей в изображении соответствующих ограничениям информативных признаков, принятие решения в соответствии с условием (1) для каждой найденной области и при выполнении условия (1) определение координат области.
Метод локализации областей автомобильных номеров. Для решения задачи локализации областей автомобильных номеров, необходимо сформировать информативные признаки. При этом необходимо выделить лишь те признаки, оценки которых будет достаточно для установления факта принадлежности рассматриваемой области к множеству областей автомобильных номеров. Множество возможных комбинаций информативных признаков порождает большое количество «решений» поставленной задачи [5, 6]. Однако следует отметить, что большинство предлагаемых методов не соответствует техническим условиям современных систем. Более того, почти все методы не опробованы на практике даже самими разработчиками.
Одним из эффективных способов локализации является предложенный нами метод разбиения изображения на блоки и формирования карты контрастностей. В этом случае работа происходит не с отдельными пикселями изображения, а с блоками, посредством использования карты контрастностей.
Очевидно, что количество вычислительных операций, необходимых для обхода каждого блока, в I2
раз меньше, чем количество вычислительных операций, необходимых для обхода каждого пикселя в изображении, где I — размер стороны блока. Для принятия решения о принадлежности, помимо признака контрастности, используются признак габаритов, а также признак изменения координат области с течением времени (для видеопотока).
Предлагаемый метод предполагает выполнение следующих этапов:
1. Разбиение изображения на блоки.
2. Локализация блоков принадлежащих области автомобильного номера, по признаку контрастности (формирование карты контрастностей).
3. Локализация блоков, принадлежащих области автомобильного номера, по признаку изменения координат (для видеопотока).
4. Локализация блоков, принадлежащих области автомобильного номера, по признаку габаритов.
5. Вычисление координат областей автомобильных номеров методом гистограмм.
Описанной последовательности действий предшествует этап предварительной обработки изображений, который представляет собой ряд преобразований, направленных на устранение шумов, связанных с искажениями изображений условиями их получения (освещенность, погодные условия и др.)
[7, 8].
При разбиении изображения на блоки никаких преобразований над изображением не производится. Предполагается, что в дальнейшем изображение будет рассматриваться как массив блоков размером I х I пикселей.
Размер стороны блока I зависит и определяет требования к размерам номерной пластины в изображении (см. рис. 1). Экспериментально были оценены несколько значений стороны блока для возможных диапазонов размеров номерных пластин.
Для локализации блоков, принадлежащих области автомобильного номера, по признаку контрастности для каждого блока вычисляется значение контрастности — отношение самого яркого к самому темному пикселю. В случае если значение контрастности больше заданного порога, блок считается «высококонтрастным» и, следовательно, принадлежащим области автомобильного номера.
Рис. 1. Изображение и его фрагмент, разбитый на блоки
Пороговое значение величины контрастности подобрано экспериментально, оно зависит и накладывает требования на освещенность номерной пластины.
Далее формируются карты контрастностей. Под картой контрастностей понимается бинарное изображение (содержащее два цвета). Пиксель карты контрастностей, с координатами (г, ]) соответствует г -му по ширине и ] -му по высоте блоку в исходном изображении. В случае если блок считается «высококонтрастным», то соответствующий ему пиксель карты контрастностей принимает значение цвета 1, в противном случае пиксель принимает значение цвета 2. Очевидно, что размеры карты контрастностей в I раз меньше размеров исходного изображения.
На рис. 2 приведен пример изображения и соответствующей ему карты контрастностей. Пиксели белого цвета соответствуют «высококонтрастным» блокам в исходном изображении, пиксели черного цвета соответствуют блокам, не являющимся таковыми.
Локализация блоков, принадлежащих области автомобильного номера, по признаку изменения координат осуществляется путем сохранения карт контрастностей нескольких предыдущих кадров. Карта контрастностей текущего кадра попиксельно просматривается. Для каждого пикселя, соответствующего блоку, принадлежащему области автомобильного номера, выполняется просмотр пикселей с теми же координатами на картах контрастностей предыдущих кадров. В случае если все пиксели на картах контрастностей предыдущих кадров также соответствуют блокам, принадлежащим области автомобильного номера, данный пиксель считается «неподвижным». При этом на карте контрастностей
текущего кадра, рассматриваемый пиксель принимает значение цвета, соответствующего блоку, не принадлежащему области автомобильного номера. Сохранение текущей карты контрастностей происходит до выполнения данного этапа. Карта контрастностей последнего по времени кадра удаляется.
Рис. 2. Изображение и соответствующая ему карта контрастностей
Количество карт контрастностей, необходимых для сохранения, зависит и накладывает требования на скорость перемещения автомобиля. Экспериментально были подобраны несколько возможных значений количеств сохраняемых карт контрастностей для различных интервалов скорости перемещения автомобиля.
Следует отметить, что существует множество решений задачи локализации подвижных объектов в изображении (видеопотоке) [9]. Рассмотренный метод оказался наиболее эффективным в данном конкретном случае (как по критерию быстродействия, так и по точности локализации).
Локализация блоков, принадлежащих области автомобильного номера, по признаку габаритов производится путем последовательного сканирования карты контрастностей окном. Размеры окна равны минимально допустимым размерам распознаваемого номера, деленным на размер стороны блока. Пиксели, соответствующие блокам, принадлежащим области автомобильного номера, попавшие в окно, копируются с теми же координатами в новую карту контрастностей в случае, если их количество больше заданного порога. Пороговое значение представляется в виде процентного соотношения от площади окна. Данное процентное соотношение было выведено экспериментально.
На рис. 3 приводится пример выполнения данного этапа. Слева представлена исходная карта контрастностей, справа — сформированная.
Рис. 3. Пример локализации блоков, принадлежащих области автомобильного номера, по признаку габаритов
При определении координат областей автомобильных номеров производятся следующие действия:
1. Построение «вертикальной» гистограммы:
1.1. Подсчет суммы пикселей, соответствующих блокам, принадлежащим области автомобильного номера, для каждой строки карты контрастностей. Значение г -го столбца гистограммы приравнивается к вычисленной сумме в г -й строке карты контрастностей.
1.2. Сглаживание гистограммы. По результатам исследований оптимальным, с точки зрения простоты и минимума в отношении количества подавляемой полезной информации к количеству подавляемого шума, был признан усредняющий фильтр [7]. Размер окна усредняющего фильтра для «вертикальной» гистограммы приравнивается к минимально допустимой высоте области автомобильного номера, деленной на сторону блока.
1.3. Поиск границ пиков в гистограмме. Каждая пара граничных значений пика (увеличение, падение) соответствует верхней и нижней границе области автомобильного номера. Под пиком в гистограмме понимается интервал соседних столбцов, значения которых выше заданного порога. Пороговое значение для «вертикальной» гистограммы приравнивается к минимально допустимой ширине области автомобильного номера, деленной на сторону блока.
2. Построение «горизонтальных» гистограмм:
Для каждой найденной верхней и нижней границы строятся «горизонтальные» гистограммы. То есть рассматриваются фрагменты карты контрастностей, ограниченные сверху и снизу координатами найденных пиков, в «вертикальной» гистограмме. Для каждого фрагмента гистограммы выполняются следующие действия:
2.1. Подсчет суммы пикселей, соответствующих блокам, принадлежащим области автомобильного номера, для каждого столбца фрагмента карты контрастностей. Значение I -го столбца гистограммы приравнивается к вычисленной сумме в I -м столбце фрагмента карты контрастностей.
2.2. Сглаживание полученной гистограммы. Размер окна усредняющего фильтра для «горизонтальной» гистограммы приравнивается к минимально допустимой ширине области автомобильного номера, деленной на сторону блока.
2.3. Поиск границ пиков в гистограмме. Каждая пара граничных значений пика (увеличение, падение) соответствует левой и правой границе области автомобильного номера. Пороговое значение для «горизонтальной» гистограммы приравнивается к минимально допустимой высоте области автомобильного номера, деленной на сторону блока.
Схематично описанная последовательность действий представлена на рис. 4.
В результате формируется список координат областей автомобильных номеров. Координаты вычисляются в масштабе, уменьшенном в I раз.
Следует отметить, что помимо областей действительно являющихся областями автомобильного номера, в некоторых случаях происходит локализация областей, не являющихся таковыми (на рис. 4 рассматривается пример найденного фрагмента изображения с «пестрой» рубашкой). Практическая необходимость в уточнении результата локализации отсутствует, так как все неверно локализованные области могут быть «отброшены» на следующем этапе идентификации автомобильного номера — распознавании, однако процент ошибочно локализуемых областей достаточно мал.
Рис. 4. Схема определения координат областей автомобильных номеров в изображении: даном мин — минимально допустимая ширина области номера, деленная на I;
Аном мин — минимально допустимая высота области номера, деленная на I
Экспериментальные исследования описанной технологии локализации номера автомобиля позволили оценить условия его применимости:
— максимально допустимая скорость движения автомобилей — 150 км/ч;
— максимальное количество одновременно распознаваемых номеров — не ограничено;
— требуемая освещенность — не менее 50 лк;
— размер меньшей стороны номерной пластины — 20 точек и больше;
— вертикальный угол наклона к плоскости дорожного полотна — 45°;
— угол отклонения от вектора движения — 45°;
— возможный угол крена номерной пластины на автомобиле — 15°.
Вероятность локализации при соблюдении технических условий составляет 95%. К выделяемым типам номерных пластин относятся 4 типа, для 19 видов номерных знаков, в соответствии с ГОСТ Р 50.577 [10].
Заключение. Задача локализации областей автомобильных номеров в изображении является первой и неотъемлемой частью задачи идентификации автомобильного номера.
Представленная формализация задачи — метод разбиения изображения на блоки — позволила создать программную систему, которая обеспечивает точность локализации не менее 90% и локализацию
автомобильных номеров в режиме реального времени и соответствует техническим условиям применимости современных систем.
Работа выполнена при поддержке РФФИ, проект № 06—08—00751.
Литература
1. Сайт компании «Интеллектуальные системы безопасности» [Электронный ресурс] : содержит сведения о системе «АВТО-Инспектор». — Режим доступа: http://iss.ru/products/auto/. — Загл. с экрана.
2. Сайт компании «ЗАО Проминформ» [Электронный ресурс] : содержит сведения о системе «СОВА». — Режим доступа: http://www.prominform.com/products/?product=5. — Загл. с экрана.
3. Сайт компании «РОССИ» [Электронный ресурс] : содержит сведения о системе «АВТО-Инспектор». — Режим доступа: http://www.rossi-potok.ru/page.php?id=4. — Загл. с экрана.
4. Гуц А.К. Математическая логика и теория алгоритмов: Учеб. пособие / Гос. образоват. учреждение высш. проф. образования «Омск. гос. ун-т». — Омск: Наследие, 2003. — 51 с.
5. Коваленко Е.Н., Сытник А.В. Методы выделения номерного знака на изображении / Научно-исследовательский институт прикладной электроники. — Киев. [Электронный ресурс]. — Режим доступа: http://visa.net.ua/content/maket015.pdf. — Загл. с экрана.
6. Очаковский Д.О. Программная система выделения номеров в изображении автомобиля / Д.О. Очаковский, В.Т. Калайда // Интегрированные информационно-управляющие системы: Тез. докл. Всерос. науч.-техн. конф., посвящ. 75-летию Ф.И. Перегудова (4—7 мая 2006 г., науч. сес. ТУСУР 2006). — Томск, 2006. — С. 227-229.
7. Прэтт Э. Улучшение изображений // Цифровая обработка изображений / — М.: Мир, 1982. — Гл. 12. — С. 10—12; 19—22.
8. Прэтт Э. Улучшение изображений // Цифровая обработка изображений / Э. Прэтт. — М.: Мир, 1982. — Гл. 12. — С. 2—10.
9. Гаганов В., Конушин А. Сегментация движущихся объектов в видеопотоке // Научно-популярный online-журнал Графика и Мультимедиа [Электронный ресурс]. — 2004. — Режим доступа: http://cgm.graphicon.ru. — Загл. с экрана.
10. ГОСТ Р 50.577-93. Знаки государственные регистрационные транспортных средств, типы и основные размеры. Технические требования. — Введ. 01.01.94. — М.: Технический комитет по стандартизации ТК 278, 2001. (Государственный стандарт Российской Федерации).
Очаковский Дмитрий Олегович
ГОУ ВПО «Томский государственный университет систем управления и радиоэлектроники» Студент 5 курса кафедры АСУ Эл. почта: [email protected].
Елизаров А.И.
ГОУ ВПО «Томский государственный университет систем управления и радиоэлектроники»
D.O. Ochakovsky, A.I. Elizaov
Localization of automobile numbers by a method of splitting of the image on blocks
The automobile numbers localizations method in the image (videostream) is offered. The formalized statement of a localization problem of automobile numbers areas in the image is presented and the variant of its realization is considered.
