CC BY
46
МЕТОД АВТОМАТИЧЕСКОГО АДАПТИВНОГО УПРАВЛЕНИЯ ПРОЦЕССОМ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ В СИСТЕМАХ РАСПОЗНАВАНИЯ ТЕКСТОВЫХ МЕТОК РЕАЛЬНОГО ВРЕМЕНИ
Черкас П.С.1, Царёв В.А.1,2 1 ООО «Малленом Системс», 2 Институт менеджмента и информационных технологий (филиал) Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Санкт-Петербургский государственный политехнический университет»
Аннотация
В статье описан метод автоматического адаптивного управления процессом формирования изображений в системах распознавания текстовых меток реального времени. Предложены критерии оценки качества видеоизображений с образами текстовых меток объектов контроля и алгоритмы управления параметрами средств формирования изображений в составе таких систем. Даны рекомендации по выбору средств формирования изображений и описаны критерии эффективности модуля управления их параметрами.
Ключевые слова: системы автоматического управления, средства формирования изображений, распознавание символов, умные камеры, качество изображений.
Введение
В настоящее время на транспорте и в промышленном производстве всё чаще используются системы распознавания текстовых меток реального времени (СРТМРВ). Данные системы представляют собой аппаратно-программные комплексы и предназначены для идентификации в режиме реального времени объектов контроля с помощью распознавания образов их текстовых меток на изображениях, поступающих от видеокамер. Типичным примером СРТМРВ являются системы распознавания автомобильных номеров.
В аппаратное обеспечение СРТМРВ входят ЭВМ и средства формирования изображений (СФИ): видеокамеры, объективы, средства освещения, платы видеозахвата и т. п.
Специализированное программное обеспечение рассматриваемых систем включает в себя подсистему видеоввода, математико-программный модуль распознавания текстовых меток (ТМ), пользовательский интерфейс и т. п.
Эффективность СРТМРВ зависит от многих факторов, в том числе и от работы алгоритмов распознавания, которые предъявляют определённые требования к изображениям, содержащим образы ТМ. Из-за этого максимальная эффективность алгоритмов распознавания достигается только при обработке качественных изображений с образами ТМ, удовлетворяющих требованиям.
Разработка и применение алгоритмов распознавания ТМ на изображениях выходят за рамки данной статьи и не будут рассматриваться.
Многие СРТМРВ применяются в сложных нестационарных условиях эксплуатации. Например, когда освещённость зоны контроля является переменчивой и непредсказуемой, когда изменяются погодные условия, а ТМ объектов контроля обладают различными характеристиками и могут быть загрязнены. При этом, как правило, используются СФИ общего назначения, которые не учитывают особенности работы конкретных алгоритмов распознавания и предназначены для обеспечения определённого качества изо-
бражения в целом, но не его отдельных областей с образами ТМ. Это приводит к тому, что в сложных условиях большинство СФИ формируют низкокачественные изображения самих ТМ (рис. 1), которые малопригодны для распознавания. Из-за этого эффективность алгоритмов распознавания и, как следствие, самой СРТМРВ значительно снижается. Указанные проблемы достаточно подробно описаны в [1].
а]ЕХ_I__16)1
Рис. 1. Изображения ТМ низкого качества
В определённых случаях для улучшения качества изображений можно применять программные алгоритмы. Но при использовании СРТМРВ в сложных нестационарных условиях изображения ТМ могут быть настолько низкого качества, что подобные алгоритмы будут не способны улучшить их.
Для решения описанной проблемы целесообразно ввести автоматическое интеллектуальное управление процессом формирования изображений в СРТМРВ. Под этим подразумевается автоматическое управление параметрами СФИ с целью формирования высококачественных изображений с образами ТМ в сложных нестационарных условиях с учётом особенностей функционирования конкретных алгоритмов распознавания ТМ.
Частично подстройка параметров СФИ может выполняться вручную оператором системы, но из-за определённых сложностей в большинстве случаев она не выполняется или не может быть выполнена [2].
При разработке СРТМРВ с автоматическим управлением процессом формирования изображений возникает ряд задач, решение которых будет рассмотрено в данной статье: вычисление качества изображений с образами ТМ, выбор СФИ и их управляемых параметров, автоматическое управление параметрами СФИ.
1. Принципы функционирования СРТМРВ с автоматическим управлением процессом формирования изображений СРТМРВ с автоматическим управлением процессом формирования изображений (рис. 2) являются системами автоматического управления и включают в себя модуль управления (МУ) параметрами СФИ.
Зона контроля
СФИ
СРТМРВ
Подсистема Изображение Алгоритмы ТМ
видеоввода текстовых меток
А Качество
Модуль изображения Алгоритмы расчёта качества изображений
управления
Рис. 2. Схема функционирования СРТМРВ с автоматическим управлением процессом формирования изображений
Элементы схемы, отмеченные жирными линиями, указывают на замкнутость рассматриваемых систем управления и на их отличие от большинства современных СРТМРВ.
При этом динамическим объектом управления являются СФИ, у которых выделяются управляемые параметры. В момент времени / набор значений данных параметров ЕРЯ( описывается следующим образом:
ЕРЯ, = (Ирг,,!,..., Ирг, к), (1)
где Ирг, ^ е АИ; - значение / -го параметра СФИ в момент времени , ,
АИ; - область возможных значений / -го параметра.
Цель управления заключается в формировании высококачественных изображений с образами ТМ. Новые значения управляемых параметров СФИ ЕРЯ\ вырабатываются в МУ с помощью закона управления и с учётом их текущих значений ЕРЯ( и качества текущего изображения 2(1ш):
ЕРЯ\ = и(ЕРЯ, 0(1ш)). (2)
2. Алгоритмы расчёта качества информативных изображений
В рассматриваемых СРТМРВ все изображения необходимо разделять на два класса: информативные и неинформативные. Информативными являются те изображения, при анализе которых можно извлечь информацию, необходимую для выработки новых значений параметров СФИ. Все остальные изображения - неинформативные.
Качество определяется только для информативных изображений. Для этого вычисляются характеристики Я(1ш) областей изображения, содержащих образы ТМ:
Я(1ш) = (г1,..., гп),
(3)
где г е А^ - значение / -й характеристики, А^ - область значений / -й характеристики.
При выборе рассчитываемых характеристик Я(1ш) необходимо учитывать, что эффективность большинства алгоритмов распознавания ТМ зависит от того, насколько символы образа ТМ отличаются от её фона. Поэтому целесообразно в областях изображения с образами ТМ рассчитывать среднюю яркость светлых ЪгШ(е и тёмных ЪгЪ1аск пикселей образа ТМ. В таком случае вектор значений характеристик изображений имеет следующий вид:
Я(1ш) = (Ьгш,е, ЪгЪ1аск ) = (гЪ г2) . (4)
Данные характеристики позволяют оценивать яркость пикселей символов и фона образа ТМ, обладают универсальностью и могут быть использованы для оценки качества изображений в широком круге задач распознавания ТМ.
С учётом того, что локализованные области изображения, кроме образов ТМ, могут содержать посторонние объекты, а сами образы ТМ могут быть наклонены, то при вычислении Я(1ш) необходимо использовать алгоритмы, которые будут вычислять характеристики именно образа ТМ, а не всей области I. Одним из оптимальных методов вычисления характеристик Я(1ш) образа ТМ в области изображения I является следующий: область I пересекается горизонтальными линиями с шагом к . Вдоль данных линий определяются контрастные пиксели, у которых разница яркости с предыдущим пикселем больше определённого порога.
В окрестностях данных пикселей (квадрат 3*3 с центром в пикселе) вычисляется локальный порог бинаризации ТИ как среднее между минимальной и максимальной яркостью. С помощью ТИ рассчитываются средняя яркость тёмных (при яркости пикселей < ТИ) и светлых (при яркости пикселей > ТИ ) пикселей в окрестностях точки. Данные значения для всех контрастных точек в области I упорядочиваются, и медианные значения используются как Ъг№Ше и ЪгЪ1аск. Подразумевается, что наибольшее количество контрастных пикселей будет принадлежать образу ТМ, поэтому данный алгоритм рассчитывает характеристики именно образа ТМ, а не всей области.
Для вычисления Я(1ш) используются результаты работы алгоритмов распознавания ТМ. Если в локализованной области I распознана большая часть символов ТМ, то характеристики Я(1ш) вычисляются в сегментах изображения с образами распознанных символов. Если в локализованной области I распознано мало символов ТМ, то характеристики Я(1ш) вычисляются во всей области I.
Кроме этого характеристики Я(1ш) необходимо рассчитывать для областей изображения, которые в
определённых случаях могут содержать образ ТМ низкого качества. Например, с помощью бинаризации с высоким порогом, выделения связных компонент и их фильтрации по размерам можно обнаруживать белые прямоугольные области изображения, которые могут соответствовать образу пересвеченной ТМ. При этом вычисляется средняя яркость Ьг обнаруженной пересвеченной области, которая и используется в качестве значений средней яркости тёмных и светлых пикселей образа ТМ: ЬгШ(е = ЬгЬ[аск = Ьг .
Характеристики К(1ш) также могут быть определены и в тех случаях, когда всё изображение является низкокачественным. Например, когда больше 80 % изображения пересвечено, то и образ ТМ также будет
пересвечен и ЬГ„Ше = ЬГЫаск = 255 .
В остальных случаях изображения являются неинформативными.
После выбора рассчитываемых характеристик К(1ш) необходимо задать вектора их оптимальных значений Я0 , при которых алгоритмы распознавания проявляют максимальную эффективность:
К0 = {(г 021,..., г 01и),..., (г 0и1,..., г0тп)}, (5) где г0г-с А- оптимальное значение ] -й характеристики в векторе К0г-.
Для вычисления Я0 всё пространство характеристик К(1ш) делится на области определённого размера. При использовании характеристик ЬгШ(е и ЬгЬ[аск всё пространство К(1ш) разбивается на области размером 10^10.
Для каждой I -й области формируется выборка изображений с образами ТМ, чьи характеристики К лежат в данной области. Далее для каждой I -й области вычисляется средняя вероятность правильного распознавания р как доля изображений, на которых ТМ правильно распознана, из всех изображений данной области. Если Р^ > е, то центр области является одним из
векторов оптимальных значений: Сг- е К0. Вектора К0 определяются при разработке СРТМРВ по полученной в результате проведённых исследований зависимости эффективности алгоритмов распознавания ТМ от значений характеристик К(1ш).
В общем случае качество информативных изображений 2(1ш) вычисляется как степень соответствия их характеристик оптимальным значениям:
0(1ш) = <2(К(1ш),К0) е [0,1]. (6)
Для этого рассчитывается кратчайшее нормированное расстояние от вектора К(1ш) до оптимальных значений К0 :
Q( R(Im), R0) =
1,
R(Im) е R0
1 _ Dmm( R(Im), R0) , R(Im) , R0,
(7)
где D(Rj, R2) - евклидово расстояние, Dmax - максимально возможное расстояние, при использовании brwhite и brblack значение Dmax = D((0,0),(255,255)),
Dmin (R(Im), R0) = min(D(R(Im), R0j),..., D(R(Im), R0„)) - кратчайшее расстояние от R(Im) до R0 .
Если на изображении присутствуют образы нескольких ТМ, то его качество должно рассчитываться следующим образом: для каждой области l с образом ТМ вычисляется вектор R(Iml); далее выполняется кластеризация данных векторов; центр наибольшего кластера (по количеству векторов) используется как вектор обобщённых значений характеристик R(Im) всего изображения в алгоритме оценки качества (7).
3. Выбор СФИ
При выборе СФИ и их управляемых параметров необходимо руководствоваться следующими правилами:
_ СФИ должны обладать необходимым качеством и допускать управление своими параметрами программно от кадра к кадру; _ изменение значений управляемых параметров СФИ должно приводить к предсказуемому изменению характеристик областей изображения, содержащих образ ТМ. В настоящее время в СРТМРВ в основном используются следующие варианты СФИ:
_ аналоговая видеокамера с платой видеоввода; _ цифровая IP видеокамера; _ цифровая USB видеокамера. Совместно с любой видеокамерой часто используются средства освещения (прожекторы).
В общем случае при использовании любого комплекта СФИ можно выделить их параметры, которые будут регулироваться:
_ параметры платы видеозахвата; _ параметры объектива;
_ параметры самой видеокамеры: выдержка,
усиление, режим работы и т.д.; _ мощность средств освещения; _ угол поворота камеры; _ и др.
Наиболее удобными и перспективными с точки зрения автоматического управления являются цифровые камеры. Так, многие современные IP камеры позволяют управлять своими параметрами посредством сетевых команд (например, с помощью HTTP запросов). Цифровые USB камеры также позволяют удобно управлять своими параметрами с помощью специализированных драйверов. С учётом особенностей технологии USB подобные камеры не могут использоваться на большом удалении от компьютера, но при их применении практически будут отсутствовать временные задержки при передаче видео и управляющих команд, как это происходит при использова-
нии IP камер. Другое важное преимущество цифровых USB видеокамер перед IP-камерами заключается в том, что последние сжимают видеопоток с потерями, что негативно сказывается на эффективности распознавания мелких деталей ТМ.
В настоящее время появляется всё больше так называемых «умных камер», которые в одном корпусе содержат видеокамеру и вычислительный модуль [5, 6]. В таких комплексах могут использоваться USB видеокамеры, сигнал с которых обрабатывается непосредственно на встроенном вычислительном модуле и при необходимости передаётся по сети. Помимо самой обработки изображений, на вычислительном модуле может происходить и автоматическое управление параметрами СФИ по рассматриваемому в данной статье методу.
При установке оборудования и его первоначальной настройке необходимо производить расчёт оптимальных значений для всех неуправляемых параметров с учётом условий использования и возможных значений управляемых параметров.
Далее должна быть экспериментально определена базовая зависимость Mbase значений R(Im) от HPR :
Mbase = {(Rj,HPRj),..., (Rn,HPRn)}.
(8)
При этом всё пространство ЕРЯ разбивается на области. Для каждой i -й области вычисляется её центр ЕPRi. Далее в условиях, приближённых к реальным, проводится эксперимент, в котором используется полный набор СФИ и реальная ТМ. При этом перебираются все центры ЕPRi, и с данными значениями формируются изображения с образом ТМ. На полученных изображениях вычисляется вектор усреднённых значений характеристик Я(Im) для каждой i -й области с центром в ЕPRi. Зависимость MЪase будет учитываться в модуле управления. Она будет использоваться как начальная при инициализации системы и будет обновляться при её функционировании.
4. Алгоритмы автоматического управления параметрами СФИ
В большинстве случаев СРТМРВ применяются в сложных нестационарных условиях эксплуатации:
- изменчивая освещённость зоны контроля;
- смена дня и ночи, смена времён года;
- неблагоприятные погодные условия;
- особенности поведения объектов с ТМ в зоне контроля;
- особенности ТМ: различные характеристики у различных ТМ, загрязнение, потёртости и т. д.
Это приводит к тому, что базовая зависимость MЪase характеристик Я(1ш) от ЕРЯ является корректной только для тех условий, в которых проводился эксперимент по её измерению. Для всех остальных условий данная зависимость является априорно неизвестной и нестационарной (чаще всего она и нелинейная). При этом закон управления должен основы-
ваться на данной зависимости. Поэтому модуль управления должен быть адаптивным автоматическим регулятором, который состоит из подсистемы управления и подсистемы адаптации (рис. 3).
Рис. 3. СРТМРВ с адаптивным МУ В адаптивном МУ подсистема управления вырабатывает новые значения регулируемых параметров СФИ в соответствии с определённым законом управления. Однако данный закон (либо его параметры) должен автоматически подстраиваться под изменения внешних условий эксплуатации. Подсистема адаптации как раз и должна вычислять корректную для данных условий зависимость Я(1ш) от ЕРЯ в процессе функционирования системы и корректировать закон управления и [3, 4].
Т.к. значения Я(1ш) и 2(1ш) вычисляются только для информативных изображений, то при разработке адаптивного МУ необходимо определить отдельные алгоритмы управления параметрами СФИ для информативных и неинформативных изображений. Но данные алгоритмы должны функционировать согласованно.
При обработке информативных изображений используется беспоисковый алгоритм прямого адаптивного управления. В нём используются вектора оптимальных значений Я0 и зависимость Я(1ш) от ЕРЯ , которая основана на MЪase , обновляется в подсистеме адаптации и описывается следующим образом: М = {т1,...,тп}, (9)
где mi = (Яг-,ЕРЯ,Т) - элемент для области пространства ЕРЯ с центром в ЕPRi,
- время последнего обновления элемента mi, оно позволяет использовать в управлении наиболее актуальные данные.
Также исходными для алгоритма являются следующие данные: ЕРЯ,, Я(1ш,), 0(1ш,) и ,.
При управлении, если качество изображений высокое, то текущие значения параметров СФИ не изменяются. В остальных случаях вычисляется ближайший по простому евклидову расстоянию к Я(1ш,) вектор оптимальных значений Яор/ из Я0 . Он ис-
пользуется при вычислении того, каким образом нужно изменить характеристики изображения, чтобы его качество стало максимальным:
DR = Ropt - R(Imt). (10)
Далее по зависимости M характеристик R(Im) от HPR определяется наиболее актуальный и ближайший к вектору текущих значений mt = (R(Imt), HPRt, t) элемент m _ base . В данном
случае близость вычисляется по взвешенному нормализованному евклидову расстоянию, в котором используются все составляющие элемента m . При этом наибольший вес должны оказывать именно характеристики изображения R(Im).
После этого за основу берётся элемент m _ base , и рассматриваются все возможные изменения значений оборудования от HPRm base до центров всех областей
HPRi в M . При этом также вычисляются предполагаемые изменения характеристик изображений:
DRMi = Ri - Rm _ base . (11)
После чего выбирается i -й элемент из M , для которого DRMi ближе всех остальных соответствует DR по евклидову расстоянию. Данный i -й элемент используется для вычисления вектора DHPR изменения значений текущих параметров СФИ:
DHPR = HPR - HPR„
base ■
(12)
Новые значения параметров СФИ вычисляются следующим образом:
(13)
HPR \ = HPR, + SHPR • DHPR .
где SИPR - коэффициент, регулирующий скорость управления.
В итоге алгоритм управления для информативных изображений имеет вид:
HPR =
(14)
ирР, , е(1ш,)=1
[ИРР, + SИPR-ШРР, 0(1ш,) < 1.
Далее в подсистеме адаптации обновляется элемент mi из М где ИРР, е ИРр следующим образом: = (1 - а) • + а • Р(1ш,)), Т =,. Также для т1 обновляется количество информативных изображений Сп^. При этом, кроме самого элемента т,, изменяются и его ближайшие соседи аналогичным образом, но с меньшим коэффициентом а. Это позволяет более плавно и корректно обновлять зависимость Р(1ш) от ИРР .
При обработке неинформативных изображений применяется поисковый расходящийся алгоритм адаптивного управления. Он использует Р0 и зависимость М, обновляемую в подсистеме адаптации при обработке информативных изображений. Также данный алгоритм принимает на вход следующие исходные данные: Т0 - время обработки последнего информативно-
го изображения, М >0 9 - количество качественных
кадров за последнее время, М1еп - порог для количества качественных кадров, , - текущее время.
На первой стадии в момент, когда на обработку поступило неинформативное изображение и с момента Т0 не прошло много времени (Т0 <, < ТД а при построении зависимости М участвовало достаточное количество высококачественных кадров (Мч>09 > М1еп ), по
зависимости М вычисляется вектор наиболее оптимальных значений параметров СФИ:
HPR\ = max ({HPR, | Q = Qmax}),
(15)
где Qmax = max(Q,..., Qn).
Данное значение используется в течение времени 71, пока зависимость M ещё актуальна. Спустя T (при Mq>0 9 > Mlen и 7 < t < T2) без поступления новых данных от информативных изображения зависимость M начинает устаревать, поэтому по ней вычисляется множество оптимальных векторов {HPRj | Qi >e(t)}, из которого перебираются значения HPR't. Где e(t) - это уменьшающийся со временем порог для качества изображений:
e(t) = Qmax *(1 - (t - Tj) /(T2 - Tj)). (16)
Данная стадия управления продолжается до момента T2 , когда зависимость M полностью устареет. После этого или когда Mq>0 9 слишком мало (при t > T2 или M q>0,9 < Mlen (например, при начальной инициализации системы)), HPR't перебирается из всей области допустимых значений с определённым шагом.
5. Ограничения процесса управления параметрами СФИ в СРТМРВ
В общем случае объект с ТМ может двигаться в зоне контроля. Это означает, что объект, который движется с максимальной скоростью, находится в поле зрения камеры только определённое время T'.
При этом на обработку одного кадра во всех подсистемах СРТМРВ (захват, распознавание, оценка качества, выработка и применение новых значений управляемых параметров СФИ) требуется время к.
Ограничения процесса управления параметрами СФИ заключаются в том, что за время T' нахождения объекта в поле зрения камеры модуль управления должен иметь возможность произвести оценку качества изображений и выработку новых значений HPR параметров СФИ несколько раз.
Таким образом, должно выполняться следующее выражение:
к << T'. (17)
Когда ограничение (17) не выполняется, то управление параметрами СФИ в режиме реального времени невозможно, т.к. за время выработки управляю-
щих воздействий объект с ТМ уже покинет зону контроля. В таких случаях управление следует производить не для каждого (или почти каждого) кадра, а для определённых временных промежутков. Например, новые значения управляемых параметров СФИ могут вырабатываться при наступлении определённого события (значительное ухудшение качества изображений) и действовать до того момента, когда они будут пересчитаны в следующий раз.
При этом в подсистеме адаптации также должна обновляться модель М с помощью данных, полученных при обработке информативных изображений. Новые значения управляемых параметров СФИ для следующего временного интервала также должны вырабатываться по модели М . Для это вычисляется одно наиболее оптимальное значение ЕРЯ, при котором были сформированы наиболее высококачественные изображения. При устаревании модели М должен применяться описанный выше поисковый расходящийся адаптивный алгоритм управления.
6. Определение эффективности СФИ и МУ
В большинстве научных работ, посвящённых определению эффективности СРТМРВ, рассматриваются только алгоритмы распознавания ТМ [7]. В основном для этого используются вероятностные критерии: правильного распознавания ТМ, неправильного распознавания ТМ и др. При этом стоит учитывать, что при использовании данных критериев для оценки эффективности СРТМРВ, которые представляют собой аппаратно-программные комплексы и в которых выполняется автоматическое управление процессом формирования изображений, необходимо учитывать изображения с образами ТМ высокого и низкого качества (даже те, на которых образ ТМ присутствует, но он не может быть распознан).
Однако в СРТМРВ с автоматическим управлением процессом формирования изображений необходимо оценивать эффективность функционирования СФИ и МУ. Она может быть рассчитана с помощью количества высококачественных изображений ТЕд>0 95:
ТЕв>0,95 = ^ х100% , (18)
11ш' |
где 1ш' = {1ш1,...,1шп } - изображения зоны контроля,
когда в ней находился объект с ТМ;
1ш+ = {1ше 1ш'| в(1ш) > 0,95} - высококачественные
изображения.
Итоговое тестирование разработанных СРТМРВ необходимо проводить в реальных условиях или с применением моделирующих программ, в которых возможно воспроизвести различные СФИ, их параметры и условия эксплуатации. Это связано с тем, что для проверки функционирования МУ в системе должны присутствовать СФИ, чьими параметрами он и будет управлять. Поэтому тестирование МУ не может происходить по записанным ранее видеороликам и изображениям.
7. Апробация предложенного метода Разработанный метод и алгоритмы автоматического управления процессом формирования изображений в СРМТРВ были использованы авторами данной статьи при разработке аппаратно-программного комплекса (АПК) «УМКА-АвтоМаршал» [5]. Данный АПК является сетевой «умной камерой», предназначен для применения в системах распознавания автомобильных номеров и включает в себя ЭВМ, цифровую USB видеокамеру, совмещённую с ИК подсветкой и узкополосным ИК фильтром. Это оборудование находится в едином герметичном корпусе.
Изображения с камеры поступают в специализированное программное обеспечение на встроенном в АПК вычислительном модуле с процессором Intel Atom, в котором происходит распознавание автомобильных номеров, оценка качества изображений, выработка и применение новых значений управляемых параметров камеры.
Для распознавания автономеров в АПК «УМКА-АвтоМаршал» используются алгоритмы распознавания из программы «АвтоМаршал».
В АПК «УМКА-АвтоМаршал» для оценки качества информативных изображений в их областях с образами автономеров вычисляется средняя яркость светлых brwhite и тёмных brblack пикселей образа автономера, как это было описано выше. После этого была определена зависимость эффективности алгоритмов распознавания автономеров от значений brwhite и brblack, на основе которой были вычислены вектора оптимальных значений R0 (рис. 4).
BRwhite
250
200
150
100
50
0
0 50 100 150 200 250 БЯЫаск
Рис. 4. Оптимальные значения Я0
В качестве управляемых параметров были выбраны время экспонирования и усиление камеры.
Тестирование АПК «УМКА-АвтоМаршал» проводилось в два этапа.
На первом этапе оценивалась эффективность управления параметрами камеры. Для этого было проведено тестирование в реальных условиях работы с включённым и с отключённым алгоритмом управления. Во втором случае время экспонирования было установлено в 750 мкс, а усиление было установлено
в среднее значение. Записанное видео с СФИ подавалось на распознавание в ПО «АвтоМаршал» для вычисления вероятности правильного распознавания Р .
АПК «УМКА-АвтоМаршал» с включённым алгоритмом управления работал намного эффективнее. Было обработано 520 автомобилей. Результаты тестирования представлены в таблице 1.
Таблица 1. Оценка эффективности управления в АПК «УМКА-АвтоМаршал»
Параметр Условие УМКА-АвтоМаршал с управл. СФИ УМКА-АвтоМаршал без управл. СФИ
THQ >0,' День 97,2 65,3
Ночь 94,4 79,7
Яркое солнце 95,8 40,7
P День 93,6 60,0
Ночь 89,6 78,5
Яркое солнце 93,5 44,6
На втором этапе также в реальных условиях проводилось тестирование полнофункционального АПК «УМКА-АвтоМаршал» с включённым управлением совместно с СФИ общего назначения. Видео записывалось с разных СФИ и подавалось в ПО «АвтоМаршал» на распознавание для вычисления вероятности правильного распознавания Р . Было обработано 1240 автомобилей. Результаты тестирования представлены в таблице 2.
Таблица 2. Сравнение АПК «УМКА-АвтоМаршал» с СФИ общего назначения
Параметр Условие УМКА-АвтоМаршал с управл. СФИ MINTRO N MTV-64G5DH P BOSCH LTC0510/ 50
THQ>0,95 День 96,8 86,2 71,5
Ночь 88,7 8,2 73,4
P День 92,2 89,3 84,7
Ночь 88,4 13,3 82,7
В АПК «УМКА-АвтоМаршал» на обработку одного изображения, выработку и применение новых значений управляемых параметров камеры требуется время к = 75 мс. Этого времени достаточно для адаптации параметров при движении автомобиля со скоростью 120 км/ч: для типичной зоны контроля глубиной 7 метров параметр Т' = 210 мс. Т. е. ограничения процесса управления к << Т ' выполняются.
Таким образом, АПК «УМКА-АвтоМаршал» и метод автоматического управления процессом формирования изображений, представленный в данной статье, обладают высокой эффективностью.
С 2010 года АПК «УМКА-АвтоМаршал» используется компанией «Малленом Системс» в рамках проекта «Дорожный пристав» в различных регионах
Российской Федерации. Также данный АПК c 2011 года применяется в составе АСУ ЛТЦ г. Сочи для учёта автотранспорта на грузовых дворах по заказу АНО «Транспортная дирекция Олимпийских игр».
Заключение
В данной статье был описан метод автоматического адаптивного управления процессом формирования изображений в СРТМРВ и рассмотрены основные особенности разработки указанных систем.
Предложенный метод заключается в автоматическом адаптивном управлении параметрами СФИ с целью формирования высококачественных изображений с образами ТМ, пригодных для распознавания. Это обеспечивает повышение эффективности алгоритмов распознавания ТМ и СРТМРВ в целом при их применении в сложных нестационарных условиях эксплуатации.
Литература
1. Руцков, М. В. Пляжный баскетбол - к вопросу ВидеоФиксации Часть 4 [Электронный ресурс] / М. В. Руцков - 2010. - URL: http://www.mpixel.ru/public/Ball4.pdf (дата обращения 10.02.2013).
2. Настоящее и будущее теста систем распознавания автомобильных номеров // ProSystem CCTV : первый и единственный журнал в России по системам видеонаблюдения : профессиональное издание для экспертов и специалистов по охранному телевидению и видеонаблюдению. - М.: Немецкая Фабрика Печати. 2010, № 4243. - 2000 экз. - С. 60-64.
3. Дорф, Р. Современные системы управления / Р. Дорф, Р. Бишоп; пер. с англ. Б. И. Копылова. - М.: Лаборатория Базовых Знаний, 2002. - 832 с.: ил.
4. Антонов, В.Н. Адаптивное управление в технических системах [Текст] : учеб. пособие / В.Н. Антонов, В.А. Терехов, И.Ю. Тюкин. - СПб.: Издательство С.-Петербургского университета, 2001. - 244 с.
5. Cherkas, P.S. The "Smart Camera" Adaptive Optoelectronic Complex / P.S. Cherkas, E.N. Vesnin, A.E. Mikhailov, V.A. Tsarev // Pattern Recognition and Image Analysis. - 2011. Vol. 21, No. 2. - P. 354-356.
6. Belbachir, A.N. Smart Cameras / (Ed.) A.N. Belbachir. -XX, 2010. - 404 p., 187 illus. - Hardcover.
7. Воскресенский, Е. М. Метод оценки эффективности систем распознавания текстовых меток на сложном фоне с использованием дерева вероятностных характеристик [Текст] / Е. М. Воскресенский, В. А. Царёв // Компьютерная Оптика. - 2008. - Т.32. - №3. - С. 283-290.
References
1. Rutskov, M. V. Beach basketball - to question of video surveillance [Electronic resource] / M. V. Rutskov- 2010. -URL: http://www.mpixel.ru/public/Ball4.pdf (link date 10.02.2013). - (in Russian).
2. Present and future of test of automobile number plate recognition systems // ProSystem CCTV : first and unique magazine in Russia aboutn video surveillance systems : professional edition for experts of security video surveillance.— Moscow: "German factory of the press". 2010, № 42-43. - P. 60-64. - (in Russian).
3. Dorf, R. Modern control systems / R. Dorf, R. Bishop; translation from English B. I. Kopilova. - Moscow: " Labo-
ratory of basic knowledge" Publiser, 2002. - 832 p. - (in Russian).
4. Antonov, V.N. Adaptive control in technical systems [Text] : Textbook. / V.N. Antonov, V.A. Terehov, I.U. Tukin -St. Petersburg: "Publishing house of St. Petersburg university", 2001. - 244 p. - (in Russian).
5. Cherkas, P.S. The "Smart Camera" Adaptive Optoelectronic Complex / P.S. Cherkas, E.N. Vesnin, A.E. Mikhailov, V.A.
Tsarev // Pattern Recognition and Image Analysis. - 2011. Vol. 21, No. 2. - P. 354-356.
6. Belbachir, A.N. Smart Cameras / (Ed.) A.N. Belbachir. -XX, 2010. - 404 p., 187 illus. - Hardcover.
7. Voskresensky, E.M. Method of estimation of text labels recognition systems efficiency parameters with use of likelihood characteristics tree [Text] / E.M. Voskresensky, V. A. Tsarev // Computer Optics. - 2008. - V.32. - №3. - P. 283-290. - (in Russian).
METHOD OF AUTOMATIC ADAPTIVE CONTROL OF IMAGE ACQUISITION PROCESS IN REAL
TIME TEXT LABEL RECOGNITION SYSTEMS
P.S. Cherkas1, V.A. Tsarev1,2 1 LLCMallenom Systems,
2 Institute of Management and Information Technologies (branch) of Federal Public Budgetary Educational Institution of Higher Education "St. Petersburg State Polytechnic University "
Abstract
We described the method of automatic adaptive control of image acquisition process in real time text label recognitions systems. Were described algorithms of assessment of text label images quality and algorithms of automatic control of image acquisition device parameters at such systems. Were presented recommendations of image acquisition device choice and criteria of the control module efficiency.
Key words: automatic control systems, image acquisition devices, text label recognition, smart cameras, image quality.
Сведения об авторах
Черкас Павел Сергеевич родился 19 ноября 1986 года. В 2009 году с отличием окончил Институт менеджмента и информационных технологий (филиал) Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Санкт-Петербургский государственный политехнический университет» (ИМИТ «СПбГПУ») по специальности «Программное обеспечение вычислительной техники и автоматизированных систем» («ПО ВТ и АС»). В 2012 году окончил аспирантуру на указанной кафедре по специальности 05.13.01 - «Системный анализ, управление и обработка информации (информатика)». Читает курс по дискретной математике. С 2008 года работает программистом, проводит научные исследования и разрабатывает программное обеспечение в области систем технического зрения. Является ведущим программистом в проекте по распознаванию автомобильных номеров (ПО «АвтоМаршал») в ООО «Малленом Системс». Опубликовал 6 статей по тематике автоматического управления процессом формирования изображений в системах распознавания текстовых меток реального времени. Научные интересы: программирование, С#, системы технического зрения, математика, базы данных, философия, психология.
E-mail: [email protected], [email protected] .
Pavel Sergeevich Cherkas was born on November 19, 1986. Graduated with honors from the Institute of Management and Information Technologies (branch) of Federal Public Budgetary Educational Institution of Higher Education "St. Petersburg State Polytechnic University" (IMIT SPbSTU) in 2009 with a specialty in Software of Computer Engineering and Computer Aided Systems. Completed post graduate course at the Subfaculty of Software of Computer Engineering and Computer Aided Systems at the IMIT SPbSTU in 2012, grant no. 05.13.01 for "System Analysis and Data Control and Processing (Information Science)," where he is a lecturer on discrete mathematics. Since 2008, he has worked as a programmer and has performed studies and developed software in the field of technical vision systems. He is a main developer on the automobile number recognition project (Automarshal SW) in LLC "Mallenom Systems". Published 6 articles about automatic adaptive control of image acquisition process in real time text label recognitions systems. Scientific interests: software development, C#, technical vision systems, mathematics, databases, philosophy, psychology.
Царёв Владимир Александрович родился 20 января 1972. В 1993 году с отличием окончил кафедру математической теории интеллектуальных систем механико-математического факультета МГУ им. М.В. Ломоносова (г. Москва). В 1998 г. защитил кандидатскую диссертацию по специальности 05.13.14 «Системы обработки информации и управления». С 2000 г. по 2012 г. являлся зам. директора по науке ИМИТ «СПбГПУ» и заведующим кафедрой «ПО ВТ и АС» ИМИТ «СПбГПУ». С января 2013 года является профессором указанной кафедры и заместителем директора ООО «Малленом Системс».
В область научных интересов Царёва В. А. входит разработка и внедрение на транспорте и в промышленном производстве интеллектуальных информационно-управляющих систем, основанных на технологиях технического зрения и компьютерного моделирова-
ния. В этой области Царёв В.А. является автором более 100 печатных работ, включая 3 монографии. Под руководством Царёва В.А. подготовлено и защищено 8 диссертационных работ.
E-mail: [email protected], [email protected] .
Vladimir Aleksandrovich Tsarev was born on January 20. Graduated from subfaculty of Mathematical Theory of Intelligent Systems of the Department of Mechanics and Mathematics at Moscow State University in 1993. Defended candidate's dissertation in 1998, specialty no. 0.5.13.14 "Data Processing and Control Systems". From 2000 to 2012, he has been the Deputy Director for Science at the IMIT SPbSTU and Head of the Subfaculty of Software of Computer Engineering and Computer Aided Systems of the IMIT SPbSTU. Since January 2013 he is the professor of the Department of Software of Computer Engineering and Computer Aided Systems of the IMIT SPbSTU and the deputy director in LLC "Mallenom Systems".
Scientific interests: development and introduction of intelligent information control systems based on technical vision and computer simulation technologies into transport and industrial production. Author of over 100 publications, including three monographs. Eight dissertations have been prepared and defended with his leadership.
Поступила в редакцию 25 февраля 2013 г.
