CC BY
68
Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie.ru/
Том 9, №1 (2017) http://naukovedenie.ru/vol9-1.php
URL статьи: http://naukovedenie.ru/PDF/42TVN117.pdf
Статья опубликована 24.02.2017
Ссылка для цитирования этой статьи:
Амосов О.С., Баена С.Г., Иванов Ю.С., Со Х. Система автоматического управления шлагбаумом с использованием технологий нечеткого вывода и компьютерного зрения // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №1 (2017) http://naukovedenie.ru/PDF/42TVN117.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
Работа выполнена при поддержке Минобрнауки России научного проекта - госзадания в рамках проектной части № 2.1898.2017/ПЧ "Создание математического и алгоритмического обеспечения интеллектуальной информационно-телекоммуникационной системы безопасности вуза"
УДК 004.8
Амосов Олег Семенович
ФГБОУ ВО «Комсомольский-на-Амуре государственный технический университет», Россия, Комсомольск-на-Амуре1
Заведующий кафедрой «Промышленная электроника» Доктор технических наук, профессор E-mail: osa18@yandex.ru ORCID: http://orcid.org/0000-0001-8718-6343 РИНЦ: http://elibrary.ru/author profile.asp?id=177362 Researcher ID: http ://www. researcherid.com/rid/E-5539-2013 SCOPUS: http://www.scopus.com/authid/detail.url?authorId=6505799329
Баена Светлана Геннадьевна
ФГБОУ ВО «Комсомольский-на-Амуре государственный технический университет», Россия, Комсомольск-на-Амуре
Доцент кафедры «Промышленная электроника» Кандидат технических наук E-mail: svetlana.baena@yandex.ru РИНЦ: http://elibrary.ru/author profile.asp?id=825313
Иванов Юрий Сергеевич
ФГБОУ ВО «Комсомольский-на-Амуре государственный технический университет», Россия, Комсомольск-на-Амуре
Доцент кафедры «Промышленная электроника» Кандидат технических наук E-mail: Ivanov_ys@icloud.com РИНЦ: http://elibrary.ru/author profile.asp?id=649251
Со Хтайк
ФГБОУ ВО «Комсомольский-на-Амуре государственный технический университет», Россия, Комсомольск-на-Амуре
Аспирант кафедры «Промышленная электроника» E-mail: soehtike53.sh@gmail.com
Система автоматического управления шлагбаумом с использованием технологий нечеткого вывода и компьютерного зрения
1 681013, Россия, Хабаровский край, г. Комсомольск-на-Амуре, проспект Ленина, 27
Аннотация. Предлагается система автоматического управления шлагбаумом с использованием интеллектуальных технологий нечеткого вывода и компьютерного зрения. Статья посвящена повышению качества работы системы контроля и управления доступом транспортных средств, основанной на технологии распознавания номерных знаков транспортных средств. Определены факторы, влияющие на достоверность распознаваний и на качество работы системы в целом.
Предложены структурная схема интеллектуальной системы управления и алгоритмы совместного функционирования систем компьютерного зрения и нечеткой логики. Разработана оригинальная база правил, учитывающая различные погодные и шумовые факторы, а также особенности работы систем внешней подсветки. Введен критерий оптимальности на основе обучающего множества, необходимый для подстройки параметров нечеткой системы.
Предложенная система является адаптивной и позволяет полностью автоматизировать работу шлагбаума вне зависимости от внешних условий. Дан практический пример реальных погодных условий, ухудшающих качество изображения и снижающих уровень распознавания номеров, и приведена реакция предлагаемой интеллектуальной системы управления. Предложенный подход к построению аппаратно-программного комплекса может служить прототипом для разработки других подсистем контроля и управления доступом.
Ключевые слова: интеллектуальная система контроля и управления доступом; система компьютерного зрения; распознавание образов; нечеткая логика
С одной стороны, сегодня наблюдается активное применение интеллектуальных технологий в промышленности для управления предприятием пищевой промышленности, насосными агрегатами, напряжением генератора и другими техническими объектами [5, 10, 13, 16]. Применение нечеткой логики для реальных систем обусловлено трудностью формализации задачи управления из-за сложности представления их математических моделей.
С другой стороны, применение системы компьютерного зрения с распознаванием объектов позволяет решить многие проблемы в промышленности. Так, например, для системы контроля и управления доступом (СКУД) транспортных средств (ТС) можно избежать привлечение человеческих ресурсов, установки дополнительного оборудования в виде считывателей карт, несанкционированного проезда автомобиля2.
Поэтому совместное использование нечеткой логики и компьютерного зрения с распознаванием объектов является эффективным средством ограничения доступа на охраняемую территорию.
Цель данной работы - повысить качество системы контроля и управления доступом транспортных средств на основе совместного использования технологий нечеткой логики и технического зрения с распознаванием номерных знаков.
Необходимо по видеоизображению распознать государственный номер подвижного транспортного средства и принять решение об открытии шлагбаума для въезда на территорию
2 Системы распознавания номеров на практике [Электронный ресурс]. - Режим доступа: https://habrahabr.ru/company/croc/blog/158719/ (дата обращения 22.06.2016).
Введение
Постановка задачи
организации. Поскольку принятие решения об открытии шлагбаума может происходить в разные погодные условия (дождь, сильный дождь, снег, сильный снег, пасмурно, ясно), время суток (утро, день, вечер, ночь) и при суровой уличной температуре (от - 40°С до 0°С), то это приводит к необходимости учета указанных факторов при управлении шлагбаумом. Задача состоит в том, чтобы сделать регулировку параметров для распознавания объекта автоматической, обеспечивая оптимальные условия работы шлагбаума [6].
Аппаратно-программный комплекс для решения задачи управления шлагбаумом
При распознавании номерных знаков ТС входящее изображение может быть зашумлено и подвержено искажениям3, что влияет на качество распознаваний номеров. Причиной таких искажений могут быть следующие факторы:
• изменение освещенности сцены, вызванное обычной суточной сменой освещения, появлением или изменением состояния искусственных источников света;
• цифровой и аналоговый шум, вызванный дефектом фотосенсоров или помехами;
• потеря фокуса, вызванная изменением освещенности, движением цели или сменой режима «день/ночь»;
• внешние помехи, вызванные такими погодными явлениями как снег, дождь, туман.
Существуют способы [18] снижения негативного влияния перечисленных факторов4. Так, например, применение ИК-подсветки (ИК - инфракрасная) позволяет работать видеокамере в условиях, когда естественного освещения недостаточно. При этом эффективнее использовать внешний ИК-прожектор, чем встроенную ИК-подсветку в видеокамере, так как при переходе камеры в режим «день/ночь» от видимого к инфракрасному спектру точка фокусировки смещается, в результате чего теряется четкость изображения, а также происходит расфокусировка и в сумеречное время [15].
Но это не решает всех проблем, описанных выше и остается существенным учет всех факторов, оказывающих негативное влияние на процесс распознавания номерных знаков.
По указанным причинам нами предлагается интеллектуальная система контроля и управления доступом проезда автотранспорта с применением технологий нечеткого вывода и распознавания номерных знаков, схема которой представлена на рисунке 1.
3 Основные функции настройки качества изображения в видеокамерах [Электронный ресурс]. - Режим доступа: http://optimus-cctv.ru/stati/131-osnovnYe-funktsii-nastroiki-kachestva-izobrazheniYa-v-videokamerakh (дата обращения 22.06.2016).
4 Корректная настройка резкости видеокамеры [Электронный ресурс]. - Режим доступа: http://www. ohrana-s.ru/Novosti/art87.html (дата обращения 22.06.2016).
Рисунок 1. Интеллектуальная система контроля и управления доступом транспортных
средств (разработано авторами)
Интеллектуальная система контроля и управления доступом транспортных средств состоит из интеллектуального регулятора и внешних устройств.
Интеллектуальный регулятор осуществляет выработку сигналов управления с использованием технологий нечеткой обработки и распознаванием номерного знака.
К внешним устройствам относятся:
• прожектор (внешняя подсветка);
• видеокамера;
• контроллер управления;
• нагревательные элементы;
• шлагбаум.
Система нечеткой логики
Для снижения негативного влияния перечисленных выше факторов на входящее изображение при распознавании номеров ТС в СКУД добавляются такие элементы как нагревательный прибор, датчик температуры, датчик движения, датчик освещенности, блок распознавания образов, связь с Интернет.
Технология нечеткого вывода заключается в следующем [6]:
• входные воздействия погода, время суток и освещенность влияют на регулирование внешней подсветки (прожектор) и настройку режима день или
ночь на видеокамере для выделения на кадре более четкой картинки подъехавшего ТС;
• входной параметр температура окружающей среды управляет нагревательными элементами, которые обогревают в холодное время, как шлагбаум, так и видеокамеру;
• по поступающей информации о погоде, времени суток, освещенности и движению определяется уровень зашумленности, в зависимости от которого производится очистка от шумов, и настройка автофокуса или нет.
Для формирования базы правил системы нечеткой обработки необходимо предварительно определить входные и выходные лингвистические переменные.
X Л.
Пусть имеются входные лингвистические переменные 1 - «Погода», Л 2 - «Время
х „
X
суток»,
X X
«Освещение», 4 - «Движение», 5
«Температура» и выходные
лингвистические переменные
Y,
«Зашумленность»,
Y „
«Режим день или ночь»,
Y,
Y y Y
«Подсветка», 4 - «Обогрев», 5 - «Автофокус», 6 - «Очистка от шумов».
1)
Введем терм-множества для лингвистических переменных:
X = {ясно, пасмурно, дождь, сильный дождь, снег, сильный снег }
X 1 = [ X11, X12,..., X16 ] , X 2 = {утро, день, вечер, ночь }
Хз ={с Х4 ={н
или
2)
3)
4)
5)
или X 2 - [ Х 21 > Х 22 х 24 ]
¡светло, сумечерно, темно } X , - [х,, , х,„ , х,, ]
( > или 3 33
i низкое, высокое
} X „ - [ х „, , х .. 1
> Т/ГТТТ/Г 4 L 41 ' 42 J
или
X = {очень холодно, холодно, не очень холодно, нормально
Х 5 = [ Х 51 , Х 52 ,■■■, Х 54 ]
}
или
Y - {шум, средний шум, высокий шум } ^ Y1 - [ y 11 , х 12 , y 13 ]
Y 2 - {H0ЧЬ, день } или Y 2 - [ У 21 , х 22 1
Y - {0, 1, 2, 3}
форме:
6)
7)
8)
9)
10)
11)
Алгоритм вывода Мамдани, состоит из 85 правил [6] и реализуется в среде MatLab. Соответствующая база правил состоит из набора нечетких «If-then» правил в следующей
(номер отвечает за уровень подсветки) или У 3 [у 31'х32'."' у 34 ], У4 = {0, 1 2, з, 4} (номер отвечает за уровень обогрева) или У4 = [у41'у42'."' у45 ]
У, = {0, 1} У. = [ у„ , х„ ]
5 1 ' или 5 ^ 51 52 -1 ,
У = {0, 1} V = [ V , , V ]
6 или 6 '-•'м ' 62-1 .
R к : If X is X , , then Y is Y
k • k - 1 Л
(1)
X».» о X , — х ,, х ... х х,
где. - входной вектор для нечеткой системы, k k 1 kn - нечеткие множества,
заданные на декартовом произведении X универсальных множеств входных лингвистических
переменных и имеющие функции принадлежности ц х»(Х' ^, k — 1 ^ , ' — 1 n ; Yk — Ук 1 х " х Укг -нечеткие множества, заданные на декартовом произведении Y универсальных множеств
выходных лингвистических переменного и имеющие функции принадлежности м у*^' , k — 1 ^ , ' — 1.r ; х - общее число нечетких «If-then» правил в базе правил.
В итоге получаем базу знаний нечеткой системы из набора правил следующего типа.
R х If X is [ X 1S X 2, X 3, X 4 L then Y = [ Y^ Y 2, Y 3, Y JS Y J, X , = 1,17
К, : /( X г. [X ], гквп Y = [Y ], X = 18 ,21
X и X
где 1 2 - номера правил.
Например, для правила 2 [6] будет следующая запись:
К 2 : // X 1 *13 V *15 & X 2 * 21 V * 22 V * 23 , & X 3 * 31 , & X 4
Леп V 1 = У 11 & V 2 = У 22 , & V 3 = У 33 , & V 5 = У 52 , & V 6 = у 62-
(2)
(3)
Система нечеткой логики содержит блок фаззификации, блок дефаззификации, машину нечеткого вывода и базу знаний, состоящую из базы правил и базы данных. В базе данных содержатся обучающие примеры, критерии управления, вид и параметры функции принадлежности.
Нечеткой системой реализуется (неизвестное) отображение:
Л/ (j) r/v (j 'ч Г t (j) ( j) (j 'ч -1 г
Y = f ( X ) = f ( X 1 , X 2 Xn ), j = l,---, J , (4)
|( X 1 V 1) ( X J V J' 1
при наличии обучающего множества l( , ), ', ( , ".
Вводится критерий оптимальности в виде функции ошибки для j-го предъявленного образца вида
1
E . = — J 2
Y - Y (J 5
(5)
который позволяет использовать градиентный метод оптимизации для подстройки параметров нечеткой системы (параметров заданных предикатных правил).
Система распознавания номерных знаков
Состоит из следующих модулей [7]:
1. Модуль анализа кадра
На вход модуля подается кадр видеопотока, представленный матрицей пикселей 11, где 1 - номер карда видеопоследовательности. Необходимо оценить уровень освещенности и движения [8].
2
Использование цветовой модели RGB, позволяет оценить яркость изображения, которая зависит от уровня освещённости сцены.
Яркость пикселя вычисляется по формуле:
U = R + G + B
p p p p
(6)
Яркость всего изображения 1 , содержащего N пикселей можно выразить как среднюю яркость всех пикселей:
1 N
U = —У (R + G + B ) (7)
дт У p=1 4 p p p ' У J
где: R , G , B - исходные сигналы основных цветов, p - номер пикселя.
Данное выражение характеризует физическую яркость изображения, которая начнет спадать при уменьшении уровня освещенности.
В соответствии с рекомендациями стандарта Федеральной комиссии связи (FCC)5, яркость изображения (видимая) вычисляется по формуле:
1 N
Us = — У (0.299 Rp + 0.587 Gp + 0.114 Bp ) (8)
N p .
Оценка как физической (U ), так и видимой (U S ) яркости изображения представлена в абсолютных величинах. Перейти к относительным величинам можно, разделив значение яркости на максимально возможное значение яркости:
u
u el = --(9)
u v '
max
Тогда U rel будет лежать в диапазоне [0,1]. Значение 0 будет соответствовать абсолютно чёрному изображению, а значение 1 - абсолютно белому. Изображение оптимальной яркости
должно иметь значение U rel , близкое к 0.5.
Поиск движения может выполняться методом выделения оптического потока [1] (массивов двоичных данных - Binary Large Obj ect) переднего плана.
При моделировании базового кадра также возможно использование вероятностных моделей для работы с динамическим фоном (колыхающиеся листья деревьев и т.д.) [2].
Для моделирования базового кадра предлагается использовать приближенный медианный метод [19]:
Г U ( (i, j ) + т, если BF (i, j ) < U f (i, j )
I
BF (i, j ) U ( (i, j ) -т, если BF (i, j ) > U ( (i, j ) (10)
U ( (i, j ), если BF (i, j ) = U ( (i, j )
5 Federal Communications Commission [Электронный ресурс]. обращения 28.09.2014).
- Режим доступа: https://www.fcc.gov/ (дата ЦЦЦ http://naukovedenie.ru 42TVN117
Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №1 (январь - февраль 2017)
http://naukovedenie.ru publishing@naukovedenie.ru
где: 1' 1 - координаты пикселя, вк (1' 1) - базовый кадр, представленный в виде массива
1' ] и (1' 1) ~ ,
значений яркости каждого пикселя, г -1 - текущий кадр *, представленный в виде
массива значений яркости каждого 1' 1 пикселя, т - адаптивная величина поправки.
Алгоритм вычисления межкадровой разности выглядит следующим образом: на вход
алгоритма поступают два видеокадра: базовый вк и текущий 1' [3]. Производится вычисление попиксельных межкадровых разностей по каждому цветовому каналу с усреднением полученных значений:
МК ™ (1' 1) = I ^ (1' 1) - вк ^ (1' 1) (11)
Разность сравнивается с заданным порогом. В результате сравнения формируется двоичная маска:
[ 0' если МЯ КвВ (1' 1) < Т
М < (1' 1) = 1 ™ (12) 1 1' если МЯ (1' 1) > Т У '
М (1' 1) т
где: ' - значение элемента маски, Т - порог сравнения, иногда называемый также порогом или уровнем чувствительности.
После обнаружения движения, область, содержащая движение, анализируется на предмет присутствия объекта (номерного знака) модулем локализации номерного знака.
2. Модуль бинаризации и предобработки
На вход модуля подается кадр видеопотока 1', а также уровень зашумленности. Необходимо выполнить коррекцию освещенности полученного изображения, устранение шумов и смазывания, бинаризацию.
Коррекция изображения с целью устранения шумов выполняется с помощью медианной фильтрации [12].
Для устранения шумов используется медианный фильтр, который реализует нелинейную процедуру подавления шумов. Медианный фильтр представляет собой скользящее
по изображению окно W , охватывающее нечетное число пикселей изображения, с последующим ранжированием значений яркости пикселей, оказавшихся в данном окне. Цвет текущего пикселя заменяется медианой цветов всех пикселей изображения, попавших в окно.
Алгоритмы устранения смазывания изображений описаны в [12], при этом, большинство классических алгоритмов требуют предварительного указания параметров.
i' (i, j) = med I' (i, j) = med [i (i + 4, j + С ):(4, С ) e W ] (13)
W v '
где: 4'С - коэффициенты маски фильтра, W - область окна
При медианной фильтрации зашумленных изображений степень сглаживания контуров объектов напрямую зависит от размеров фильтра и формы маски.
Среди взвешенных и простых медианных фильтров с «окном» 3х3 наиболее распространены следующие:
Г о 101 Г1 1 11 Г о 101 Г1 1 11 = ^ 3 1 ¡> ™ 2 = ^ 3 1[ ™ 3 = ^ 1 1 ¡>W 4 = ^ 1 1| (14)
[ о 10 ] [11 1 \ [ 0 10 ] [11 1 ]
Удаление шума позволяет минимизировать количество ложных срабатываний детектора движения на помехи, возникающие при регистрации и передаче изображений, но кадры, содержащие одну и ту же сцену, после этого всё ещё могут заметно различаться. Причиной этого различия является смена уровня освещённости, которая может быть вызвана включением или выключением внешней подсветки либо переменой погодных условий.
При небольших и незапланированных изменениях освещенности необходимо учитывать значения яркости предыдущего кадра:
и ((i, ]) = а (I, ] ) • и (_ 1(I, ]) + Ь (I, ]) (15)
и (i, 1), и , (i, 1)
где: ' '- матрицы значений яркости пикселей текущего предыдущего
кадра, а (1'1 ^ Ь (1'1), - коэффициенты линейного преобразования.
В общем случае а и Ь являются массивами данных, содержащими различные значения для каждого из пикселей. На практике это требование обычно упрощается и заменяется алгоритмом обработки окном площадью несколько десятков пикселей, внутри которого вычисляются значения коэффициентов а и Ь , после чего производится корректировка этими значениями пикселей, попадающих в окно на текущем кадре. Затем окно сдвигается в новое положение, таким образом, обходя весь кадр.
Для случая равномерного изменения освещённости вдоль всего растра можно считать, что уровни яркости всех пикселей меняются равномерно, а векторы коэффициентов а и Ь заменить просто скалярными величинами а и ь .
Для вычисления коэффициентов а и Ь в работе [4] предлагается 2 способа:
1. Умножение значений яркости пикселей текущего кадра на коэффициент, преобразующего текущий кадр к такому же среднему значению яркости, как и на предыдущем кадре. Тогда:
и'
а (i' 1) = (16)
'-1
При этом коэффициент сдвига не используется:
ь (i' 1) = 0 . (17)
2. Согласование соседних кадров по среднему значению яркостей и их дисперсии:
а (г' 1) = —^ ®' -1 , и 9
а (i' 1) = и1 (18)
9'-1 ,
9, а, ,
где ' и '-1 - средне-квадратичные отклонения яркостей в текущем и предыдущем
кадрах.
9
Заметим, что при обработке скользящим окном средние значения и величины среднеквадратических отклонений вычисляются по внутренним пикселям окна.
В процессе бинаризации исходное изображение, преобразуется в черно-белое изображение, пиксели которого имеют только два значения - 0 и 1.
Бинаризация с нижним порогом выполняется следующим образом:
[ 1, если I(1, ]) > q вw (г, ]) = ^ (19)
[ 0, если I (1, ] ) < q
где: 1' ] - координаты пикселей изображения, 11 - адаптивный порог бинаризации.
Под адаптивной предобработкой [14] будем понимать предобработку с изменяющимися в зависимости от внешних условий параметрами фильтров, которые приводят изображение к эталонному виду путем подавления внешних шумов, снижения помех и бинаризацией.
Выбор всех коэффициентов и порогов адаптивной предобработки осуществляется на основе данных, получаемых от системы нечеткой обработки.
Адаптивная предобработка включает следующие этапы:
1) Получение кадра видеопоследовательности;
2) коррекция изображения на основе ограничения экстремальных значений яркости и видоизменение распределения гистограмм яркости по каждому из цветовых каналов, использующая информацию об освещенности сцены;
3) устранение эффекта смазывания и повышение контраста изображения;
4) бинаризация изображения и анализ «зашумленности». Обнаружение границ с использованием оператора Собеля [12].
3. Модуль локализации номерного знака
На вход модуля поступает кадр видеопотока1 '. Необходимо определить если он есть, список прямоугольников, содержащих НЗ транспортного средства [9] :
rectangle t = ( x™ , y™ , w , h , a ) (20)
rec' rec'
где: х 'у - координаты центра к -го прямоугольника, ™ - ширина, ь - высота, а - угол наклона прямоугольника к вертикальной оси изображения.
с
Поиск объекта будет выполняться «сканирующим окном» г где г -номер сканирующего окна (шаг сканирования), которое представляет собой матрицу пикселей. Окно проходит последовательно по изображению с шагом 1 пиксель (слева-направо, сверху вниз) с
изменением масштаба при каждом проходе. Размер окна определяется его шириной ™с и
высотой с .
При прохождении сканирующего окна по изображению, для каждого положения окна необходимо определить, содержится ли в окне номерной знак или нет.
В качестве классификатора используется модифицированный алгоритм локализации номерных знаков транспортных средств на основе метода Виолы-Джонса [9].
Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №1 (январь - февраль 2017)
http://naukovedenie.ru publishing@naukovedenie.ru
В общем виде алгоритм сводится к следующему: 1. Изображение переводится в интегральное представление [12]:
I * ~' 1 * ~
L
( f , j ) = 1 , = 0, = 0 U ( f, j ) (21)
где и (1'1) - яркость пикселя исходного изображения.
2. Используется каскадный классификатор Хаара для поиска номерных знаков, обученный на ограниченном наборе признаков [9].
3. Используется информация о предыдущих успешных локализациях, для уменьшения количества проходов.
4. Используется двухпроходный алгоритм классификации для корректировки результата. Второй проход осуществляется классификатором, обученным на положительных образах, представляющих собой символы.
Результаты работы модуля локализации передаются модулю сегментации и распознавания символов.
4. Модуль сегментации и распознавания символов
На вход модуля поступает прямоугольник гес1ап§1е * содержащий номерной знак. Необходимо сегментировать и распознать все символы, содержащиеся в
„ rectangle
прямоугольнике g
NZ
( ch _ num j ... ch _ num t ) (22)
7 сЬ пит = 11 24 I
где: 1 - позиция распознанного символа, - 1 " ' - принадлежность к классу.
В таблице 1 приведены соответствия классов символам НЗ, стоящих из 10 цифр, 13 букв.
Символ «~» означает нераспознанный символ, не относящийся ни к одному из 23 классов и
являющийся шумом или артефактом изображения.
Таблица 1
Соответствия классов символам НЗ (разработано авторами)
A B C D E H K M O P T X Y 1 2 3 4 5 6 7 8 9 0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Сегментация выполняется следующим образом [11]:
1. Строится гистограмма интенсивности яркости пикселей по столбцам (рисунок 2). Области минимума характеризуют отсутствие символов.
2. Сегментируем области интереса.
3. Для каждой области интереса строим гистограмму яркости по строкам, обрезая верхние области.
4. После выполнения операций мы получаем не только символы, но и различные помехи. На основании размеров и пропорций распознаваемых символов, указанных в ГОСТ 3489.2-71, были введены следующие условия:
№
0.4 < —^ < 3.5
к
(23)
№ к г
где ° и ° - ширина и высота объектов;
к
0.4 < — < 0
к
где к - высота прямоугольника.
(24)
Выражения (23) и (24) накладывают ограничения на минимальную и максимальную высоту символов по отношению к высоте номера.
Рисунок 2. Гистограмма интенсивности яркости по столбцам (разработано авторами)
В результате сегментации мы получаем набор бинарных изображений ог, содержащих символ НЗ (рисунок 3).
Рисунок 3. Результат работы алгоритма сегментации (разработано авторами)
Для распознавания символов номерного знака предлагается одновременное использование нескольких различных распознающих модулей и последующее объединение полученных результатов (путем голосования). При этом очень, чтобы алгоритмы, используемые этими модулями, были как можно более независимы [17].
Предлагаемая модель состоит из следующих классификаторов:
1) метод сравнения с эталоном (корреляция между матрицами);
2) многослойный персептрон [20];
3) вероятностная PNN-сеть [20], обученная на 24 классах (буквы, цифры и шум);
4) вероятностная PNN-сеть:
a) обученная на 14 классах (буквы и шум);
b) обученная на 11 классах (цифры и шум);
При тестировании изображения, содержащие сегментированные символы, подаются на вход всем четырем классификаторам. Причем выбор четвертого классификатора зависит от позиции символа в номерном знаке, согласно ГОСТ 3489.2-71.
Иллюстрирующий пример
На рисунке 4 приведен пример реальных погодных условий, влияющих на качество изображения и определение номеров.
Рисунок 4. Пример работы шлагбаума в сложных погодных условиях
(разработано авторами)
Для данного примера подходит правило 8 [6]:
Если погода - снег, время суток - вечер или ночь, освещенность - сумеречно, движение -низкое или высокое, то зашумленность - средний шум, режим на камере - ночь, внешняя подсветка - 2, автофокус - 0 «не включать» и очистка от шумов - 1 «чистим».
К 8 : V Х 1 " Х14 & Х 2 " Х 23 V Х 24 ' & Х 3 " Х 32 ' & Х 4 " Х 41 V Х 42 '
Лги У1 = у 12 & У 2 = У 21' & У = У 33 '& У = У 51' & У6 = У 62 '
Настройка внешних устройств производится по выходным значениям системы нечеткой обработки, затем обновленное изображение передается в систему распознавания номерных знаков и далее номер сравнивается с базой данных и принимается решение об открытии шлагбаума или нет.
Выводы
В статье предложен подход совместного использования систем нечеткой логики и компьютерного зрения для создания интеллектуального регулятора системы автоматического управления шлагбаумом.
Предложена структурная схема интеллектуальной системы управления на основе технологий нечеткого вывода, как с использованием традиционных датчиков, так и с использованием систем компьютерного зрения.
Предложенная система является адаптивной и позволяет полностью автоматизировать работу шлагбаума вне зависимости от внешних условий, что продемонстрировано на реальном примере.
Предложенный подход к построению аппаратно-программного комплекса может служить прототипом для разработки других подсистем контроля и управления доступом.
ЛИТЕРАТУРА
1. Beauchemin S.S., Barron J.L. The computation of optical flow // ACM Comput. Surv. New York, - 1995. - Vol. 27(3). - P. 433-466.
2. Haritaoglu I., Harwood D., Davis L.S. Real-Time Surveillance of People and Their Activities // IEEE Transactions on pattern analysis and machine intelligence. - 2000. -Vol. 22 (8) - P. 809-830.
3. Tudan Li. CVOnline: Motion and time sequence Analysis. - 2002. [Электронный ресурс]. - Режим доступа: http://homepages.inf.ed.ac.uk/rbf/CVonline/motion.htm (дата обращения 20.10.2015).
4. Young S., Forshaw M., Hodgetts M. Image comparison methods for perimeter surveillance. // Seventh International Conference on (Conf. Publ. No. 465). - 1999. -Vol. 2. - P. 799-802.
5. Амосов О.С., Амосова Л.Н., Иванов С.Н. Синтез оптимальных систем управления электромеханическим теплогенерирующим комплексом с использованием нечетких систем // Информатика и системы управления - 2009. - №1 (19). - С. 7383.
6. Амосов О.С., Баена С.Г., Со Х., Нечеткая система автоматического управления шлагбаумом // Научно-техническое творчество аспирантов и студентов материалы 46-й научно-технической конференции студентов и аспирантов. ФГБОУ ВО «КнАГТУ» - 2016. - С. 551-554. [Электронный ресурс]. - Режим доступа: https://knastu.ru/media/files/page_files/page_1425/SBORNIK_9.pdf (дата обращения 01.06.2016).
7. Амосов О.С., Иванов Ю.С., Катунцев Д.П. Интеллектуальная программа для автоматизации автостоянок GarmVIS Parking // Свидетельство о государственной регистрации программы для ЭВМ №2014614578 от 29.04.2014.
8. Амосов О.С., Иванов Ю.С. Модель, алгоритмы и аппаратно-программный комплекс для управления освещением на основе системы охранного телевидения // Информатика и системы управления. - 2013. - №1 (35). - С. 156-166.
9. Амосов О.С., Иванов Ю.С. Модифицированный алгоритм локализации номерных знаков транспортных средств на основе метода Виолы-Джонса / О.С. Амосов,
Ю.С. Иванов // Информатика и системы управления. - 2014. - №1 (39). - С. 127140.
10. Байченко А.А., Байченко Л.А., Арет В.А. Применение нечеткой логики в управлении предприятием пищевой промышленности // Научный журнал НИУ ИТМО. Серия «Экономика и экологический менеджмент» - 2014. - №3. - С. 3569.
11. Галуев Г.А., Тараненко А.С., Нейросетевая система автоматической идентификации номерных знаков // Нейрокомпьютеры: разработка, применение.
- 2004. - №5 (6). - С. 19-36.
12. Гонсалес Р., Вудс Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. -М: Техносфера. - 2005. - 1072 с.
13. Есилевский В.С., Кузнецов В.Н., Панов В.П. Управление насосными агрегатами к.н.с. с помощью систем нечетко-нейронного управления // Вестник Воронежского государственного технического университета - 2012. - № 9, том 8
- С. 12-16.
14. Иванов Ю.С. Алгоритмы распознавания подвижных объектов для интеллектуальных систем охранного видеонаблюдения: дис. ... канд. техн. наук: 05.13.01 Иванов Юрий Сергеевич. - Хабаровск, 2015. - 155 с.
15. История и будущее ИК-подсветки [Электронный ресурс]. - Режим доступа: http://www.secuteck.ru/articles2/videonabl/istoriya-i-buduschee-ik-podsvetki (дата обращения 22.06.2016).
16. Коберси И.С., Кияшко А.В., Македонов Е.А., Крамаренко Е.Р., Финаев В.И. Система управления напряжением генератора на базе нечеткой логики // Инженерный вестник Дона - 2015. - №2, ч. 2. - С. 1-14.
17. Мисюрёв А.В. Использование искусственных нейронных сетей для распознавания рукопечатных символов [Электронный ресурс]. - Режим доступа: http://www.ocrai.narod.ru (дата обращения 17.05.2016).
18. Соловьев Н.В., Сергеев А.М. Улучшение качества растровых изображений: Учеб. пособие. - СПб.: СПбГУ ИТМО. - 2010. - 158 с.
19. СюйЛэй. Исследование методов и алгоритмов обнаружения движущихся объектов в видеопотоке // Молодежный научно-технический вестник - 2013. - №5 [Электронный ресурс]. - Режим доступа: http://sntbul.bmstu.ru/file/568767.html?_s=1 (дата обращения 28.09.2014).
20. Хайкин С. Нейронные сети. Полный курс 2-е изд. Пер. с англ. / С. Хайкин - М.: Издательский дом «Вильямс». - 2006. - 1104 с.
Amosov Oleg Semenovich
Komsomolsk-na-Amure state technical university, Russia, Komsomolsk-on-Amur
E-mail: osa18@yandex.ru
Baena Svetlana Gennadievna
Komsomolsk-na-Amure state technical university, Russia, Komsomolsk-on-Amur
E-mail: svetlana.baena@yandex.ru
Ivanov Yuriy Sergeevich
Komsomolsk-na-Amure state technical university, Russia, Komsomolsk-on-Amur
E-mail: Ivanov_ys@icloud.com
Soe Htike
Komsomolsk-na-Amure state technical university, Russia, Komsomolsk-on-Amur
E-mail: soehtike53.sh@gmail.com
Roadway gate automatic control system with the use of fuzzy inference and computer vision technologies
Abstract. Roadway gate automatic control system with the use of fuzzy inference and computer vision intellectual technologies is proposed. The paper is dedicated to operating quality amelioration of transport access monitoring and control system based on recognition technology of transport number plates. The factors influencing recognition reliability and operating quality of the system as a whole are determined.
The schematic structure of intellectual control system and the algorithms fusion of computer vision and fuzzy logic systems are provided. An original rule base considering various weather and noise factors as well as operating peculiarities of external backlighting systems is worked out. The optimal criterion, based on a training set, necessary for fuzzy system values adjusting is introduced.
The proposed system is adaptive and it allows full automation of the roadway gate work regardless of the environmental conditions. The practice-oriented example of real weather conditions aggravating the image quality and decreasing the numbers recognition level is given, and the reaction of the proposed intellectual control system is presented. The proposed approach to the construction of the device and program complex can be a prototype model for designing of the other access monitoring and control subsystems.
Keywords: intellectual access monitoring and control system; computer vision system; patterns recognition; fuzzy logic
