CC BY
43
Интеллектуальная программная сист
обработки видеоинформации
\П7
о
X X
5
X
Развитие электронных вычислительных средств и технологий обработки изображений предопределило интенсивное внедрение систем технического зрения и видеонаблюдения для решения широкого спектра прикладных задач [1, 2]: автоматическое обнаружение и сопровождение движущихся объектов, распознавание номерных знаков автомобилей, учет железнодорожных вагонов, поиск и распознавание лица человека, поиск объектов в видеоархиве и др.
В таких системах анализ видеоданных выполняется без прямого участия оператора, поэтому их называют интеллектуальными. Все большее их распространение приводит к улучшению качественных характеристик и значительному расширению их функций. При этом требуется более глубокий автоматический анализ видеоданных, который опирается на специализированное алгоритмическое обеспечение, основанное на методах цифровой обработки динамических изображений, машинной графики и распознавания образов. Однако построение высокоэффективных алгоритмов,
в
I Р
Рихард Богуш,
завкафедрой
вычислительных
систем и сетей
Полоцкого
государственного
университета,
кандидат
технических наук,
доцент
инвариантных к качественным характеристикам видеопотока и обладающих низкими вычислительными затратами, - очень сложная задача из-за влияния внешних факторов, а также многомерного характера видеоинформации, которые существенно ограничивают не только качество, но и скорость обработки. Поэтому для интеллектуальных систем видеонаблюдения актуально разрешение противоречий между качественными характеристиками алгоритмов и аппаратными возможностями современной техники. Несмотря на то что синтезу таких систем для улучшения их качественных показателей и свойств посвящены работы многих специалистов, эта задача не решена в полной мере и важна не только для настоящего, но и для будущего развития науки и техники.
В результате научных исследований, выполненных на кафедре вычислительных систем и сетей Полоцкого государственного университета, создана интеллектуальная программная система обработки видеоинформации. В ее основе лежит комплекс алгоритмов, включающий алгоритм определения глобального движения кадра,
итерационный алгоритм построения фонового кадра, алгоритм обнаружения и локализации динамических объектов, комбинированный алгоритм сопровождения движущихся объектов.
Среди известных методов обнаружения движения в последовательности кадров для программной реализации на универсальных вычислительных машинах наиболее эффективен метод вычитания фона, так как он обладает лучшими качественными характеристиками, чем метод межкадровой разности, и требует значительно меньших вычислительных затрат по сравнению с методом вычисления оптического потока.
Метод вычитания фона предполагает определение сходства между элементами изображения входного и фонового кадров видеопотока и дальнейшее построение бинарной маски движения. Очевидно, что качество изображения фонового кадра оказывает значительное влияние на эффективность функционирования системы в целом. Для программной реализации достаточно продуктивен подход, использующий модификацию метода формирования фона на основе смеси нормальных распределений. Постобработ-
Системы безопасности
ка бинарной маски движения выполняется с целью удаления шума. Для сопровождения движущихся объектов применяется усовершенствованный алгоритм, позволяющий эффективно решать задачу трассировки, в том числе при кратковременной потере оптической связи с объектом, что очень важно для построения непрерывной траектории движения. Результаты обнаружения и локализации показаны на рис. 1.
Синтезированные алгоритмы обработки динамических изображений позволили создать инструментальную программную систему [3]. В ней для захвата видеопотока (из медиафайла или устройства захвата видео) и извлечения кадра используется технология DirectShow, которая дает возможность Windows-приложениям управлять широким спектром устройств ввода аудио-и видеоинформации (цифровыми видеокамерами, веб-камерами, DVD-приводами и платами ТВ-тюнеров) и обеспечивает программную поддержку множества форматов - от AVI до Windows Media. Кроме этого, DirectShow -расширяемая технология, она позволяет поддерживать специализированные устройства, форматы и компоненты систем сторонних разработчиков.
Для эффективного использования вычислительных ресурсов современных многоядерных процессоров реализована технология параллельной обработки данных OpenMP. Она выполняет расчеты с помощью многопоточности («главный» поток создает набор подчиненных потоков, и задача распределяется между ними). Предполагается, что операции будут происходить на машине с несколькими процессорами, причем количество процессоров не обязательно должно быть больше или равно количеству потоков. Такой подход позволяет повысить эффективность системы обработки видеоинформации. Свойства реализованной системы можно расширять путем подключения дополнительных программных модулей - плагинов.
К функциональным характеристикам созданной системы следует отнести автоматическую адаптацию к достаточно широкому диапазону условий съемки при наружном и внутреннем видеоконтроле, звуковое и визуальное оповещение при обнаружении движущегося объекта. Система также может записывать видео на жесткий диск (непрерывно или при выявлении динамики) или сохранять информационные кадры в виде отдельных изображений с указанием даты и времени обнаружения движения и выделения объектов, отображать их траекторию, отмечать объекты рамкой фиксированного размера. Кроме того, при работе с системой пользователь может выбирать зону детектирования в кадре и устройство захвата видео (ШБ-ка-мера и др.), задавать границы динамических объектов. Интерфейс (рис. 2) - глобальная надстройка, обеспечивающая вывод результатов, отображение и контроль за обработкой видеоряда.
В результате дальнейших исследований были разработаны и программно реализованы алгоритмы обработки динамических изображений для раннего обнаружения пожаров. Видеомониторинг пожаров имеет ряд преимуществ перед традиционными методами [4]. Во-первых, оборудование систем видеонаблюдения не находится в непосредственной близости от возможного очага возгорания. Во-вторых,
обеспечивается обнаружение пожара на открытых пространствах. В-третьих, совмещение систем охранного визуального наблюдения и пожарной сигнализации позволяет значительно уменьшить конечную стоимость приборов. Наконец, при видеомониторинге возможно выявление возгорания на начальной стадии с точным определением местоположения очага. Однако в реальной динамической сцене присутствует значительное количество различных шумов и возмущений, по свойствам схожих с дымом и пламенем (например, туман, солнечная засветка, световые блики, медленно движущиеся малоконтрастные объекты, тени), что определяет жесткие требования к
Движущийся объект, выделенный рамкой фиксированного размера
Рис. 1.
Результаты
обнаружения
движущихся
объектов
I Внимание! О&нээужен движущийся объект
Рис. 2.
Основная форма
разработанной
системы
о х
X
5
X
Рис. 3. Пример работы алгоритма по обнаружению дыма
Рис. 4. Пример работы алгоритма по выявлению открытого пламени
о х
X
5
X
качественным характеристикам применяемых алгоритмов.
Наиболее существенные свойства пламени и дыма - цвет и интенсивность, значения которых различаются в зависимости от температуры и химического состава горящего материала. Известно, что цвет пламени органических материалов принадлежит красно-желтому диапазону, а значения интенсивности дыма на разных стадиях возгорания распределены в пределах от почти прозрачного белого до насыщенного серого и черного. Поэтому анализ цвета и контраста фрагмента изображения может использоваться на первом этапе алгоритма автоматического обнаружения на видеопоследовательностях пламени и дыма. К ним по цветовым и яркостным характеристикам близки объекты, присутствующие в реальной динамической сцене. В связи с этим на втором этапе можно анализировать движение, которое характерно как для дыма, так и для пламени. Результат двух этапов -выявленные области-кандидаты на видеоизображениях, которые могут относиться к этим двум средам. Для конечной классификации применяют анализ пространственных изменений яркости в выявленных областях, временной изменчивости их границ, формы и других признаков.
Для обнаружения дыма создан специальный алгоритм [5]. Вначале кадр предварительно обрабатывается, в том числе производится преобразование к градациям серого, эквализа-ция гистограммы и дискретное вейвлет-преобразование. Затем
медленно движущиеся области сегментируются на основе метода вычитания фона. Области-кандидаты формируются с использованием операций математической морфологии и контурного анализа. На последнем этапе выполняется классификация областей-кандидатов на основе анализа их векторов движения, определяемых блочным методом вычисления оптического потока и вычисления контраста Вебера. Пример работы алгоритма представлен на рис. 3.
Открытое пламя выявляется с помощью алгоритма детектирования, который предполагает обучение и тестирование классификатора, обнаружение областей-кандидатов на входном видеоряде и их классификацию (рис. 4). При программной реализации на этапах обучения и классификации использовался метод k ближайших соседей. Для установления областей-кандидатов выполняются цветовая фильтрация в пространстве RGB и пространственно-временной анализ с применением вейвлет-пре-образований. Области-кандидаты классифицируются на основе статистических текстурных признаков после локального двоичного разбиения и использования цветовых признаков. Последние формируются по нормализованным гистограммам составляющих H и S цветового пространства HSV. При проведении исследований использовались видеопоследовательности, содержащие открытое пламя, а также видеопоследовательности, включающие объекты, цвет и яркостные характеристики которых достаточно близки к ха-
рактеристикам пламени (например, видеоряд со светящимся в ночное время неоновым рекламным шитом с желто-красными объектами, видеоряд с движущимися машинами с включенными фарами). Оба описанных алгоритма обладают достаточно низким уровнем ложных тревог и удовлетворительными вычислительными затратами.
Таким образом, разработанная инструментальная система может рассматриваться как прототип системы для решения различных прикладных задач: охраны периметров с неинтенсивным движением (складов, баз, стоянок) и частных владений, контроля транспортных средств и др. Модули обнаружения пламени и дыма могут использоваться как в специализированных видеосистемах противопожарной безопасности на открытых пространствах, так и для расширения функциональных возможностей телевизионных систем видеонаблюдения. Алгоритмы обработки видеоинформации реализованы программно на базе языка программирования С++, а также библиотеки алгоритмов компьютерного зрения и обработки изображений ОреиСУ. Представление алгоритмов на языке С++ позволяет переносить их логику работы на различные аппаратные решения для комплексных интеллектуальных систем видеонаблюдения. ■
Литература
1. Лукьяница А.А., Шишкин А.Г. Цифровая обработка видеоизображений. - М., 2009.
2. Федоров А.В., Членов А.И., Лукьянченко А.А., Буцынская Т.А., Демехин Ф.В. Системы и технические средства раннего обнаружения пожара: Монография. - М., 2009.
3. Богуш Р.П., Лысенко В.Ю., Волков А.В., Бровко Н.В. Система обработки информации для интеллектуального видеонаблюдения // Вестник Полоцкого государственного университета. Фундаментальные науки. 2010, №3. С. 23-29.
4. Катковский Л.В., Воробьев С.Ю., Богуш Р.П., Бровко Н.В. Разработка аппаратно-программного видеотеплового комплекса дистанционного обнаружения пожаров // Технологии безопасности. 2012, №1 (22). С. 43-45.
5. Brovko N., Bogush R., Ablameyko S. Smoke detection in video based on motion and contrast // Journal of Computer Science and Cybernetics. 2012. Vol. 28., №3. Р. 195-205.
6. Богуш Р.П., Бровко Н.В. Обнаружение пламени на динамических изображениях на основе вейвлет-анализа и текстурной сегментации // Вестник Полоцкого государственного университета. Фундаментальные науки. 2012, №12. С. 27-32.
