Повышение качества обработки информации, поступающей с нескольких видеосенсоров, в задачах управления Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.932:621.397

Понятский В.М.

Тульский государственный университет, г. Тула, Россия АО «Конструкторское бюро приборостроения имени академика А.Г. Шипунова» г. Тула, Россия,

ПОВЫШЕНИЕ КАЧЕСТВА ОБРАБОТКИ ИНФОРМАЦИИ, ПОСТУПАЮЩЕЙ С НЕСКОЛЬКИХ ВИДЕОСЕНСОРОВ, В ЗАДАЧАХ УПРАВЛЕНИЯ

АННОТАЦИЯ

В задачах управления информация с видеосенсоров должна соответствовать ряду требований. Для выполнения этих требований осуществляется оценка однородности и сложности фона, определяется вероятность обнаружения полезных объектов. С помощью известных методов обработки изображений проводится оценка информации о полезных объектах с разных видеосенсоров. Для повышения качества информации о полезных объектах предлагается осуществлять её комплексирование с помощью методов нечеткой логики и фильтрации Калмана.

КЛЮЧЕВЫЕ СЛОВА

Изображения, однородность фона, сложность фона, вероятность обнаружения, методы видеообработки, комплексирование, методы нечеткой логики, фильтрация Калмана.

Ponyatsky V.M.

Tula state university, Tula, Russia, JSC "KBP named after Academician A.Shipunov", Tula, Russia

QUALITY IMPROVEMENT OF THE INFORMATION PROCESSING DERIVED FROM SEVERAL VIDEO SENSORS IN CONTROL PROBLEMS

ABSTRACT

Information from video sensors should correspond to set of requirements in control problems. There are estimating of background uniformity and background complexity and defining probability of detection of useful object for implementation of these requirements. Using known image processing methods there are estimating information on useful objects from different video sensors. For improvement of quality of information on useful objects there offer to carry out its complexation using fuzzy logic methods and Kalman filtering methods.

KEYWORDS

Images, background uniformity, background complexity, probability of detection, video processing methods, complexation, fuzzy logic methods, Kalman filtering.

Постановка задачи

Повышение помехоустоичивости к воздеиствию нестационарных возмущении в виде помех измерения состояния объекта управления и их возможным кратковременным прерываниям при управлении обеспечивается взаимосвязанным выбором параметров алгоритма фильтрации и алгоритма формирования команд управления (рисунок 1) [1].

Рисунок 1 - Структурная схема обработки сигналов для формирования команд управления

Дискретный алгоритм обработки входной информации в задачах управления в рамках методов фильтрации Калмана имеет вид:

х0 (п | п -1) = Ф(п)х0 (п -1) + В(п)и(п) + D(n)F(n);

N

х0 (п) = х0 (п | п - 1) + IК. (n){z. (п) - Н(п)х0 (п | п - 1)}; (1)

i=1

К (п) = S1 (п)Р(п | п - 1)НТ{Н(п)Р(п | п - 1)НТ(п) + Уи [п] }-1;

Р(п | п -1) = G(n)Vw (n)GT(n) + Ф(п)Р(п - 1)ФТ (п);

N

Р(п) = Р(п | п -1) - IК. (п)Н(п)Р(п | п -1), i = 1..^

i=1

где zi (п) - вектор наблюдении; zo (п) = Н(п)х0(п | п -1) - вектор оценок наблюдении; х0 (п) - оценка вектора состояния; х0 (п | п -1) - оценка вектора прогнозирования состояния; Ф(п) - переходная матрица; Н(п) - матрица наблюдения; К. (п) - матрица коэффициентов; Р(п | п -1) -дисперсионная матрица вектора состояния; Р(п) - дисперсионная матрица оценки вектора состояния; Щ«) - вектор управления; F(и) - вектор измеренных сигналов с выхода объекта; В(п) - матрица коэффициентов управления; D(и) - матрица коэффициентов измерения; Si (п) - признак типа измерителя или отсутствия измерении Si (п) = 0; N - количество видеосенсоров. Непрерывный алгоритм фильтрации Калмана имеет вид: dx N

-о = Ф(0хо (0 + В(0и(0 + D(t)F(t) + I К, (0^. (t) - H(t)x0 (t)); (2)

dt .=1

^ = Vw (/) + Ф(/)Р(0 + Р(/ )ФТ (/) - Р(/ )НТ «^«Щ^),

dt

где z. (t) - вектор наблюдении; zo (t) = Н(1)х0 (t) - вектор оценок наблюдении; х0 (t) - оценка вектора состояния; Ф- переходная матрица; Р(0 - корреляционная матрица; Н- матрица

Т -1

наблюдения; К. (t) =Si(t)Р(1)Н (t)VV. (t) - матрица коэффициентов; и(0 - вектор управления; F (t) - вектор измеренных сигналов с выхода объекта; В(1) - матрица коэффициентов управления; D(t) - матрица коэффициентов измерения; Si(t) - признак типа измерителя или отсутствия измерении Si(t) = 0.

Корректирующии фильтр обеспечивает требуемую устоичивость и точность системы управления. Выбор передаточнои функции корректирующего фильтра может быть осуществлен традиционным методом частотных характеристик.

Для обеспечения устоичивости системы управления с фильтром Калмана вводится обратная связь по командам управления и или по измеренным сигналам с выхода объекта F, исходя из выполнения условия:

Пж = WфWc ,

где - желаемая передаточная функция замкнутои системы с фильтром; Пф - передаточная функция фильтра; Пс - передаточная функция системы без фильтра.

Так передаточная функция по командам управления и в зависимости от сигнала ошибки управления е(^) имеет вид:

и = ПОПБУ 6 1 + ПмоПбу (1 - По ) '

где По - передаточная функция алгоритма обработки выделения координат объекта; Пмо -передаточная функция модели объекта управления цепи обратнои связи по командам управления и или по измеренным сигналам с выхода объекта F,.

Передаточная функция системы управления имеет вид:

п =_ПоПБУПОУ_

СУ 1 + ПМОПОБ + ПвПБУ (ПОУ - ПМО) ' где Поу - передаточная функция объекта управления.

При ПМо = Поу передаточная функция примет вид:

и _ ^о^БУ^оу ГУ СУ _ -,

1 + ГБУГОУ

т.е. в системе управления обеспечивается подавление помех с помощью алгоритма обработки при сохранении динамических характеристик (запасов устойчивости и т.д.) системы, так как в характеристическое уравнение (знаменатель) не входит Wo. Это позволяет выбирать полосу пропускания алгоритма обработки, равную полосе пропускания системы управления, и обеспечивать эффективное подавление помех.

Формирование требуемых динамических характеристик системы управления может быть проведено при разных соотношениях полосы пропускания системы без фильтра ^ и полосы пропускания фильтра Калмана fф .

Если требуемое качество управления обеспечивается выбором полосы пропускания системы без фильтра Гс меньшеи, чем полоса пропускания фильтра Калмана Гф: ^ < fф, то

динамические своиства системы управления определяются алгоритмом формирования команд управления.

Требуемые своиства системы при задании полосы системы без фильтра Гс большеи, чем

полоса пропускания фильтра Гф: ^ > fф обеспечиваются за счет повышения динамических

характеристик системы и малои полосы пропускания фильтра. В этом случае можно обеспечить полосу пропускания фильтра, соизмеримую с рабочеи полосои системы.

Обработка изображений [2 - 5]

Алгоритмы идентификации источника полезного излучения на основе использования комплексного критерия

Процедура идентификации изображения источника полезного излучения является результатом его распознавания на общем изображении. Алгоритмы распознавания изображении отличаются сложностью и большим разнообразием.

Процедура идентификации изображения полезного объекта существенно отличается от классическои постановки задачи. Это связано с тем, что основными признаками при идентификации являются не только статические признаки (размеры, форма, распределение яркости и др.), но и динамические (траектория движения, направление вектора угловои и линеинои скорости, значение скорости).

В этом случае для идентификации полезного изображения целесообразно использовать специально сконструированныи функционал, учитывающии комплекс характерных параметров полезного объекта. Поскольку некоторые параметры изображения являются неустоичивыми, функционал должен учитывать их с определенным весовым коэффициентом, зависящим от погрешности определения. Общии вид функционала F имеет вид:

п

F _Е КгРг <,

г_1

где К - весовои коэффициент ; - того параметра; pi - значение соответствующего параметра; Fo -пороговое значение критерия.

Весовые коэффициенты определяются на основе обработки (измерении параметров изображении полезного источника) видеоизображении при различных условиях.

Таким образом, общая идеология или концепция выделения полезного объекта заключается в том, что его идентификация осуществляется как по прямым признакам с максимальными весовыми коэффициентами, так и по косвенным признакам, имеющим меньшие весовые коэффициенты.

Селекция полезного объекта на основе методов корреляционного анализа Рассматривается подход к обработке последовательности видеоизображении для слежения за полезными объектами, основанньш на методах корреляционного анализа.

В качестве меры соответствия используют значение взаимнои корреляционнои функции или суммы модулеи разности яркостеи пикселеи в пределах области обработки:

т п

^ _ Е Е \Кэ (хг > У] ) " Кп (хг, У] ) >

г _0] _0

где {т, п} - число пикселеи в блоке; Кэ - эталонным кадр; Кп - текущии кадр.

На первом этапе обработки осуществляется формирование эталона. Для этого происходит

бинаризация изображения, выделение объекта, получение размеров и положения изображения объекта и формирование области перезаписи эталона. Размеры области перезаписи эталона задаются с учетом размеров предыдущего эталонного образа. Координаты этои области формируются исходя из положения объекта на текущем кадре. Формирование эталона может происходить либо через фиксированное количество кадров, либо по нарастанию величины относительнои ошибки взаимнои корреляционнои функции:

1 m n . .

Som =-ЕЕ \Кэ (x, , У] ) " Kn (x, , У] ) . (3)

mn,=0 j=о' 1

Это происходит по следующему принципу: относительная ошибка Som нарастает от кадра к кадру (т.к. характеристики объекта со временем могут изменяться), и, когда она достигает определенного предела, происходит перерасчет эталонного образца.

На втором этапе обработки осуществляется сопровождение объекта. Для слежения за объектом на последующем кадре формируется область поиска, где производится расчет взаимнои корреляционнои функции.

После того, как сформирована область поиска, она разбивается на блоки размером ихn (размеры эталона) c шагом s пикселеи. В этих блоках производится расчет взаимнои корреляционнои функции по формуле (3). В каком блоке получается наименьшее значение Som, тот блок и будет считаться полезным источником.

Оценка качества изображений

Для оценки качества изображении используются оценки их однородности, сложности и вероятности обнаружения полезного объекта. Оценка однородности изображения

Для оценки однородности изображения осуществляется расчет коэффициентов пространственнои корреляции сравниваемых областеи k и p :

1 N

%p =-Е(x,,k - mk)(x,,p - mp),

CTkстp i=1

где x, k, x,,p - элемент изображения; mk, mp - математическое ожидание; стk, стp -

среднеквадратическое отклонение.

Оценка сложности изображения

Оценка сложности изображения определяется как отношение дисперсии в локальных областях D,,] к общеи дисперсии D для всего изображения:

' ... = D.

h,,] D ■

Оценка вероятности обнаружения полезного объекта

Аналитическое выражение для вероятности обнаружения получается на основе синтеза алгоритма обнаружения с применением вероятностно-статистических методов. При этом вероятность обнаружения полезного объекта для k -того кадра равна:

РобПО = 2 -ф(ф-1(2 - F)- *

1 ^ 2 / 1 где Ф^) = — Je~u '2du - функция ошибок; ф-1 (•) - обратная функция ошибок; (— F) -л/2л 0 2

вероятность ложнои тревоги; q - параметр обнаружения полезного объекта. Параметр обнаружения равен:

д = IcpnO - h ч ,

ст °pnO

где ICpno - среднее значение отсчетов изображения с полезным объектом; CTCp -

среднеквадратическое отклонение отсчетов области обработки изображения с полезным объектом; h - заданньш порог бинаризации при обработке изображении.

Среднее значение отсчетов области обработки изображения с полезным объектом определяется по формуле:

1 y_

IcpПО = 7 — W — ) E E Imn , Vxmax xmin /' vmax ymin / n=xmin m=ymin

где xmin, xmax - координаты границ области обработки изображения по горизонтали; ymin, ymax -

координаты границ области обработки изображения по вертикали.

Среднеквадратическое отклонение отсчетов области обработки изображения с полезным объектом равно:

' N M

1 N M ( )2 77 7 E E Vmn) .

CTcp i m ■ N —1 m=i

Расчет вероятности ложнои тревоги PL осуществляется с учетом следующеи зависимости:

1 1 h — mo PL = — - F = — -Ф(-o),

2 2 ст 0

1 xmx у max

где среднее значение отсчетов Io =-,--\ E E Imn и среднеквадратическое

Vxmax — xmin /■ vmax — ymin /n=xmin m=ymin

I 1 N M

отклонение отсчетов cto = -E Evmn) рассчитываются для области обработки

\IM ■ N — 1 n=1m=1

изображения при отсутствии в неи полезного объекта.

Расчет оценки однородности, сложности изображения и вероятности обнаружения полезного объекта осуществляется как для исходных изображении с видеосенсоров, так и для изображении после их обработки. Полученные оценки однородности, сложности изображения и вероятность обнаружения полезного объекта используются для выбора параметров методов обработки изображении, а также для настроики алгоритмов комплексирования обрабатываемои информации.

Комплексирование информации

Рассматриваются вопросы объединения результатов обработки последовательности видеоизображении, полученных либо с видеосенсоров различнои физическои природы, либо с одного видеосенсора, но обработанных разными методами.

Для комплексирования результатов выделения и расчета координат полезного объекта, полученных с помощью разных методов обработки видеоизображении, может быть использован фильтр Калмана (1) или (2).

Решение задачи комплексирования возможно путем обработки данных по каждому каналу с весами, зависящими от точности полученных оценок. Комплексирование данных с использованием весовых коэффициентов в общем случае может быть представлено следующеи зависимостью:

I = UwtIt , i

где Ij - информационньш параметр i-ro канала; wj - весовои коэффициент i-ro канала.

Комплексирование с использованием весовых коэффициентов позволяет использовать данные от всех каналов, а также обеспечивает учет влияния каждого из каналов на общии результат за счет перераспределения весов. К недостаткам относится отсутствие возможности прогнозирования при пропадании сигналов по всем каналам.

Алгоритмы, формируемые на основе теории многозначнои и нечеткои логики, могут быть использованы для предварительнои обработки информации, поступающеи на входы фильтра Калмана (1) или (2) или для настроики его параметров (рисунок 1). Результаты

Рассмотрена возможность объединения результатов выделения координат полезного объекта, полученных как с помощью корреляционного метода, так и на основе комплексного критерия [2].

Разработка и моделирование работы фильтра Калмана для комплекснои обработки выделенных координат полезного объекта проведены с помощью программного комплекса «Идентификация» (рисунок 2), предназначенного для обработки результатов экспериментов различными методами, реализованными отдельными подключаемыми модулями [6].

Фильтр Калмана при наличии выделенных координат полезного объекта двумя методами обработки: S1 = 1 и s— = 1 (режим комплексирования) - имеет следующии вид:

х1э (п) = х1ф (п) + х2ф (п) То + х3ф (п) То2/2; х2э(п) = - х1ф (п) + х2ф(п) + х3ф(п) То - коси(п); х3э(п)=х3ф(п);

х1 ф (п) = х1 э (п) + Ш(п>! (п)(х! (п) - х1 э (п)) + к 21(п) S2 (п)(х2 (п) - х1э (п)); х2ф (п) = х2э (п) + кЩп^^пХх! (п) - х1э (п)) + к22(п)Б2 (п)(х2 (п) - х1э (п)); х3 ф (п) = х3 э (п) + к13 (п) s! (п)(х! (п) - х1 э (п)) + к 23(п) S2 (п)(х 2 (п) - х1 э (п)), где х^(п), Х2(п) - вычисленные координаты полезного объекта двумя методами; признаки выделения полезного объекта Б^п) и 82 (п) : = 1 - при выделении объекта, = 0 - при не выделении объекта.

Km-mi с*«*

ci Fw»Pm i"-wn сt*

♦ЧПв,"'™*« К И" -ни «Г, Й1 -Н В„ И'ш

Рисунок 2. Разработка и моделирование работы фильтра Калмана

При отсутствии сигналов sj = 0 и S2 = 0 (режим прогнозирования)

х1ф (n) = х1ф (n) + х2ф (n) To + х3ф (n) To 2/2;

х2ф (n) = х2ф (n) + х3ф (n)To.

С помощью программы Matlab получены амплитудно-частотные характеристики фильтра Калмана (на рисунке 3а): кривая а - при s1=0, s2=1 (по сигналу, полученному корреляционным методом); кривая б - при s1=1, s2=0 (по сигналу, полученному методом оценки характеристик); кривая в - при s1=1, s2=1 (при комплексировании сигналов).

На рисунке 3б приведены выделенные координаты полезного объекта после обработки видеоряда, сформированного в процессе проведения экспериментальных исследовании системы слежения с оптическим координатором, а также результаты объединения этих координат: СХ, CY - обработка с помощью корреляционного метода; X, Y - обработка методом оценки характеристик полезного объекта; Xf, Yf - комплексирование результатов с помощью фильтра Калмана.

На рисунке 3г приведены спектральные характеристики выделенных координат полезного объекта.

При использовании корреляционного метода на интервале времени 9...10 с выделенные координаты полезного объекта имеют значительные погрешности. Комплексирование результатов обработки с использованием разных методов обработки позволяет повысить качество расчета координат полезного объекта по сравнению с оценками, полученными каждым методом в отдельности. Кроме того, обеспечивается улучшение и спектральных характеристик координат полезного сигнала излучения.

Приведенные графики показывают, что результаты комплексирования двух методов обработки обеспечивают существенно меньшии разброс (ошибки) определения координат. Возможные сбои одного из методов компенсируются большеи стабильностью результатов второго метода на этом интервале. Проведенное тестирование и обработка экспериментальнои последовательности видеоизображении показали эффективность предложеннои методики объединения результатов обработки и выделения источника полезного излучения по последовательности видеоизображении разными методами видеоанализа.

в

Рисунок 3. Комплексирование результатов обработки информации: а - амплитудно-частотные

характеристики фильтра Калмана; б - выделенные координаты полезного объекта; в - спектральные характеристики выделенных координат полезного объекта

Заключение

Таким образом, разработан методический подход к объединению результатов обработки и выделению полезного объекта разными методами видеоанализа по последовательности видеоизображении. Проведенное тестирование и обработка экспериментальнои последовательности видеоизображении показали эффективность предложеннои методики.

Литература

1. Понятский В.М. Способ повышения помехоустойчивости робототехнической системы // Супервычисления и математическое моделирование: докл. XIII Междунар. Конф. (Саров, 3 октября - 7 октября 2011 г). - Саров.: ФГУП «РФЯЦ-ВНИИЭФ», 2012, С 388-401.

2. Понятский В.М. Комплексирование оценок координат подвижного объекта, полученных разными методами обработки последовательности видеоизображений // Известия ТулГУ. Сер. Технические науки. Вып. 2.Тула: ТулГУ. 2015. - С. 77-89.

3. Галантэ А.И., Макарецкий Е.А., Понятский В.М. Алгоритм обработки телевизионных изображений подвижного источника излучения // Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание: сб. матер. X Междунар. Конф. ( Курск, 2012 г.).- Курск, 2012. - С. 240-242.

4. Егоров Д.Б., Понятский В.М., Макарецкий Е.А. Программный комплекс моделирования цифровой обработки видеоизображений подвижного источника излучения // Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание: сб. матер. X Междунар. Конф. ( Курск, 2012 г.). -Курск, 2012. - С.246-248.

5. Понятский В.М., Егоров Д.А. Программный комплекс моделирования последовательности методов видеообработки для задач управления // Современные информационные технологии и ИТ-образование. Научный журнал. 2015. Т. 2 (№11). - С.334-340.

6. Понятский В.М. Научное программное обеспечение для исследования нестационарных процессов // Современные информационные технологии и ИТ-образование. Научный журнал. 2011.

References

1. Ponjatskij V.M. Sposob povyshenija pomehoustojchivosti robototehnicheskoj sistemy // Supervychislenija i matematicheskoe modelirovanie: dokl. XIII Mezhdunar. Konf. (Sarov, 3 oktjabrja - 7 oktjabrja 2011 g). - Sarov.: FGUP «RFJaC-VNIIJeF», 2012, S 388-401.

2. Ponjatskij V.M. Kompleksirovanie ocenok koordinat podvizhnogo ob#ekta, poluchennyh raznymi metodami obrabotki posledovatel'nosti videoizobrazhenij // Izvestija TulGU. Ser. Tehnicheskie nauki. Vyp. 2.Tula: TulGU. 2015. - S. 77-89.

3. Galantje A.I., Makareckij E.A., Ponjatskij V.M. Algoritm obrabotki televizionnyh izobrazhenij podvizhnogo istochnika izluchenija // Optiko-jelektronnye pribory i ustrojstva v sistemah raspoznavanija obrazov, obrabotki izobrazhenij i simvol'noj informacii. Raspoznavanie: sb. mater. X Mezhdunar. Konf. ( Kursk, 2012 g.).- Kursk, 2012. - S. 240-242.

4. Egorov D.B., Ponjatskij V.M., Makareckij E.A. Programmnyj kompleks modelirovanija cifrovoj obrabotki videoizobrazhenij podvizhnogo istochnika izluchenija // Optiko-jelektronnye pribory i ustrojstva v sistemah raspoznavanija obrazov, obrabotki izobrazhenij i simvol'noj informacii. Raspoznavanie: sb. mater. X Mezhdunar. Konf. ( Kursk, 2012 g.). -Kursk, 2012. - S.246-248.

5. Ponjatskij V.M., Egorov D.A. Programmnyj kompleks modelirovanija posledovatel'nosti metodov videoobrabotki dlja zadach upravlenija // Sovremennye informacionnye tehnologii i IT-obrazovanie. Nauchnyj zhurnal. 2015. T. 2 (№11). - S.334-340.

6. Ponjatskij V.M. Nauchnoe programmnoe obespechenie dlja issledovanija nestacionarnyh processov // Sovremennye informacionnye tehnologii i IT-obrazovanie. Nauchnyj zhurnal. 2011.

Поступила 11.10.2016

Об авторе:

Понятский Валерий Мариафович, доцент кафедры проектирования автоматизированных комплексов Тульскии государственныи университет, к.т.н., доцент, [email protected], начальник бюро, АО «Конструкторское бюро приборостроения имени академика А.Г. Шипунова».