CC BY
23
УДК 681.7.014.3
АППАРАТНЫЙ ВИДЕОИНФОРМАЦИОННЫЙ МОДУЛЬ ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ В РЕАЛЬНОМ
ВРЕМЕНИ
Е.Ю.Холопов, А.В. Братулин, А.И. Баранчиков
Рассмотрен метод обнаружения объектов по движению в условиях неподвижного фона, модифицированный и доработанный для реализации на ПЛИС. Метод и, построенный на его базе алгоритм обладают высоким быстродействием и хорошими показателями верного обнаружения с подавлением большей части геометрических искажений, возникающих в процессе работы источника видеосигнала. Реализованный метод предназначен для использования в системах технического зрения, работающих в реальном времени.
Ключевые слова: изображение, система технического зрения, видеопоследовательность, ПЛИС, обнаружение, случайные геометрические деформации, сопровождение.
Важным направлением при создании систем анализа и обработки видеоинформации является разработка бортовых видеоинформационных комплексов [1]. Их характерными чертами являются, необходимость работы в реальном времени, наличие автономного режима функционирования, а главными задачами - обнаружение и сопровождение объектов [2,3]. Однако способы решения таких задач отличаются сложностью и многогранностью, и не позволяют решить их в рамках одного какого-либо подхода, а требуют создания целого комплекса многоэтапных алгоритмов. Так, для того чтобы обнаружить интересующий нас объект необходимо: получить наблюдаемое изображение, оценить его качество [4] и, если необходимо, осуществить его предварительную обработку [1], выделить и обнаружить сам объект, оценить его параметры, сформировать управляющие сигналы [5,6].
Обнаружение - это процесс принятия решения о наличии или отсутствии одного или нескольких объектов в текущем кадре. Методы, используемые для обнаружения и выделения, можно разделить на пространственные и временные. Пространственная обработка базируется на информации, заложенной в одном телевизионном кадре. Оптимальные пространственные методы обработки учитывают корреляционные связи между выборками сигналов в соседних точках изображения.Временная обработка базируется на информации, заложенной в нескольких телевизионных кадрах, и учитывает корреляционные связи между выборками сигналов в одной и той же точке изображения в различных кадрах [1].
Все известные способы обнаружения можно классифицировать на основе анализа используемых в них внутрикадровых и межкадровых методов обработки.
Первая группа методов проводит независимую внутрикадровую обработку отдельных телевизионных кадров с целью обнаружения всех объектов с заданными признаками. Далее производится межкадровая обработка с использованием анализа динамики координат объектов. Эта обработка позволяет отделить подвижные объекты от неподвижных. При обнаружении полностью известного объекта хорошие результаты дают корреляционные методы обнаружения. В случае отсутствия полной информации об объекте обнаружение проводят на основе априорной информации о геометрических, яркостных, спектральных, текстурных, статистических и других признаках [2, 3].
Вторая группа методов обнаружения подвижных объектов основана на межкадровой обработке телевизионных сигналов с последующей внут-рикадровой обработкой. Поскольку методы обнаружения объектов на сложном фоне, базирующиеся на временной обработке сигналов, при обнаружении дополнительно используют информацию, получаемую в предыдущих кадрах, эффективность таких методов, безусловно, выше, чем у методов, использующих при обнаружении только априорную информацию о свойствах сложного фона [2].
В работах [7,8] представлен алгоритм, в основу которого легла идея оценки и последующего анализа динамических изменений, возникающих в одноименных точках обрабатываемой последовательности кадров во времени. Наблюдая за изменениями, имеющими место на изображении во времени, появляется возможность оценить, как сам фон, так и искажающую его помеху. Таким образом, есть реальная возможность выделить изменения сигнала, порожденные движением объектов в последовательности кадров. В представленном алгоритме применяется параллельное вычисление оценок уровней яркости точек фона и оценок дисперсии уровней яркости точек фона, независимо для каждой точки наблюдаемого изображения. На основе полученных оценок уровней яркости и оценок дисперсии уровней яркости, в каждой точке принимается решение о принадлежности ее к фону или, предположительно, объекту и формируется бинарное изображение.
Пусть Е(х,у) - это изображение наблюдаемой сцены в отсутствии искажений и движущихся объектов, далее будем называть его эталоном. Пусть Цх,у) - изображение фона с присутствующими на нём объектами. Связь между Е(х,у) и I (х,у) описывается моделью заслона
/(х,у) = Е(х,у)[ 1 - r(x,y)] + /i(x,y)r(x,y), (1)
где г(х,у) - бинарное изображение, единичные значения которого задают расположения объектов, h(x,y)~ яркостное изображение всех движущихся объектов.
Так как яркость объектов, которые требуется обнаружить, заранее неизвестна, предположим, что в каждой точкеудовлетворяющей выражению r(x,y) = 1, яркость объекта h(x,y) является случайной величиной, распределённой по равномерному закону в диапазоне [стт,стах\, h(x, y)~R(cmin, стах), где cmin,cmax - минимальная и максимальная яркости объекта (х, у) G R2.
Пусть L(x,y) - наблюдаемое изображение, которое отличается от 1(х,у) наличием аддитивного шума, случайных геометрических деформаций, а также искажений. Связь между 1(х,у) и L(x,y) задаётся выражением
L(x,y) = / (мО (х,у))) + ах,У), (2)
где ip(x,y) = (х — zx(x,y), у — zy(x,y)) -преобразование координат, обусловленное случайными геометрическими искажениями, вызванными атмосферными явлениями, Z(x, у) = (zx(x,y)>zy(x>y))- векторное поле деформаций, связанных с преобразованием у(х,у). М(х, у) = (/¿X(x,y),/iy(x,y))- преобразование координат, обусловленное параметрическими искажениями, вызванными движением датчика£(х,у) - аддитивный шум датчика.
Предполагается, что zx(x,y) uzy(x,y) - гауссовы случайные величины, некоррелированные в пространстве: zx(x,y)~N(0, сг2(х,у)), zy(x, y)~N(0, сг| (х, у)).
f (х> У) ~ нормальный белый шум: <f (х, y)~N(0, сг| (х, у)), сгт(х, у) « Сщах Cmin-
В качестве М(х,у) рассматривается преобразование сдвига на вектор (a,b)\fix(x,у) = х - а; ду(х,у) = у - Ь. (3)
Пусть каким-либо способом получены оценки параметров (а,Ъ), которые мы обозначим соответственно (сГ, Ь"). Ошибки оценки параметров преобразований обозначим соответственно £а>£ъ'- £а — а ~ а> £ь = b" — Ь. Предположим, что £а, £ьнезависимы и распределены по нормальным законам: £a~N(0, сгг2), £b~N(0, ог2), где о? - дисперсия ошибки по смещению.
Таким образом, известны величины: I(x,y), L(x,y), аЦх,у), ,у), (аГЖ), of.
Необходимо найти оценку расположения объектов, то есть бинарное изображение г°(х,у), которое является оценкой для г(х,у). Требования к алгоритму обнаружения задаются в форме Неймана-Пирсона, то есть
P(r°(x,y) = 1 /г(х,у) = 0) < р_, (4)
P(r°(x,y) = 1 /г(х,у) = 1) = р+ шах, где р_ - заданное значение вероятности ложной тревоги, р+- вероятность правильного обнаружения, которая должна быть максимизирована путём оптимального выбора параметров алгоритма выделения объектов [4, 5].
Реализация вышеизложенногов работах [7,8] алгоритма для обнаружения в условиях реального времени на базе ПЛИС требует ряд необходимых модификаций. Оптимизируя представленный метод для программирования его на аппаратном уровне, получаем следующие этапы.
1. Прием и формирование входного изображения с источника видеосигнала.
2. Формирование сглаженного («эталонного») изображения по формуле
Ен(х,у) = kt ■ /(х,у) + к2 ■ Ес(х,у), где £н(х,у)- новое эталонное значение; 1(х, у)- входное изображение; Ес(.х,у)~ старое эталонное значение, хранящееся в памяти; kt + к2=1 - коэффициенты фильтрации эталона; и организация хранения его в памяти.
3. Расчет разностного изображения по формуле
566
Ян{х,у) = Ис(х,у) -гг + (1(х,у) -Ес(х,у)) т2, где К"{х, у) - новое значение разности; / (х, у) - входное изображение; Ес(х,у) —старое эталонное значение; гх + г2=1 - коэффициенты фильтрации разности; и организация хранения его в памяти.
4. Параллельно с формированием всех необходимых изображений происходит бинаризация входного изображения для определения на нем движущихся объектов:
в(х л _ [1> есш \Кх,у) ~ Ес(х,у)\ > к ■ Дн(х,у) 1 0 в противном случае, '
где к - коэффициент доверительного интервала.
После выполнения всех этапов алгоритма получаем 3 изображения, а именно «эталонное», «разностное» и выходное «бинаризованное» изображение с выделенными на нем всех движущихся объектов (рис. 1).
Из приведенного примера выходного бинарного изображения видно, что на нем присутствует большое количество шумов, которые являются случайными геометрическими деформациями, вызванные вибрацией видеодатчика, турбулентностью атмосферы и т.д. (рис. 2).
Регулировать «чистоту» бинарного изображения можно с помощью коэффициента доверительного интервала (к). Чем он больше, тем более яркий и крупный объект будет обнаружен, мешая «просачиваться» более мелким, например, геометрическим искажениям.
в
Рис. 1. Пример появления объекта на неподвижном фоне: а - входное изображение; б - «эталонное» изображение фона; в - «разностное» изображение; г - выходное изображение
а б
Рис. 2. Примеры выходного бинарного изображения с различными коэффициентами доверительного интервала (к): а - к = 3; б - к = 5
Аппаратная реализация продемонстрированного алгоритма производилась на базе нового семейства ПЛИС седьмого поколения Кт1ех-7. В соответствии со структурной схемой, представленной на рис. 3, метод обнаружения по движению был разделен на несколько модулей, работающих параллельно, обеспечивая тем самым высокую скорость обработки изображения и формирование необходимых элементов для процесса принятия решения о наличии или отсутствии одного или нескольких объектов в текущем кадре.
Рис. 3. Структурная схема модуля автоматического обнаружения
объектов в реальном времени
Предложенная в данной работе модификация весьма эффективного алгоритма [7,8] позволила реализовать его на аппаратном уровне и получить конкурентно-способное изделие, которое может найти применение в
568
видеосистемах различного назначения, например, системах поиска и спасения, охранных комплексах, системах контроля выполнения правил дорожного движения. Также были достигнуты следующие цели:
- обеспечена работа в реальном времени, так как время отклика не более 45 мс;
- использовано минимальное количество схемотехнических ресурсов;
- получена открытая схема на языке описания аппаратных средств Verilog;
- обеспечена работа в автономном режиме при минимальном участии оператора.
Эффективность разработанного метода подтверждена испытаниями в реальных условиях наблюдения. Проведены экспериментальные исследования с привлечением естественных и искусственных последовательностей изображений, в ходе которых в 90 % случаях принятые решения о наличии или отсутствии объектов в кадре являются истинными.
Список литературы
1. Обработка изображений в авиационных системах технического зрения: монография / под ред. Л. Н. Костяшкина и М.Б Никифорова. М.: Физматлит, 2016. 240 с.
2. Алпатов Б. А., Бабаян П.В. Обнаружение и слежение за движущимися объектами в присутствии дрожания и линейных сдвигов изображения // Цифровая обработка сигналов и ее применения: тез. докл. 6-й междунар. конф. Т. 2. 2004. С. 95-96.
3. Nikiforov Mikhail B., Orlov Sergei V., Gurov Victor S. Detection of Mobile Objects in Computer Vision Systems // Proceedings of the 5th Mediterranean Conference on Embedded Computing. Montenegro. Bar. 2016. P.137-139.
4. LoginovAleksandr A., MuratovEvgeniy R., Nikiforov Mikhail B. Image Quality Estimation Using Integral Indicator // Proceedings of 2017 International Conference on Compute and Data Analysis. ICCDA2017, Lakeland, Florida, United States. May 19-23, 2017. P. 181-184.
5. Системы борьбы с беспилотными летательными аппаратами (БЛА) // Центральный Военно-Морской Портал, 2009 [Электронный ресурс]. URL: http://flot.com/forum/index.php7PAGE NAME=read&FID=54&T ID=2611&MID=78308&print=Y#message78308 (дата обращения: 10.07.18).
6. Кренев Г.А. Асимметричный ответ высокоточному оружию // Сайт «Новые технологии», 2010 [Электронный ресурс]. URL: http://www.sinor.ru/~bukren12/asimm otvet3.htm (дата обращения: 10.07.18).
7. Алпатов Б. А., Балашов О.Е. Исследование алгоритмов сегментации изображения по фрактальным признакам // Космонавтика. Радиоэлектроника. Геоинформатика: тез. докл. 4-й международной конференции. Рязань, 2003. С. 320-321.
8. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Б.А. Алпатов, П.В. Бабаян, О.Е. Балашов, А.И. Степашкин. М.: Радиотехника, 2008. 176 с.
Холопов Евгений Юрьевич, аспирант, holopovevgu13@,rambler. ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Братулин Александр Вадимович, аспирант, hratulina mail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Баранчиков Алексей Иванович, д-р техн. наук, профессор, alexibainbox. ru, Россия, Рязань, Рязанский государственный радиотехнический университет
HARDWARE VIDEO INFORMATION MODULE FORDETECTING MOVING
OBJECTS IN REAL
E.Y. Kholopov, A.V. Bratulin, A.I. Baranchikov
The article considers the method of detecting objects by motion in a stationary background, modified and modified for implementation on FPGA. The method and, based on its basis, the algorithm, has a high speed and good indicators of correct detection with suppression of most of the geometric distortions that occur during the operation of the video source. The implemented method is designedfor use in real-time vision systems.
Key words: image, vision system, video sequence, FPGA, detection, random geometric deformations, tracking.
Kholopov Evgeny Yuryevich, postgraduate, holopovevgul3arambler.ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Bratulin Alexander Vadimovich, postgraduate, bratulin@,mail.ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Baranchikov Alexey Ivanovich, doctor of technical sciences, professor, alexiba inbox.ru, Russia, Ryazan, Ryazan State Radio Engineering University
