CC BY
295
УДК 004.931
DOI 10.21685/2072-3059-2016-4-2
Э. Г. Теплицкий, С. М. Захаров, М. А. Митрохин
МЕТОД ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ НА СЛОЖНОМ ДИНАМИЧЕСКОМ ФОНЕ В ОПТИЧЕСКОМ ДИАПАЗОНЕ
Аннотация.
Актуальность и цели. Объектом исследования является оптико-электронная система обнаружения летательных аппаратов. Предмет исследования -методы выделения движущихся объектов в присутствии сложного динамического фона. Цель - разработка способов повышения эффективности решения задачи обнаружения движущихся объектов на сложном динамическом фоне.
Материалы и методы. Исследования выполнены с использованием методов обработки видеоизображений и прогнозирования.
Результаты. Предложен помехоустойчивый метод выделения малоразмерных объектов на сложном динамическом фоне по последовательности кадров. Приведены качественные и количественные результаты работы метода на примере решения задачи обнаружения малоразмерных летающих объектов на фоне движущихся облаков и качающихся деревьев.
Выводы. Предложенный метод может быть использован при разработке систем обнаружения движущихся объектов по последовательности кадров в оптическом диапазоне.
Ключевые слова: обработка видеоизображений, обнаружение летательных аппаратов, обнаружение движущихся объектов, сложный динамический фон.
E. G. Teplitskiy, S. M. Zakharov, M. A. Mitrokhin
A METHOD OF MOVING OBJECTS DETECTION ON A COMPLEX DYNAMIC BACKGROUND IN THE OPTICAL RANGE
Abstract.
Background. The research object is an optical and electronic aircraft detection system. The research subject is methods for isolating moving objects in the presence of complex dynamic backgrounds. The work purpose is to develop ways to increase efficiency of solving the problem of moving objects detection in complex dynamic backgrounds.
Materials and methods. The research was carried out using methods of video processing and forecasting.
Results. The authors have suggested an error-correcting method of small objects allocation in a complex dynamic background in the sequence of frames. The article describes qualitative and quantitative results of the method by the example of solving the problem of detecting small flying objects on the background of moving clouds and swaying trees.
Conclusions. The proposed method can be used in development of systems of moving objects detection in the sequence of frames in the optical range.
Key words: video image processing, aircraft detection, moving objects detection, complex dynamic background.
Введение
Многие задачи обнаружения движущихся объектов в оптическом диапазоне требуется решать в присутствии сложного, изменяющиеся с течением времени фона. Одной из таких задач является обнаружение малоразмерных беспилотных летательных аппаратов (МБЛА). Широкое распространение и массовая доступность МБЛА делает их привлекательным средством реализации таких несанкционированных действий, как перемещение запрещенных к обороту предметов, материалов и веществ, наблюдение закрытых территорий, реализация террористических актов и др. Таким образом, задача обнаружения МБПЛА для пресечения указанных угроз является актуальной. Малые вес (от 0,1 до 50 кг), габаритные размеры (от 10 см до нескольких метров) и эффективная площадь рассеивания (ЭПР - менее 0,1 м2) создают серьезные трудности для обнаружения МБЛА и противодействия угрозам, связанным с их применением [1].
Одним из возможных путей создания специальных средств обнаружения МБЛА является использование оптического канала получения информации. Преимущества оптических средств обнаружения (СО) заключаются:
- в пассивности работы, которая позволяет достичь хорошей маскируе-мости;
- в высоком разрешении оптико-электронных СО, которое позволяет решать не только задачи обнаружения, но и распознавания объектов;
- в относительно низкой стоимости чувствительных элементов, работающих в видимом и ближнем инфракрасном диапазонах.
Несмотря на указанные преимущества, задача обнаружения МБЛА в оптическом диапазоне является сложной. Сложность этой задачи определяется несколькими факторами. Малые размеры МБЛА приводят к необходимости обнаруживать цель, образ которой при удалении уже на несколько десятков метров занимает на изображении всего несколько пикселей. Из-за этого становится невозможным применение сглаживающих фильтров [2], а также методов обнаружения, оперирующих моделью объекта. При малых размерах цели главным ее свойством, позволяющим осуществлять обнаружение, является наличие движения, а основным инструментом обнаружения - методы выделения движущихся объектов [3]. В то же время задачу сильно усложняет наличие сложного динамического фона, характеризующегося движущимися облаками, качающимися на ветру деревьями, и таких помех, как летающие насекомые, пух, крупные снежинки снега и т.д.
1. Анализ существующих методов обнаружения
Классические методы обнаружения движущихся объектов (методы временной разности, вычитания фона, вероятностные методы) [3], основанные на обработке кадров во временной области, при сложном динамическом фоне обладают крайне низкой помехоустойчивостью. Исследования показали, что наиболее совершенный вероятностный алгоритм выделения движущихся объектов, основанный на модели фона в виде смеси нормальных распределений (Gaussian Mixture Model) [4], дает большое количество ложных срабатываний, когда в кадре появляются движущиеся облака и колеблющиеся деревья (рис. 1). На рис. 1,б белым цветом показаны ложные срабатывания
алгоритма по движущимся облакам и дереву, которые можно видеть на текущем кадре (рис. 1,а). Анализ работы алгоритма показал, что ложные срабатывания связаны с погрешностью вычисления математического ожидания и ковариационной матрицы, вызванной смещением фоновых объектов (облаков, деревьев и т.д.) в пространстве. Визуально это выражается размытием математического ожидания (рис. 1,в) и ковариационной матрицы движущихся облаков.
Рис. 1. Результат выделения движущихся объектов (б) по текущему кадру видеозаписи (а) алгоритмом Gaussian Mixture Model, а также текущее изображение математического ожидания (в)
Существуют также специальные алгоритмы обнаружения движущихся объектов на динамическом фоне, в которых осуществляется пространственно-временная обработка последовательности кадров. Они основаны на методах 3Б-фильтрации [5], использовании детекторов особых (ключевых) точек [6, 7] и оптическом потоке [8].
Методы 3Б-фильтрации основаны на пространственно-временной обработке окрестности пикселей. Особенностью такой обработки является удаление малоразмерных объектов или сглаживание деталей в пространственно-временной области. Из-за этой особенности данные методы накладывают существенные ограничения на дальность обнаружения малоразмерных летящих целей и применение их в данной задаче нецелесообразно.
Под детекторами особых (ключевых) точек в обработке видео понимаются алгоритмы поиска точек, инвариантных к преобразованиям изображения. Такими точками могут служить углы, границы или другие особенности объектов на изображении. В алгоритмах [6, 7] для выделения движущихся объектов используют информацию о смещении особых точек, принадлежащих целям и объектам фона. При этом, если на изображении цели особых точек найдено не было, ее обнаружение оказывается невозможным. Анализ применения детекторов особых точек показал низкую вероятность выделения особых точек на изображениях малоразмерных объектов. На рис. 2 изображены результаты выделения особых точек на изображениях МБЛА методами FAST [9], Harris [10], MinEigen [11] и SURF [12]. Особые точки на изображениях выделены зелеными крестиками, а место нахождения МБЛА показано красной окружностью. По рисунку видно, что на изображении МБЛА не было выделено особых точек ни одним из методов.
Еще одна группа алгоритмов определения движения объектов сцены основана на оптическом потоке. Под оптическим потоком (ОП) в обработке видео понимается векторное поле, определяющее скорость отдельных точек или фрагментов текущего кадра последовательности изображений относительно предыдущего кадра. Принятие решения в большинстве алгоритмов обнаружения движущихся объектов осуществляется простым пороговым сравнением. Такой подход накладывает ограничение на минимальную скорость движения обнаруживаемой цели, которая может быть меньше скорости движения фона (облаков, веток деревьев).
Таким образом, ни один из рассмотренных методов не подходит для решения задачи обнаружения движущихся малоразмерных целей на сложном динамическом фоне.
2. Предлагаемый метод обнаружения малоразмерных движущихся объектов
В данной работе предлагается усовершенствованный вероятностный метод обнаружения движущихся объектов на сложном динамическом фоне. Суть его состоит в смещении статистических моментов вместе со смещением фоновых объектов на изображении. Для этого метод предполагает выполнение нескольких этапов:
- определение смещения точек или фрагментов на последовательности кадров;
- вычисление прогнозных значений статистических моментов фона по предыстории с учетом пространственного смещения пикселей кадра;
- выделение движущихся объектов;
- обновление статистических моментов.
Определение смещения точек или фрагментов изображения можно осуществлять с помощью детекторов особых точек, корреляционных методов и оптического потока.
в) г)
Рис. 2. Результат выделения особых точек на изображении МБЛА методами FAST (a), Harris (б), MinEigen (в) и SURF (г)
На рис. 2 видно, что особые точки выделяются на деревьях и на границе облаков. При этом на самом облаке особые точки практически отсутствуют, из-за чего определение смещения облаков оказывается затруднительным. Следовательно, применение методов, основанных на детекторах особых точек, в условии движущихся облаков не представляется возможным.
Применение корреляционного метода для определения смещения фрагментов на последовательности кадров требует разбиения изображений на блоки. При этом на выбор размера блока влияют несколько факторов. С одной стороны, уменьшение размера блоков позволяет увеличить детальность определения смещения. С другой стороны, с уменьшением размера блоков повышается влияние шума регистрирующей аппаратуры и, следовательно, снижается точность определения смещения. Опыт использования корреляционного метода с поблочным делением кадра показал значительные ошибки определения смещения фрагментов безоблачных участков неба.
Еще одним способом определения мгновенной скорости или смещения точек или фрагментов изображения на последовательности кадров является использование оптического потока. Вычисление ОП может осуществляться различными существующими алгоритмами. Сравнение результатов вычисления ОП методами Lukas-Kanade [13], Horne-Shunk [14] и Farneback [15] в программе MatLAB представлено на рис. 3, из которого видно, что наиболее полную информацию о движении объектов сцены дает алгоритм, реализующий метод вычисления ОП Farneback, поскольку он дает значения смещения для всех движущихся объектов. В остальных рассмотренных алгоритмах встроена пороговая обработка для удаления шумовых значений ОП, которая удаляет информацию о смещении точек кадра.
Таким образом, на первом этапе для определения смещения наиболее целесообразно использование метода вычисления ОП Farneback. Результатом выполнения данного этапа является двумерное векторное поле \п (х, у) = = (Ух (х, у), Vy (х, у)}, отображающее мгновенную скорость смещения пикселей, где х и у - координаты изображения, п - номер текущего кадра.
Рис. 3. Результат вычисления ОП методами: Lukas-Kanade (б), Horne-Shunk (в) и Farneback (г) по текущему кадру (а)
Следующим этапом метода является прогнозирование значений статистических характеристик модели фона. Данную задачу можно решить, используя различные модели прогнозирования [16]: регрессионные, авторегрессионные, экспоненциального сглаживания и т.д.
Анализ видеоизображений облачного неба показал, что для прогнозирования параметров модели фона для текущего кадра подходит простая модель:
£ п (х у ) = £ и-1 (х+Уп,х (x, у ), у+Уп,у у )); (!)
(х,у) = оП-1 (х + Уп,х (х,у),у + Уп,у (х у )), (2)
где |п (х, у), аП (х, у) - оценки математического ожидания и дисперсии
модели фона; Упх (х,у), Уп у (х,у) - оценки компонентов векторного поля
Уп (х,у) для пикселей фона в текущем кадре.
При этом прогнозное значение векторного поля Уп можно вычислять по следующей формуле:
Уп ( у ) = Уп-1 (х + Уп-1,х ( у ), У + Уп-1,у(x, у)), (3)
где Уп-1 х (х,у), Гп-1у (х,у) - компоненты усредненного векторного поля, которые получаются экспоненциальным сглаживанием со смещением:
Уп-1 (x, У) = «уп-1 (x, У) +(1 - «)уп-2 (х + Уп-1, х (x, У), У + Уп-1, у(^ У)), (4)
где ае (0,1) - коэффициент усреднения векторного поля У.
Следующим этапом метода является обнаружение движущихся объектов. Принятие решения осуществляется, как в любом классическом вероятностном методе [3], по формуле
Я ( ) \Хп (x, У) п (x, У ^ .о (5)
К (х, У) —-—,-ч--8, (5)
ап (^У)
где Яп (х, у) - результат принятия решения; Хп (х, у) - текущий кадр; 8 -пороговое значение.
На последнем этапе метода происходит обновление статистических моментов, принадлежащих фоновым объектам, по следующим формулам [4] (х и у координаты опущены):
Г Хп при п = I
|п = ^ I \ (6)
[|п =Лп °Хп + (1 -Лп)°£п-1 при п > 1;
_°2 an =
2
(xn )° при n = 1,2,
^ =Л n °XnГ +(1-Лп )° ^-1 + (-^n-1 )°
(7)
при n > 2,
°2
где « ° » - операция поэлементного умножения; « » - операция поэлементного возведения в степень; Лп - матрица коэффициентов обновления, которая определяется как
Лп = Яп + (1 -Я)-^п, (8)
где —1 - операция отрицания; Хе (0,1) - коэффициент обновления статистических моментов.
3. Реализация метода и результаты
Пример алгоритма, реализующего предлагаемый метод, приведен в статье [17]. В основе алгоритма лежит метод вычисления ОП ЕагпеЪаек, результатом выполнения которого является двумерное векторное поле
Уп = \ух V} . В качестве исходного сигнала Хп принимается модуль векторного поля Уи:
Хп = |У„|. (9)
На рис. 4 изображены результаты обнаружения движущихся малоразмерных объектов в различных условиях. На рис. 4,а изображено правильное обнаружение движущегося дистанционно управляемого беспилотного самолета с размахом крыльев 1,5 м на расстоянии 300 м. На рис. 4,б - обнаружение движущегося квадрокоптера, с размером 300 х 300 мм на примерном удалении 50 м. На рис. 4,в,г изображены обнаружения летящих птиц. Стоит отметить, что птицы для данного метода и реализующего его алгоритма также являются целями. Отделение птиц от МБЛА осуществляется алгоритмом идентификации целей.
Предлагаемый алгоритм обнаружения оценивался по видеозаписям общей длительностью 183 мин, содержащим сложный динамический фон и малоразмерные объекты (птицы, МБЛА) в различных условиях, и показал удовлетворительные результаты.
а) б)
Рис. 4. Результат обнаружения движущихся самолета (а), квадрокоптера (б), птиц (в, г) предлагаемым алгоритмом по видеозаписям, записанным при различных условиях
в) г)
Рис. 4. Окончание
Заключение
Таким образом, предлагаемый метод обнаружения движущихся малоразмерных объектов на сложном динамическом фоне показывает более высокую помехоустойчивость по сравнению с классическим вероятностным алгоритмом обнаружения при том же уровне вероятности обнаружения.
В результате оценки и анализа алгоритма, реализующего предлагаемый метод, было выявлено, что на вероятность обнаружения и ложных срабатываний в высокой степени влияет точность оценки смещения объектов сцены и оценки параметров модели фона. Дальнейшим направлением исследований является поиск оптимальных алгоритмов смещения и прогнозирования характеристик модели фона.
Список литературы
1. Еремин, Г. В. Малоразмерные беспилотники - новая проблема для ПВО / Г. В. Еремин, А. Д. Гаврилов, И. И. Назарчук // Армейский вестник. - 2015. -URL: http://army-news.ru/2015/02/malorazmernye-bespilotniki-novaya-problema-dlya-pvo/ (дата обращения: 01.10.2016).
2. Щербаков, М. А. Итерационный метод оптимальной нелинейной фильтрации изображений / М. А. Щербаков // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2011. - № 4 (20). - С. 43-56.
3. Лукьяница, А. А. Цифровая обработка видеоизображений / А. А. Лукьяница, А. Г. Шишкин. - М. : Ай-Эс-Эс Пресс, 2009.
4. Zivkovic, Z. Improved adaptive Gaussian mixture model for background subtraction / Z. Zivkovic // Proceedings of the 17th International Conference. Pattern Recognition. -IEEE. - 2004. - Т. 2. - С. 28-31.
5. Ko, T. Background subtraction on distributions / T. Ko, S. Soatto, D. Estrin // European Conference on Computer Vision. - Berlin : Springer Berlin Heidelberg, 2008. -С. 276-289.
6. Yu, X. Motion detection in moving background using a novel algorithm based on image features guiding self-adaptive Sequential Similarity Detection Algorithm / X. Yu,
X. Chen, M. Jiang // Optik-International Journal for Light and Electron Optics. - 2012. -Т. 123, №. 22. - С. 2031-2037.
7. Ramya, R. Motion Detection in Moving Background using ORB Feature Matching and Affine Transform / R. Ramya, B. Sudhakara // IJITR. - 2015. - С. 162-164.
8. Patel, M. P. Moving object detection with moving background using optic flow / M. P. Patel, S. K. Parmar // Recent Advances and Innovations in Engineering (ICRAIE). - IEEE. - 2014. - С. 1-6.
9. Rosten, E. Fusing points and lines for high performance tracking / E. Rosten, T. Drummond // Tenth IEEE International Conference on Computer Vision (ICCV'05). -IEEE. - 2005. - Vol. 1. - С. 1508-1515.
10. Harris, C. A combined corner and edge detector / C. Harris, M. Stephens // Alvey vision conference. - 1988. - Vol. 15. - С. 50.
11. Shi, J. Good features to track / J. Shi, C. Tomasi // Computer Society Conference on. -IEEE. - 1994. - С. 593-600.
12. Bay, H. Surf: Speeded up robust features / H. Bay, T. Tuytelaars, L. Van Gool // European conference on computer vision. - Berlin : Springer Berlin Heidelberg, 2006. -С. 404-417.
13. Lucas, B. D. An iterative image registration technique with an application to stereo vision / B. D. Lucas et al. // IJCAI. - 1981. - Т. 81, №. 1. - С. 674-679.
14. Horn, B. K. P. Determining optical flow / B. K. P. Horn, B. G. Schunck // Artificial intelligence. - 1981. - Т. 17, №. 1-3. - С. 185-203.
15. Farnebäck, G. Two-frame motion estimation based on polynomial expansion / G. Farnebäck // Scandinavian conference on Image analysis. - Berlin : Springer Berlin Heidelberg, 2003. - С. 363-370.
16. Тихонов, Э. Е. Прогнозирование в условиях рынка : учеб. пособие. / Э. Е. Тихонов. - Невинномысск : Северо-Кавказский гос. техн. ун-т, 2006.
17. Захаров, С. М. Алгоритм обнаружения движущихся объектов по последовательности кадров на сложном динамическом фоне / С. М. Захаров, Э. Г. Теплиц-кий // Современные охранные технологии и средства обеспечения комплексной безопасности объектов : материалы 11 Всерос. науч.-техн. конф. - Пенза : Март, 2016. - С. 218-222.
References
1. Eremin G. V., Gavrilov A. D., Nazarchuk I. I. Armeyskiy vestnik [Military bulletin]. 2015. Available at: http://army-news.ru/2015/02/malorazmernye-bespilotniki-novaya-problema-dlya-pvo/ (accessed October 1, 2016).
2. Shcherbakov M. A. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki [University proceedings. Volga region. Engineering sciences].
2011, no. 4 (20), pp. 43-56.
3. Luk'yanitsa A. A., Shishkin A. G. Tsifrovaya obrabotka videoizobrazheniy [Video image digital processing]. Moscow: Ay-Es-Es Press, 2009.
4. Zivkovic Z. Proceedings of the 17th International Conference. Pattern Recognition. IEEE. 2004, vol. 2, pp. 28-31.
5. Ko T., Soatto S., Estrin D. European Conference on Computer Vision. Berlin : Springer Berlin Heidelberg, 2008, pp. 276-289.
6. Yu X., Chen X., Jiang M. Optik-International Journal for Light and Electron Optics.
2012, vol. 123, no. 22, pp. 2031-2037.
7. Ramya R., Sudhakara B. IJITR. 2015, pp. 162-164.
8. Patel M. P., Parmar S. K. Recent Advances and Innovations in Engineering (ICRAIE). IEEE. 2014, pp. 1-6.
9. Rosten E., Drummond T. Tenth IEEE International Conference on Computer Vision (ICCV'05). IEEE. 2005, vol. 1, pp. 1508-1515.
10. Harris C., Stephens M. Alvey vision conference. 1988, vol. 15, p. 50.
11. Shi J., Tomasi C. Computer Society Conference on. IEEE. 1994, pp. 593-600.
12. Bay H., Tuytelaars T., Van Gool L. European conference on computer vision. Berlin: Springer Berlin Heidelberg, 2006, pp. 404-417.
13. Lucas B. D. IJCAI. 1981, vol. 81, no. 1, pp. 674-679.
14. Horn B. K. P., Schunck B. G. Artificial intelligence. 1981, vol. 17, no. 1-3, pp. 185203.
15. Farnebäck G. Scandinavian conference on Image analysis. Berlin: Springer Berlin Heidelberg, 2003, pp. 363-370.
16. Tikhonov E. E. Prognozirovanie v usloviyakh rynka: ucheb. posobie [Market forecasting: tutorial]. Nevinnomyssk: Severo-Kavkazskiy gos. tekhn. un-t, 2006.
17. Zakharov S. M., Teplitskiy E. G. Sovremennye okhrannye tekhnologii i sredstva obespecheniya kompleksnoy bezopasnosti ob'ektov: materialy 11 Vseros. nauch.-tekhn. konf. [Modern security technologies and means of complex safety of objects: proceedings of 11 All-Russian scientific and technical conference]. Penza: Mart, 2016, pp. 218-222.
Теплицкий Эдуард Геннадьевич
ведущий инженер, кафедра автономных информационных и управляющих систем, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: [email protected]
Teplitskiy Eduard Gennad'evich Leading engineer, sub-department of autonomous information and control systems, Penza State University (40 Krasnaya street, Penza, Russia)
Захаров Сергей Михайлович
кандидат технических наук, старший научный сотрудник, Научно-исследовательский институт фундаментальных и прикладных исследований, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: [email protected]
Zakharov Sergey Mikhaylovich Candidate of engineering sciences, senior staff scientist, Research Institute of Fundamental and Applied Research, Penza State University (40 Krasnaya street, Penza, Russia)
Митрохин Максим Александрович
кандидат технических наук, доцент, кафедра автономных информационных и управляющих систем, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: [email protected]
Mitrokhin Maksim Aleksandrovich Candidate of engineering sciences, associate professor, sub-department of autonomous information and control systems, Penza State University (40 Krasnaya street, Penza, Russia)
УДК 004.931 Теплицкий, Э. Г.
Метод обнаружения движущихся объектов на сложном динамическом фоне в оптическом диапазоне / Э. Г. Теплицкий, С. М. Захаров, М. А. Митрохин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2016. - № 4 (40). - С. 16-26. Б01 10.21685/20723059-2016-4-2
