CC BY
50
Rumyantsev Vladimir Lvovich, doctor of technical sciences, professor, head of department, cdbae@,cdbae. ru, Russia, Tula, JSC Central design Bureau of an apparato-stroyeniye,
Tsybin Stanislav Mikhailovich, lead engineer, inf@,cdbae.ru, Russia, Tula, JSC Central design Bureau of an apparatostroyeniye,
Fomichev Maxim Yurevich, senior researcher, fgu3cnii@yandex. ru, Russia, Moscow, 3 TSNII MO RF
УДК 004.93'11
ПРОГРАММНАЯ РЕАЛИЗАЦИЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ НАЛИЧИЯ ДВИЖЕНИЯ В ВИДЕОПОТОКЕ
А. С. Сафонов, М. Б. Цудиков
Рассмотрены основные принципы определения движения объектов в видеопотоке. Предложена методика решения задачи распознавания на основе модернизации метода SIFT.
Ключевые слова: SIFT, метод, фильтрация, гауссиан, яркость, видеопоток, особые точки, распознавание.
В настоящее время существует много методов и алгоритмов, позволяющих с определенной долей точности получать признаки объектов на статичных изображениях и в видеопотоках. По полученным признакам можно судить о том, какие объекты видны на изображениях или кадрах видеопотока, насколько они удалены от центра сцены, движутся они или находятся в статичном положении. Однако последняя задача является довольно сложной в вычислительном плане. В связи с этим, надо разработать методику, позволяющую решать задачу в режиме реального времени или близком к нему на первом этапе.
Решение задачи сводится к нескольким этапам:
1. Выбор метода, позволяющего получить признаки объекта
Существует несколько групп методов, позволяющих получить признаки объектов. Это алгоритмы, основанные на вычитании фона, на удалении теней и на непосредственном слежении за объектами.
Методы, основанные на вычитании фона, могут быть использованы только для приемника видеосигнала, находящегося строго в статическом состоянии [7, 8].
Методы, основанные на удалении теней, сильно зависят от времени суток и освещенности в целом [9, 11].
Для решения задачи о распознавании движения лучше всего подходят методы, основанные на непосредственном слежении за объектами.
Рассмотрим наиболее популярные методы этой группы.
Для отслеживания движущихся объектов может использоваться фильтр Калмана в сочетании с блочными гистограммами подбора цветов для мульти объектного слежения. Но в сложных ситуациях или условиях начальные параметры нельзя получить должным образом, потому что это часто приводит к накоплению ошибок и неправильной обработке видеопотока [13].
Для слежения может также применяться метод Mean-shift. Он проявляет высокую эффективность для слежения за объектами простой геометрической формы. При попадании в локальный минимум алгоритм может перестать работать корректно и потерять движущийся объект из виду
[3].
Метод фильтрации частиц предполагает использование среды для предоставления отслеживания неопределенности в Марковском методе, который учитывает только данные из предыдущих кадров видеопотока. Данный подход к распознаванию объектов сцены позволяет понизить информационную сложность задачи распознавания в видеопотоке [1, 2, 4].
Для анализа видеопотока надо выбрать метод для выделения на объектах особых точек. В последнее время очень популярны SIFT-алгоритмы для обнаружения и соответствия движущихся объектов и областей [5, 6, 10, 12].
Однако такой подход имеет недостаток, который заключается в том, что начальные области выбираются вручную, и метод не может быть использован для неконтролируемых ситуаций. Кроме того, так как точки соответствия, полученные в методе SIFT, и точки в процессе фильтрации используются в двух отдельных процессах, то производительность программной реализации решения задачи определения движения будет низкой.
Несмотря на это, для определения особых точек выбран метод SIFT по следующим причинам:
- программная производительность алгоритма, реализующего метод SIFT, будет достаточно высокой при оптимизации кода программы;
- так как одной из основных задач является просто определение наличия движущихся объектов на видеопотоке, то по сильным измерениям характеристик особых точек будет очевидно, есть ли движущиеся объекты на видеопотоке, а если есть, то где именно они движутся;
- этот метод устойчив к масштабированию, поворотам, изменениям угла обзора и зашумлениям.
2. Разработка алгоритма решения задачи распознавания.
Для решения поставленной задачи предложен алгоритм, отличающийся от стандартной реализации метода SIFT.
Предварительная обработка видеопотока. Она выполнена следующим образом: сначала при помощи медианного фильтра были удалены различного рода искажения. Затем выполнена нормализации яркости. Конечной операцией является переход от цветных кадров видеопотока к черно-белым, так как этого требует корректная работа самого метода. Для этого использована следующая формула:
Color = 0,29/? + 0,57G + 0Д4Я (1)
Масштабирование кадров видеопотока. Решено было отказаться от этого этапа, так как он необходимо только для получения более точных в следующей операции гауссианов, точность которых будет устраивать нас и без этого промежуточного этапа.
Получение пирамиды гауссианов. Как правило, данный этап отличается вычислительной сложностью. Это связано с тем, что чем больше гауссианов получить, тем точнее получится финальный результат обработки кадров видеопотока. Но при этом каждый последующий формирующийся гауссиан получается по времени в а2 раз дольше предыдущего, где а - радиус гауссова ядра. Поэтому необходимо найти баланс между точностью и быстродействием. Для достижения достаточной точности было принято решение о формировании шести гауссианов при условии, что необходимо минимум четыре для корректной работы алгоритма, и о = 2, то есть каждое последующее гауссово ядро для размытия кадра в два раза больше предыдущего. Свертка последнего гауссова ядра размерностью 65x65 занимает слишком много времени и не позволяет работать программе в режиме реальном времени. Поэтому процесс свертки был распараллелен. При реализации метода надо учитывать, что чем больше будет матрица последнего гауссова ядра, тем больше пикселей от краев кадров видеопотока будет потеряно. В данном случае теряется по 32 пикселя (половину от размера матрицы) с каждого края из-за того, что при свертке крайние пиксели получаются с ложными числовыми значениями. Связано это с тем, что не на все коэффициенты гауссова ядра происходит перемножение (рис. 1).
Получение пирамиды разницы гауссианов. Никаких изменений или нововведений применено не было. Все осталось в стандартном виде. Пример работы разработанного программного обеспечения при получении разниц гауссианов показан на рис. 2.
Нахождение, фильтрация и ориентация особых точек. Нахождение точек выполнялось в соответствии с модернизируемым методом. Фильтрация была полностью изменена. Во-первых, она поменялась местами в последовательности действия алгоритма с ориентацией. Во-вторых, вместо матрица Гессе была реализована проверка через вычисленные уг-
194
лы поворота векторов. Ложными принимались все точки, у которых вектор имел угол наклона — р О или Связано такое изменение с тем, что при
отрисовке векторов многие из них имели подобные углы наклона, из-за чего весь исходный кадр «закрашивался» подобными векторами и было невозможно обрабатывать подобного рода данные. От стандартной фильтрации было принято решение отказаться из-за того, что точность обработки кадров почти не повышалась, а быстродействие сильно снижалось. Ориентация высчитывалась по стандартным формулам, а вектора, получившиеся в ходе вычислений, отрисовывались как прямые линии со стрелками на конце, соединяя два пикселя, в соответствии с формулой:
[xl = хО + т- cos в
[у 1 = уО + т- эт в ' где х1иу1 - координаты конца вектора; хО и уО - координаты начала вектора; т - длинная вектора (величина градиента); в - угол поворота вектора (направление градиента).
гщггт
\ч у.
Ч
J/rwitf гацгсда
м
Рис. 1. Пример полученных гауссианов программным обеспечением
Рис. 2. Расчет разниц гауссианов
195
Получение векторов на обработанных кадрах видеопотока показано на рис. 3.
Рис. 3. Пример обработанного кадра видеопотока программным
обеспечением
В зависимости от разрешения входного видеопотока изменяется фреймрейт выходного обработанного видеопотока. Для разрешения в 600х480 количество обработанных кадров в секунду составляет 15, а такое выходное количество кадров в секунду можно назвать видеопотоком. Проблема быстродействия заметна при больший разрешениях, например при 1024х768 количество обработанных кадров в секунду составляет около 2, что не позволяет пока обрабатывать видеопоток в реальном режиме времени.
Для проверки правильности работы предложенного алгоритма была выполнена обработка статичного изображения одной и той же сцены (рис. 4).
Как видно, обработанные кадры имеют почти идентичные наборы особых точек и их ориентации, поэтому в этом плане программа работает стабильно и точно. На рис. 4 второй кадр имел масштаб 1,25:1 по сравнению с первым, третий кадр был еще повернут на 15а относительно первого против часовой стрелки, четвертый был искусственно зашумлен.
Правильность нахождения этих особых точек доказывается тем, что различные объекты на кадрах имеют значительно отличающиеся особые точки по ориентации, их кучности и координатам положения.
Рис. 4. Кадры одной и той же сцены на примере статичного изображения: а - оригинальный кадр; б - кадр с другим масштабом; в - кадр с другим углом поворота и другим масштабом; г - зашумленный кадр
Вопрос определения движения в видеопотоке решается следующим образом: если особые точки меняются, то движение есть, в противном случае его нет. При этом стоит отметить, что точки могут не меняться, но могут смещаться или их ориентация меняется относительно своего предыдущего положения, причем для всех точек одновременно. Это говорит о том, что движется сама сцена или камера. Движения объектов как такового не происходит.
Список литературы
1. A tutorial on particle filters for on-line nonlinear/nongaussian baye-sian tracking / S.Arulampalam, S.Maskell, N.Gordon, T.Clapp // IEEE Trans Signal Process 50(2), 2002. P. 174-188.
2. Robust tracking-by-detection using a detector confidence particle filter / M.Breitenstein, F.Reichlin, B.Leibe, E.Koller-Meier, L.Gool // Proceedings of IEEE International Conference on Computer Vision, Kyoto. Japan, 2009. P. 1515-1522.
3. Comaniciu D., Peter M., Mean Shift: A Robust Approach Toward Feature Space Analysis// IEEE Transactions on Pattern Analysis and Machine Intelligence 24 (5), 2002. P. 603-619.
4. Comaniciu D., Ramesh V., Meer P. Kernel-based object tracking// IEEE Trans Pattern Anal Mach Intell 25(5), 2003. P. 564-577.
5. David G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints// International Journal of Computer Vision, 2004. P. 91-110.
6. Fazli S., Pour H., Bouzari H. Particle Filter Based Object Tracking with Sift and Color Feature// Second International Conference on Machine Vision, 2009. P. 89-93.
7. Gupte S., Masoud O., Martin R. Papanikolopoulos NP //IEEE Transactions on Intelligent Transportation Systems 3(1), 2002. P. 37-47.
8. Lee D. Effective Gaussian mixture learning for video background subtraction// IEEE Trans Pattern Anal Mach Intell 27(5), 2005. P. 827-832.
9. Nunes E., Conci A., Sanchez A. Robust Background Subtraction on Traffic Videos Systems, Signals and Image Processing, 2011. P. 1-4.
10. Wu P., Kong L., Zhao F., Li X. Particle filter tracking based on color and SIFT features// Proceedings of international conference on audio, language and image processing, 2008. P. 932-937.
11. Yang J., Zhao Z. Shadow processing method based on normalized RGB color model. OptoElectron Eng 34(12), 2007. P. 92-96.
12. Аун С., Шарнин Л.М., Кирпичников А.П. Информационно-измерительная система слежения за движущимися объектами // Вестник Казанского технологического университета. Казань: КНИТУ, 2011. Т. 14. №16. С. 224-232.
13. Савинов Г.Ф. О некоторых особенностях алгоритма оптимальной фильтрации Калмана — Бьюси // Авиакосмическое приборостроение № 6, 2007.
Сафонов Александр Сергеевич, бакалавр, TuaTalf@yandex. ru, Россия, Тула, Тульский государственный университет,
Цудиков Михаил Борисович, канд. техн. наук, доц., tsudickov.mhayandex.ru, Россия, Тула, Тульский государственный университет
198
SOFTWARE IMPLEMENTA TION OF THE SOL UTION OF THE PROBLEM OF RECOGNIZING THE AVAILABILITY OF MOVEMENT IN THE VIDEO STREAM
A.S. Safonov, M.B. Tsudikov
The basic principles of determining the motion of objects in the video stream are considered. A technique for solving the recognition problem based on the modernization of the SIFT method is proposed.
Key words: SIFT, method, filtering, gaussian, brightness, video stream, special points, recognition.
Safonov Alexander Sergeevich, bachelor, TuaTalfayandex. ru, Russia, Tula, Tula State University,
Tsudikov Mihail Borisovich, candidate of technical sciences, docent, tsudick-ov. mbayandex. ru, Russia, Tula, Tula State University
УДК 621.833
ТЕПЛОВОЙ ТЕСТ-ОБЪЕКТ ДЛЯ ОЦЕНКИ ТЕПЛОВИЗИОННЫХ СИСТЕМ
Е.В. Филиппова
Излагаются процессы, протекающие в тепловом тест-объекте, созданном для оценки параметров тепловизионных систем.
Ключевые слова: тепловизионная система, критерии качества, тепловой процесс, излучатель, конвекция, статический режим.
Критерии качества работы тепловизионной системы (ТС), являясь мерой успешного выполнения основной задачи, стоящей перед системой, учитывают разнообразные технические, эксплуатационные и технико-экономические требования к ТС.
Критерии качества тепловизионной системы можно разделить на группы:
- критерии качества изображения, сформированного ТС (информативные свойства теплового изображения);
- технические параметры и характеристики аппаратуры.
Для описания качественных параметров и характеристик ТС в пользуются понятиями пространственное, временное, спектральное и энергетическое (амплитудное) разрешение. Для ТС, работающих в статическом режиме, т.е. при неограниченном времени наблюдения неподвижного поля объектов, наиболее важно обеспечить хорошее пространственное и энергетическое разрешение.
