CC BY
122
УДК 004.93'1
DOI: 10.18698/0236-3933-2017-5-4-13
АЛГОРИТМ АВТОМАТИЧЕСКОГО СОПРОВОЖДЕНИЯ ИЗОБРАЖЕНИЙ ОБЪЕКТОВ
В.А. Бойков В.Я. Колючкин
МГТУ им. Н.Э. Баумана, Москва, Российская Федерация
Аннотация
Описан алгоритм цифровой обработки изображений, который позволяет осуществлять селекцию изображений объекта, а также определять координаты и габаритные размеры этих изображений в процессе сопровождения перемещения объекта. Предлагаемый алгоритм основан на методе Random Ferns — случайных папоротников. В целях оценки эффективности алгоритма и временных затрат на реализацию проведены численные эксперименты. Показано, что при селекции различных по сложности изображений объектов, регистрируемых на пространственно неравномерном фоне и при наличии аддитивных гауссовских помех, алгоритм обеспечивает надежную селекцию, измерение координат и габаритных размеров с погрешностью, не превышающей 3 пике Кроме того, алгоритм обладает высоким быстродействием, что позволяет использовать его в системах технического зрения робототехнических комплексов, работающих в режиме реального времени
Ключевые слова
Обработка изображений, селекция, сопровождение, система технического зрения, случайные папоротники, неравномерный фон, работа в реальном времени
Поступила в редакцию 27.12.2016 © МГТУ им. Н.Э. Баумана, 2017
Введение. Системы технического зрения (СТЗ) являются неотъемлемой частью современных робототехнических комплексов (РТК), так как они обеспечивают получение информации об окружающем пространстве, которая необходима для принятия решений для управления РТК. Системы технического зрения — сложные оптико-электронные системы, в состав которых входят устройства регистрации изображений и вычислительные средства, снабженные специальным программным обеспечением (СПО) для обработки изображений в целях извлечения информации об объектах. Абстрагируясь от конкретного назначения РТК, можно констатировать, что алгоритмы СПО в общем случае предназначены для решения задач обнаружения объектов, появляющихся в пределах углового поля СТЗ, селекции заданного типа объектов и измерения координат этих объектов в системе координат, связанной с СТЗ. В тех случаях, когда объект перемещается относительно системы регистрации СТЗ, ставится задача сопровождения, которая заключается в измерении параметров траектории перемещения изображения объекта, в том числе текущих координат и вектора скорости.
Описание алгоритмов СПО, которые рационально использовать при селекции объектов для конкретных условий регистрации изображений, приведено
в работах [1-7]. Известны алгоритмы измерения координат перемещающихся объектов, которые имеют малые размеры или относительно простую текстуру [1-4].
Интересной с практической точки зрения является задача селекции и сопровождения объектов со сложной текстурой, изображение которых регистрируется на пространственно неравномерном фоне. На основании исследований, результаты которых приведены в работе [8], сделан вывод о том, что алгоритм на основе метода, известного как Random Ferns Method (RFM) [9, 10], обеспечивает надежную селекцию сложных изображений объектов на пространственно неравномерном фоне. Достоинством этого алгоритма также является его высокое быстродействие. При селекции зашумленных изображений объектов на пространственно неравномерном фоне алгоритм RFM позволяет обрабатывать кадры размером 1024x1024 пикс за время, не превышающее 10 мс. Результаты апробации алгоритма RFM в приложении к задаче сопровождения перемещающегося изображения объектов представлены в работе [8]. Однако в проведенных численных экспериментах характеристики объекта, после его селекции и взятии на сопровождение в последовательности кадров, не изменялись. В реальных ситуациях при сопровождении объекта может изменяться масштаб изображения, ориентация и даже текстура объекта. Вследствие этого для надежного сопровождения изображения объекта требуется вносить коррективы в дескрипторы для «подтверждения» селекции объекта в каждом последующем кадре. Для корректировки параметров алгоритма — дообучения — требуется в каждом последующем кадре измерять координаты и габаритные размеры изображения сопровождаемого объекта. На основе проведенного обзора литературных источников авторами сделан вывод о том, что вопрос, связанный с оценкой погрешностей алгоритмов на основе RFM при определении координат и габаритных размеров изображений объектов, к настоящему времени не исследован.
Постановка задачи исследований. Цель исследований, изложенных в настоящей статье, — оценка погрешностей алгоритма на основе RFM, используемого для селекции, а также оценки координат и габаритных размеров изображений объектов в процессе их сопровождения на пространственно неравномерном фоне и при наличии аддитивных помех.
При решении задачи сопровождения объекта принимается допущение, что размеры изображения объекта в двух последовательных кадрах отличаются незначительно, не более чем на 10 %. Для проведения исследований была разработана программа, реализующая алгоритм селекции, а также оценки координат и габаритных размеров изображений объектов, описание которого приведено ниже.
Описание алгоритма селекции. Алгоритм селекции разбит на два последовательных этапа: предварительный и детальный анализ изображения. Перед проведением процедуры селекции каждый регистрируемый кадр подвергается адаптивной винеровской фильтрации.
Для функционирования алгоритма требуется его предварительное обучение. Процесс обучения алгоритма на основе RFM детально описан в работе [8].
Предполагается, что первичный захват изображения объекта осуществляется либо методом байесовской сегментации [1, 3], либо на основе детектирования движения изображения [1, 2, 4], либо путем целеуказания изображения в поле кадра человеком-оператором.
Предварительный анализ изображения. Цель этапа — локализация области наиболее вероятного положения изображения объекта в поле кадра для последующего детального анализа этой области.
Алгоритм предварительного анализа изображения практически полностью повторяет алгоритм на основе RFM, описанный в работе [8]. На основе априорных данных о предполагаемых размерах и координатах изображения объекта в поле кадра выделяется область предварительного анализа (ОПА). Координаты центра ОПА задаются равными координатам центра строба в виде прямоугольника, ограничивающего предполагаемое изображение объекта. Размеры ОПА задаются равными утроенным размерам этого прямоугольника (рис. 1).
Рис. 1. Иллюстрация процесса предварительного анализа: 1 — область предварительного анализа; 2 — область изображения объекта; 3 — область предполагаемого местонахождения изображения объекта; 4 — область анализируемых фрагментов; + —
центр области 3
В пределах ОПА формируется сетка предварительного анализа (СПА), представляющая собой набор фрагментов кадра, которые впоследствии оцениваются на схожесть с изображением объекта. Размеры фрагментов СПА совпадают с размерами прямоугольника, ограничивающего предполагаемое изображение объекта. Шаг СПА по горизонтали и вертикали принимается равным 5 % ширины и высоты того же прямоугольника.
Классификация фрагментов СПА проведена согласно алгоритму классификации фрагментов, описанному в работе [8], с некоторыми отличиями. В целях уменьшения погрешности определения габаритных размеров и координат чис-
ло ветвей, используемых в алгоритме, было увеличено до 24. Для сокращения времени вычислений значение средней апостериорной вероятности по всему ансамблю ветвей проверяется после анализа каждой ветви. При достижении порогового значения Р1 > 0,5 принимается решение о селекции изображения объекта, а оставшиеся ветви классификатора не подвергаются анализу.
В том случае, когда решение о селекции изображения объекта принято хотя бы для одного фрагмента сетки анализа, на изображении выделяется область детального анализа (ОДА), представляющая собой прямоугольный фрагмент кадра, содержащий с высокой вероятностью изображение объекта. Координаты центра области рассчитывают как средние значения координат фрагментов сетки анализа изображения, для которых на предыдущем этапе было принято решение о селекции объекта, взятых с весами, равными соответствующим им вероятностям Р1. Размеры области берутся равными сумме размера фрагментов и удвоенного шага сетки анализа (рис. 2).
А W
Рис. 2. Иллюстрация процесса детального анализа:
1 — область детального анализа; 2 — область изображения объекта; 3 — область анализируемых
фрагментов
Детальный анализ изображения. Цель этапа — выявление фрагмента кадра, наиболее похожего на изображение объекта.
В пределах ОДА формируется сетка детального анализа (СДА) так же, как и СПА, представляющая собой набор фрагментов кадра, анализируемых на похожесть с изображением объекта. В СДА входят все возможные фрагменты кадра, целиком расположенные внутри ОДА (см. рис. 2). Диапазон возможных значений ширины и высоты фрагментов ограничен сверху размерами ОДА, а снизу — разностью ширины или высоты фрагмента и шага СПА по ширине или высоте. Ширина и высота фрагментов варьируются независимо друг от друга. Шаг СДА составляет 1 пиксель для всех возможных размеров фрагментов.
Анализ каждого отдельного фрагмента проводится так же, как и на этапе предварительного анализа, но в нем обязательно участвуют все ветви классификатора RFM. Фрагменты, для которых принято решение о селекции объекта
(при выполнении условия Р[ > 0,5 ), используют для итогового расчета координат и размеров селектированного объекта. Значения координат центра и размеров объекта рассчитывают как средние значения координат и размеров этих фрагментов, взятых с весами, равными квадратам соответствующих им вероятностей Р^.
Экспериментальные исследования. Исследование разработанного алгоритма селекции проводилось на изображениях, которые содержали типовые для различных применений СТЗ объекты, в том числе самолет, неподвижная вышка и легковой автомобиль. Эти изображения представляли собой отдельные кадры видеопоследовательностей (ВП) размером 1024x1024 пикс и глубиной квантования 10 бит. Фрагменты кадров ВП размером 400x400 пикс приведены на рис. 3.
158x109
Рис. 3. Изображения типовых объектов: a — самолет; б — вышка; в — автомобиль
Изображения объектов, которые подлежали селекции, выделены рамкой, их размеры в пикселях приведены в левом верхнем углу (см. рис. 3). Для проведения численных экспериментов в соответствии с описанным выше алгоритмом была разработана программа, реализованная на языке С++, которая выполнялась на персональном компьютере, оснащенном процессором с четырьмя вычислительными ядрами и тактовой частотой 3,4 ГГц.
Контрольная выборка содержала 200 кадров каждой ВП. Расположение изображения объекта варьировалось от кадра к кадру, а диапазон его масштабов не превышал ±10 % размера объектов. Для исследования влияния помех на эффективность алгоритма в изображения программным способом добавлялся аддитивный «белый шум» с нулевым математическим ожиданием и нормальной плотностью распределения. Отношение сигнала/шум (ОСШ) в изображении оценивалось как отношение приращения сигнала в изображении объекта относительно среднего уровня фона к СКО аддитивной помехи.
Эксперимент ставился отдельно для изображений объектов каждой ВП. По результатам экспериментов была выполнена оценка зависимости следующих показателей эффективности алгоритма от значений ОСШ:
— вероятность правильной селекции, которая определялась как отношение числа кадров, в котором было селектировано изображение объекта, к числу кадров, предъявленных при испытании;
— средние по выборке погрешности определения координат центра строба — прямоугольника, ограничивающего изображение объекта, и размеров строба в каждом предъявляемом кадре, в пикселях;
— среднее время вычислений при наложении ограничений на размер области анализа для поиска изображения (размеры области анализа равнялись утроенным габаритным размерам изображения объекта).
Среднее время рассчитано как отношение среднего числа тактов процессора при обработке кадра к тактовой частоте процессора.
Зависимость вероятности правильной селекции объектов от ОСШ приведена на рис. 4, а. При ОСШ > 12 вероятность правильной селекции достигает 100 % для всех типов объектов. Отличие кривых, определяющих эти зависимости, вероятно, обусловлено различной степенью сложности фона, при наличии которого регистрировались изображения.
Зависимость среднего значения погрешности определения координат центра изображения объекта от ОСШ дана на рис. 4, б. При ОСШ > 15 погрешность не превышает 1 пикс для всех типов объектов. Незначительные отличия кривых, определяющих эти зависимости, обусловлены особенностями распределения облученности в изображениях объектов и фона.
Зависимость среднего значения погрешности определения размеров изображения объекта от ОСШ приведена на рис. 4, в. Для всех типов объектов среднее значение погрешности не превышает 2 пикс. Смещение кривых вверх друг относительно друга обусловлено разной степенью неоднородности фона, на котором регистрировались объекты, причем, чем сложнее фон, тем больше погрешность. Эта зависимость проявляется сильнее при относительно небольших значениях ОСШ.
Зависимость среднего времени вычислений от ОСШ представлена на рис. 4, г. Быстродействие практически не зависит от ОСШ, но оно сильно зависит от площади строба, ограничивающего изображение объекта, а точнее, от площади ОДА и числа анализируемых в ее пределах прямоугольных фрагментов.
16 20 24 28 ОСШ в
0 4 8 12 16 20 24 28 ОСШ
г
Рис. 4. Зависимости вероятности правильной селекции объектов (а), среднего значения погрешности определения положения центра изображения объекта (б), среднего значения погрешности определения размеров изображения объекта (в) и среднего времени вычислений (г) от ОСШ для самолета (1), вышки (2) и автомобиля (3)
Заключение. На основании проведенных исследований можно констатировать, что алгоритм селекции на основе RFM при значениях ОСШ > 10 обеспечивает надежную селекцию и высокую точность определения координат и размеров изображений объектов даже на пространственно неравномерном фоне. Кроме того, алгоритм обладает достаточно высоким быстродействием, позволяющим при селекции зашумленных изображений объектов на пространственно неравномерном фоне обрабатывать кадры размером 1024x1024 пикс за время, не превышающее 5 мс.
На основе полученных результатов можно сделать вывод о целесообразности использования алгоритмов на основе метода RFM при разработке СПО СТЗ, предназначенных для селекции и сопровождения перемещающихся объектов.
ЛИТЕРАТУРА
1. Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. М.: Радиотехника, 2008. 176 с.
2. Алпатов Б.А., Бабаян П.В. Методы обработки и анализа изображений в бортовых системах обнаружения и сопровождения объектов // Цифровая обработка сигналов. 2006. № 2. С. 45-51.
3. Бакут П.А., ред. Применение методов сегментации изображений в автономных системах обнаружения, распознавания и сопровождения движущихся целей // Зарубежная радиоэлектроника. 1987. № 10. С. 3-93.
4. Алпатов Б.А., Блохин А.Н., Муравьев В.С. Алгоритм обработки изображений для систем автоматического сопровождения воздушных объектов // Цифровая обработка сигналов. 2010. № 4. С. 12-17.
5. Муравьев В.С., Муравьев С.И. Адаптивный алгоритм выделения и обнаружения воздушных объектов на изображении // Информационно-управляющие системы. 2011. № 5. С. 8-14.
6. Kalal Z., Mikolajczyk K., Matas J. Tracking-learning-detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012. Vol. 34. No. 7. P. 1409-1422.
DOI: 10.1109/TPAMI.2011.239
7. Мастов А., Коноваленко И., Григорьев А. Адаптивный подход к распознаванию объектов с произвольного ракурса в реальном времени // Труды 39-й школы-конференции ИТиС 2015. URL: http://itas2015.iitp.ru/pdf/1570177051.pdf (дата обращения: 07.12.2015).
8. Бойков В.А., Колючкин В.Я. Алгоритм селекции изображений объектов на случайном пространственно неравномерном фоне // Информационно-измерительные и управляющие системы. 2016. № 3. С. 29-36.
9. Ozuysal M, Calonder M, Lepetit V., Fua P. Fast keypoint recognition using random ferns // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2010. Vol. 32. No. 3. P. 448-461. DOI: 10.1109/TPAMI.2009.23
10. Calonder M., Lepetit V., Fua P. BRIEF: Binary robust independent elementary features // Computer Vision — ECCV'10. 2010. Р. 778-792.
Бойков Василий Александрович — аспирант кафедры «Лазерные и оптико-электронные системы» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).
Колючкин Василий Яковлевич — д-р техн. наук, доцент, профессор кафедры «Лазерные и оптико-электронные системы» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).
Просьба ссылаться на эту статью следующим образом:
Бойков В.А., Колючкин В.Я. Алгоритм автоматического сопровождения изображений объектов // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 5. C. 4-13. DOI: 10.18698/0236-3933-2017-5-4-13
ALGORITHM FOR OBJECT IMAGE AUTOMATIC TRACKING
V.A. Boykov
V.Ya. Kolyuchkin [email protected]
Bauman Moscow State Technical University, Moscow, Russian Federation Abstract
Development of reliable and precise object image selection algorithms, which are invariant to object image texture, background and noise parameters, and moreover provide real-time image processing, is a relevant problem. Random Ferns method seems suitable for developing algorithms with similar qualities. In this paper, we propose an object image processing algorithm, which provides object image selection and determination of the position data and overall dimensions for the selected object image during the object tracking. The proposed algorithm is based on Random Ferns method, and requires initial training. We carried out numerical experiments to evaluate the efficiency of such algorithm for several types of objects, whose images, with complicated image texture, were exposed on the spatially-irregular background. Moreover, we blurred images with white Gaussian noise in order to vary the signal-to-noise ratio. Findings of the research show that the object image selection algorithm, based on Random Ferns method, in case if the signal-to-noise ratio is greater than 10, provides reliable object image selection, i. e. correct selection probability is near to 100 %. The algorithm provides position data and overall dimensions measurement error less than three pixels. The algorithm provides high performance. The average computation time didn't exceed 5 ms even for selecting image of the object with complicated texture, which is exposed on spatially-irregular background. Consequently, it is suitable for real-time working computer vision systems
Keywords
Image processing, object image selection, tracking, random ferns, vision system, spatially-irregular background, real-time working
Received 27.12.2016 © BMSTU, 2017
REFERENCES
[1] Alpatov B.A., Babayan P.V., Balashov O.E., Stepashkin A.I. Metody avtomaticheskogo obnaruzheniya i soprovozhdeniya ob'ektov. Obrabotka izobrazheniy i upravlenie [Automatic methods of objects acquisition and tracking. Image processing and control]. Moscow, Radio-tekhnika Publ., 2008. 176 p.
[2] Alpatov B.A., Babayan P.V. Imaging processing and analysis methods in airborne objects acquisition and tracking systems. Tsifrovaya obrabotka signalov [Digital Signal Processing], 2006, no. 2, pp. 45-51 (in Russ.).
[3] Bakut P.A., ed. Using image segmentation methods in autonomous systems of moving object acquisition, recognition and tracking system. Zarubezhnaya radioelektronika, 1987, no. 10, pp. 3-93 (in Russ.).
[4] Alpatov B.A., Blokhin A.N., Murav'yev V.S. Image processing algorithm for aerial objects automatic tracking system. Tsifrovaya obrabotka signalov [Digital Signal Processing], 2010, no. 4, pp. 12-17 (in Russ.).
[5] Murav'yev V.S., Murav'yev S.I. An adaptive algorithm of aerial object extraction and detection on images. Informatsionno-upravlyayushchie sistemy [Information and Control Systems], 2011, no. 5, pp. 8-14 (in Russ.).
[6] Kalal Z., Mikolajczyk K., Matas J. Tracking-learning-detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, vol. 34, no. 7, pp. 1409-1422.
DOI: 10.1109/TPAMI.2011.239
[7] Mastov A., Konovalenko I., Grigor'yev A. Adaptive approach to objects recognition from random angle of aspect in real time. Trudy 39-y shkoly-konferentsii ITiS 2015 [Proc. 39th school-conf. ITiS].
Available at: http://itas2015.iitp.ru/pdf/1570177051.pdf (accessed: 07.12.2015).
[8] Boykov V.A., Kolyuchkin V.Ya. Algorithm for object image selection on a randomized spatially-irregular background. Informatsionno-izmeritel'nye i upravlyayushchie sistemy, 2016, no. 3, pp. 29-36 (in Russ.).
[9] Ozuysal M., Calonder M., Lepetit V., Fua P. Fast keypoint recognition using random ferns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, vol. 32, no. 3, pp. 448-461. DOI: 10.1109/TPAMI.2009.23
[10] Calonder M., Lepetit V., Fua P. BRIEF: Binary robust independent elementary features. Computer Vision — ECCV'10, 2010, pp. 778-792.
Boykov V.A. — post-graduate student of Laser and Optoelectronic Systems Department, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).
Kolyuchkin V.Ya. — Dr. Sc. (Eng.), Assoc. Professor, Professor of Laser and Optoelectronic Systems Department, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).
Please cite this article in English as:
Boykov V.A., Kolyuchkin V.Ya. Algorithm for Object Image Automatic Tracking. Vestn. Mosk. Gos. Tekh. Univ. im. N.E. Baumana, Priborostr. [Herald of the Bauman Moscow State Tech. Univ., Instrum. Eng.], 2017, no. 5, pp. 4-13. DOI: 10.18698/0236-3933-2017-5-4-13
