CC BY
37ISSN 0868-5886
НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2019, том 29, № 1, c. 149-156
- ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ —
ТЕХНИКА И УПРАВЛЕНИЕ
УДК 004.05, 004.932.2 © Д. А. Гаврилов, 2019
ПРОГРАММНО-АППАРАТНЫЙ КОМПЛЕКС ТЕСТИРОВАНИЯ АЛГОРИТМОВ ДЕТЕКТИРОВАНИЯ И ЛОКАЛИЗАЦИИ ОБЪЕКТОВ В ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЯХ
В настоящей работе представлен программно-аппаратный комплекс (ПАК) тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях. Представлены описания программно-аппаратного комплекса и программного обеспечения, предназначенных для формирования входящего видеосигнала и записи контрольных данных для тестирования алгоритмов детектирования и локализации объектов в видеопоследовательности. Описаны основные модули программного обеспечения, в том числе интерполятор траекторий, интерполятор динамических параметров, генератор видео по модели 2.5-мерной сцены. Описан процесс измерения времени работы испытываемого алгоритма. Предложена программа проведения испытаний. Представленный программно-аппаратный комплекс и программа экспериментальных исследований позволяют отрабатывать вопросы, возникающие при разработке алгоритмов детектирования и локализации.
Кл. сл.: алгоритмы детектирования и локализации, тестирование алгоритмов детектирования и локализации
ВВЕДЕНИЕ
Одним из основных назначений систем технического зрения является решение задачи детектирования и локализации объектов интереса на изображениях и в видеопоследовательностях [1]. В основе алгоритмов детектирования и локализации могут лежать различные методы, включающие решение задач обнаружения и "захвата" объекта интереса или цели, а также задачи автоматического сопровождения цели [2-4], требующие решения в реальном масштабе времени. Автоматическое сопровождение цели может быть основано на различных принципах приема сигнала, в том числе радиолокационном, фотооптическом, инфракрасном и др. [5]. При разработке алгоритмов детектирования и локализации важное значение имеет тестирование и оценка качества их работы.
В настоящей работе представлена разработка программно-аппаратного комплекса тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях. Представленный программно-аппаратный комплекс обеспечивает возможность оценки соответствия между параметрами входного видео и численными коэффициентами оценки качества сопровождения объекта интереса. Кроме того, предусмотрена возможность модификации видеосигнала для создания уникальных параметров исходного видео, что дает возможность исследовать испытуемые алгоритмы в широком диапазоне искажений и помех для под-
бора оптимального диапазона их применимости, а также с целью последующего повышения качества разрабатываемых систем автоматического и / или полуавтоматического обнаружения местонахождения цели, сопровождения цели, основанных на непрерывном наблюдении за целью.
Предлагаемый программно-аппаратный комплекс и программа испытаний позволяет проводить испытания как алгоритмов первичной обработки, состоящих в формировании сжатого представления информации, содержащейся в кадре видеосигнала, так и алгоритмов вторичной обработки, осуществляющих мультиплексирование и межкадровую обработку информации, полученной от различных алгоритмов первичной обработки или в результате обработки видеоизображения с различных источников видеосигнала.
ОПИСАНИЕ ПРОГРАММНО-АППАРАТНОГО КОМПЛЕКСА
Целевая аппаратная платформа представляет собой плату первичной обработки на базе программируемой логической интегральной схемы (ПЛИС) семейства ХШпх "У!г1;ех 7 и отладочную плату Freescale P3041DS, работающую под управлением операционной системы QNX. Общая схема программно-аппаратного комплекса представлена на рис. 1.
В эксперименте используется стенд на базе
Рис. 1. Общая схема программно-аппаратного комплекса
ПК Intel Core i7 под управлением Windows 7 64 bit, на котором установлен комплект программного обеспечения симуляции видеосигналов для тестирования систем детектирования и локализации объектов в видеопоследовательности — ПО "Симуля-тор".
Программное обеспечение "Симулятор" предназначено для формирования входящего видеосигнала и записи контрольных данных для тестирования систем детектирования и локализации объектов в видеопоследовательности.
Программное обеспечение "Симулятор" включает следующие основные модули:
1) интерполятор траекторий,
2) интерполятор динамических параметров,
3) генератор видео по модели 2.5-мерной сцены.
Интерполятор траекторий осуществляет преобразование входного набора ключевых точек траекторий движения, а также скоростей целей и камеры в плавные траектории, разбитые на кадры с заданной частотой видео.
Интерполятор динамических параметров преобразует набор ключевых точек временной диаграммы динамических параметров в наборы параметров для каждого кадра. Интерполяция между ключевыми точками осуществляется линейно.
Генератор видео по набору дискретных траекторий производит формирование изображения для каждого кадра. Кроме того, задачей генератора является запись полной информации о сцене, которая в дальнейшем используется для оценки качества трекинга.
Видеопоток транслируется в макет системы детектирования и локализации по протоколу реального времени RTP (Real-time Transport Protocol) [6] через порт Ethernet. Генератор RTP трафика отображает время между моментами окончания отправки последовательных кадров, а после отправки последнего кадра отображает статистику (в том числе среднее значение).
Структурная схема макета системы детектирования и локализации представлена на рис. 2.
Макет состоит из двух устройств: платы Xilinx VC709 на базе ПЛИС Xilinx Virtex 7 и платы Freescale P3041DS rev.b, соединенных высокоскоростным интерфейсом PCIe [7].
В макет системы детектирования и локализации заложена возможность установки платы расширения с автоматическим цифровым преобразователем (АЦП) с разъемами для подключения источника видеосигнала (ИВС) с аналоговым сигналом (разъем RCA) или CameraLink [8].
Программирование ПЛИС осуществляется по отладочному интерфейсу JTAG. Управление ПО на процессоре Freescale осуществляется с помощью интерфейса Ethernet. Данные подключения показаны на рис. 2 условно как "Инструментарий для запуска, прошивки и управления".
Интерполяция траекторий
Входные данные для симулятора готовятся специально разработанной утилитой. Она решает задачу создания плавной траектории движения цели.
На вход необходимо подать набор ключевых точек, по которым будет строиться аппроксимиро-
Инструментарий для прошивки, запуска и управления Рис. 2. Структурная схема макета системы детектирования и локализации
ванная сплаинами кривая, а также свойства спрайта цели. Ключевые точки траектории цели задаются в земной системе координат. Координаты цели в ключевой точке в декартовой системе координат определяются величинами x, y, z. Модуль скорости движения цели определяется величиной speed, а угол поворота изображения спрайта цели — angle.rotate.
Для расчета изображения, видимого камерой, необходимо знать ее ориентацию. Для задания направления камеры удобно использовать азимутальный и зенитный углы.
Таким образом, в промежуточных расчетах используются сферические координаты:
Р = Ро + Х-
Ар
в = во + у
Ав
(1)
width 0 ' height'
где x, y — координаты панорамы фона; Ар, АО — размах панорамы фона по азимутальному и зенитному углам соответственно; width и height — длина и ширина панорамы фона.
Поворот изображения цели вычисляется, исходя из вектора скорости цели в каждый момент.
Интерполяция динамических параметров
Реализована интерполяция для следующих динамических параметров:
• объекта — яркость, масштаб;
• сцены — яркость фона, дисперсия шума.
Генератор видео
Генератор видео создает видеопоследовательность по траекториям движения объектов и каме-
ры. На сгенерированной видеопоследовательности объекты перемещаются на фоне панорамного изображения. Траектория движения камеры в данном случае описывает связь системы координат кадра и реальной системы отсчета.
Преобразование реальных координат X в координаты х в системе отсчета кадра выполняется с помощью следующих выражений:
x = -
f - X
У =
Z - sensorPixelSize
f - Y
(2)
Z - sensorPixelSize где f— фокусное расстояние камеры, sensorPixel Size — свойство матрицы камеры.
Масштаб спрайта цели вычисляется следующим образом:
z ^ zoom = -
visibleSize spriteSize visibleSize spriteZoom - realSize spriteSize realSize spritePixels
f
spriteZoom =
z - spriteZoom
- sensorPixelSize,
(3)
realSize
где spritePiхels вычисляется по размеру изображения спрайта, realSize задается во входящем конфигурационном JSON-файле.
Рис. 3. Схема измерения времени работы алгоритмов
Задачей генератора видео также является добавление на каждый кадр искажений, параметры которых указаны во входящем задании. Параметры могут быть заданы для каждого типа искажений из имеющегося набора: контраст, ошибка экспозиции, неоднородная засветка (от источника света), ошибка фокусировки, "шевеленка", белый шум, темновые токи, неоднородность чувствительности сенсора, битые пиксели, выпавшие строки/столбцы.
Искажения задаются в виде опорных точек вдоль длины видео, таким образом параметры искажений в различные моменты времени могут отличаться в пределах одного видео. Если задана только одна опорная точка в первом кадре, параметры искажений остаются постоянными на протяжении всего видео.
Кроме того, в каждой опорной точке может быть задан диапазон значений для каждого из параметров искажения. Согласно допустимым интервалам значений параметров, взятых из базы данных, происходит проверка корректности вводимых значений.
ИЗМЕРЕНИЕ ВРЕМЕНИ РАБОТЫ АЛГОРИТМОВ
Для измерения времени между моментом окончания отправки очередного кадра видеосигнала и моментом окончания приема результатов обра-
ботки видеосигнала требуется синхронизация часов на имитаторе источника видеосигнала и контроллере макета системы детектирования и локализации, принимающем результаты первичной обработки видеосигнала. Для решения данной задачи предназначен специальный режим работы макета системы детектирования и локализации, схема которого показана на рис. 3.
В режиме измерения времени работы входной видеосигнал поступает в плату первичной обработки от контроллера макета системы детектирования локализации по высокоскоростному интерфейсу РС1е. Результаты работы алгоритма первичной обработки видеосигнала поступают в контроллер макета системы детектирования локализации по тому же интерфейсу. Данная возможность реализована с помощью полнодуплексного соединения РС1е (рис. 3).
На контроллере макета системы детектирования локализации запущен счетчик времени, позволяющий измерить промежуток времени между моментом окончания отправки очередного кадра видеосигнала и моментом окончания приема результатов первичной обработки видеосигнала. Разрешение счетчика составляет 1 мс. Программа, выполняемая на контроллере макета системы детектирования локализации, выводит измеренное время для каждого кадра. После обработки последнего кадра выводятся статистические данные — среднее и максимальное значения времени.
ПРОГРАММА ИСПЫТАНИЙ
В ходе испытаний выполняется следующая программа.
• Запуск ПО "Симулятор". Ознакомление с параметрами генератора видео. Выбор параметров фоно-целевой обстановки. Генерирование тестового видео.
• Испытания алгоритма детектирования локализации с помощью имитатора видеосигнала на синтетическом видео, а также реальных видеозаписей фоно-целевой обстановки. Исследование пропускной способности обработки видеосигнала.
• Визуализация и количественная оценка результатов работы алгоритма с помощью ПО "Си-мулятор".
Для получения количественной оценки результатов работы алгоритмов детектирования и локализации используется модуль "Оценщик" ПО "Симулятор".
Принцип работы модуля "Оценщик" основан на сравнении результатов детектирования и сопровождения испытываемого алгоритма с эталонными данными, записанными во время генерирования видеозаписи фоноцелевой обстановки. Основными метриками оценки алгоритмов детектирования и локализации, использующимися в ПО "Симулятор", являются вероятность пропуска цели и вероятность ложной тревоги.
Для осуществления подготовки к проверке необходимо выполнить следующие действия.
• Сгенерировать видеофайл с помощью ПО "Симулятор" или воспользоваться файлом, сгенерированным заблаговременно. При использовании ПО "Симулятор" для генерирования видеозаписи фоноцелевой обстановки (ФЦО) параметры ФЦО сохраняются в базу данных.
• Запрограммировать плату первичной обработки через интерфейс JTAG прошивкой с испытываемым алгоритмом.
• Настроить ПО на макете контроллера системы детектирования локализации на прием данных от испытываемого алгоритма.
• Организовать трансляцию входного видеосигнала в макет системы детектирования и локализации с помощью модуля "Генератор RTP-трафика" ПО "Симулятор".
• Контролировать время между моментами окончания передачи последовательных кадров.
Последовательность проверки:
• лог работы макета системы детектирования и локализации перенести на рабочую станцию с ПО "Симулятор";
• визуализировать ключевые точки, найденные алгоритмом, прошитым в макет системы детектирования и локализации;
• визуализировать результаты работы испытываемого алгоритма;
• запустить модуль "Оценщик" ПО "Симуля-тор".
В ходе проверки необходимо фиксировать количественные характеристики качества работы алгоритмов и статистические данные, вычисляемые модулем "Оценщик" ПО "Симулятор".
Контроль качества работы алгоритмов осуществляется визуально с помощью видеофайла, сгенерированного модулем "Визуализатор" ПО "Симулятор".
ЭКСПЕРИМЕНТЫ ПО ТЕСТИРОВАНИЮ АЛГОРИТМОВ
С помощью разработанного программно-аппаратного комплекса проведены экспериментальные исследования алгоритмов первичной обработки видеосигнала:
• алгоритм выделения ключевых точек (алгоритм № 1), предназначенный для оценки сопровождения уникального фрагмента;
• алгоритм досвязывания совместно движущихся фрагментов объекта (алгоритм № 2), предназначенный для досвязывания областей неодно-связных объектов;
• многомасштабный алгоритм выделения объектов (алгоритм № 3), предназначенный для выделения объектов, отличающихся от средней интенсивности локального фона;
• алгоритм "Выступы" (алгоритм № 4), предназначенный для выделения "целеподобных" выступов.
При проведении тестирования настройки могут быть изменены следующие параметры:
• продолжительность видео (15 с);
• частота кадров (25 кадр./с);
• фокусное расстояние камеры (300 мм);
• размеры (длина и ширина) пикселя матрицы
камеры (5.5 х 5.5 мкм).
В скобках приведены значения по умолчанию.
В ходе эксперимента проводились испытания алгоритмов с помощью имитатора видеосигнала на синтетическом видео и реальных видеозаписях фоноцелевой обстановки, а также исследовалась пропускная способность видеосигнала. Для каждого видеосигнала формируются 4 группы параметров.
• Группа_1. Параметры исходного видео.
• Группа_2. Параметры искаженного видео.
• Группа_3. Разность 1 и 2.
• Группа_1_3. Пересечение Группа_1 и Группа 3.
Результаты испытаний алгоритмов
Критерий оценки Алгоритм № 1 Алгоритм № 2 Алгоритм № 3 Алгоритм № 4
Коэффициент ложно-положительного детектирования 0.23 0.10 0.56 0.18
Коэффициент ложно-отрицательного детектирования 0.57 0.51 0.56 0.48
Расстояние между конечными точками оптического потока 4.83 6.78 7.85 4.81
Количество перезахватов 2 8 1 3
В результате осуществлялась визуализация и количественная оценка результатов работы каждого из испытываемых алгоритмов. Основными компонентами оценки результата работы алгоритма являются:
• сегментация объектов,
• перезахват (continuity of the segmentation labels),
• отклонение положения центра,
• вероятность обнаружения объекта.
При этом оценке подлежат как входные параметры, так и локальные результаты в пространстве и времени. Результаты оценки описываются набором критериев, каждый из которых описывается float-числом. Результаты испытаний в виде усредненных ознакомительных данных представлены в таблице.
Контроль качества работы алгоритма осуществляется оператором визуально с помощью видеофайла, генерируемого модулем "Визуализатор".
ЗАКЛЮЧЕНИЕ
Представлено описание программно-аппаратного комплекса тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях. Представленный ПАК обеспечивает возможность отладки, тестирования, наглядной визуализации результатов работы, измерения и сравнения количественных характеристик качества работы алгоритмов телевизионных автоматов, в том числе систем стабилизации видеоизображений.
Предложена программа проведения испытаний программного обеспечения, реализующего алго-
ритмы обработки видеосигнала в системах детектирования и локализации объектов в видеопоследовательностях, позволяющая определить функциональные возможности разработанных алгоритмов.
Представленный ПАК и программа экспериментальных исследований позволяют отрабатывать вопросы, возникающие при разработке алгоритмов детектирования и локализации и дают возможность:
• определить функциональные возможности разработанных алгоритмов обработки видеосигнала,
• сформировать выводы о возможности использования ПО "Симулятор" для тестирования и оценки качества работы алгоритмов детектирования и локализации,
• сформировать рекомендации по использованию разработанных алгоритмов в системах детектирования и локализации,
• выработать рекомендации по дальнейшему развитию и расширению функционала ПО "Симулятор".
Результаты испытаний и полученные выводы могут быть использованы участниками эксперимента в дальнейшей работе.
СПИСОК ЛИТЕРАТУРЫ
1. Перевалов Д.С. Исследование алгоритмов обнаружения и локализации объекта на изображениях в условиях структурных искажений // Вычислительные технологии. 2009. Т. 1, № 14. С. 94-106.
2. Гаврилов Д.А. Нейросетевой алгоритм автоматического обнаружения и сопровождения объекта
интереса в видеосигнале // Труды 16-й национальной конференции по искусственному интеллекту (КИИ-2018). М., 2018, Т. 2. С. 188-196. URL: http://elibrary.udsu.ru/xmlui/bitstream/handle/123456789/ 17761/735.pdf?sequence=1
3. Гаврилов Д.А., Павлов А.В. Поточная аппаратная реализация алгоритма SURF // Известия ВУЗов. Электроника. 2018. Т. 23, № 5. C. 502-511. DOI: 10.24151/1561-5405-2018-23-5-502-511
4. Якимов П.Ю. Отслеживание дорожных знаков в видеопоследовательности с использованием скорости автомобиля // Компьютерная оптика. 2015. Т. 39, № 5. C. 795-800. DOI: 10.18287/0134-2452-2015-39-5-795800
5. Корзунов О.В., Лужинский А.И. Анализ алгоритмов обнаружения и измерения координат объектов в оптико-электронных системах // Известия ТулГУ. Технические науки. 2017. Т. 3, № 12. С. 164-171.
6. Perkins K. RTP Audio and Video for the Internet. Addi-son-Wesley Professional, 2003. 432 p.
7. AbbottD. PCI Bus Demystified. Newnes, 2004. 250 p.
8. Specifications of the Camera Link Interface Standard for Digital Cameras and Frame Grabbers: Version 1.1. Automated Imaging Association, 2004. URL: http://multimedia.3m.com/mws/media/297466O/3mtm -camera-linktm-app-d-spec-for-dig-camera-frame-grabber .pdf
Московский физико-технический институт (государственный университет), г. Долгопрудный, Московская область
Институт точной механики и вычислительной техники им. С.А. Лебедева РАН, Москва
Контакты: Гаврилов Дмитрий Александрович, gavrilov.da@mipt.ru
Материал поступил в редакцию 13.11.2018
ISSN 0868-5886
NAUCHNOE PRIBOROSTROENIE, 2019, Vol. 29, No. 1, pp. 149-156
THE COMPUTER SYSTEM TESTING OF ALGORITHMS FOR DETECTION AND LOCALIZATION OF OBJECTS IN VIDEO SEQUENCES
D. A. Gavrilov
Moscow Institute of Physics and Technology (State University), Dolgoprudniy, Moscow region, Russia S.A. Lebedev Institute of exact mechanics and ADP equipment of RAS, Moscow, Russia
The paper presents the hardware and software complex for object's detection and localization algorithms testing in video sequences. The description of the hardware and software complex, the software intended for incoming video signal generation and control data recording for detection and localization algorithms testing in video sequences are presented. The basic software modules including the path interpolator, the dynamic settings interpolator, the video generator by 2.5-dimensional scene model are presented. The operating time measuring process of algorithm under testing is described. The testing program is presented. The presented hardware and software complex and the experimental testing program allow to solve issues emerging during detection and localization algorithms development.
Keywords: detection and localization algorithms, testing of detection and localization algorithms
REFERENСES
1. Perevalov D.S.[Research of algorithms of detection and localization of an object on images in the conditions of structural distortions]. Vychislitel'nye tekhnologii [Computational Technologies], 2009, vol. 1, no. 14, pp. 94106. (In Russ.).
2. Gavrilov D.A. [Neural network algorithm of automatic detection and maintenance of an object of interest in video signal]. Trudy 16-y nacional'noj konferencii po iskusstvennomu intellektu KII-2018 [Proc. of the 16 th national conference on an artificial intelligence of KII-2018], Moscow, 2018, vol. 2, pp. 188-196. URL: http://elibrary.udsu.ru/xmlui/bitstream/handle/123456789/ 17761/735.pdf?sequence=1 (In Russ.).
3. Gavrilov D.A., Pavlov A.V. [Streaming hardware based implementation of SURF algorithm]. Izvestiya Vysshikh Uchebnykh Zavedenii. Elektronika [Proceedings of universities. Electronics], 2018, vol. 23, no. 5, pp. 502-511. DOI: 10.24151/1561-5405-2018-23-5-502-511 (In Russ.).
4. Yakimov P.Yu. [Tracking of road signs in the video sequence with use of speed of the car]. Komp'yuternaya optika [Computeroptics], 2015, vol. 39, no. 5, pp. 795800. DOI: 10.18287/0134-2452-2015-39-5-795-800 (In Russ.).
5. Korzunov O.V., Luzhinskiy A.I. [Analysis of detection and coordinates measurement algorithms in optoelectronic systems]. Izvestiya Tula State University. Tekhnicheskie nauki [News of TULGU. Technical science], 2017, vol. 3, no. 12, pp. 164-171. (In Russ.).
6. Perkins K. RTP Audio and Video for the Internet. Addi-son-Wesley Professional, 2003. 432 p.
7. Abbott D. PCI Bus Demystified. Newnes, 2004. 250 p.
8. Specifications of the Camera Link Interface Standard for Digital Cameras and Frame Grabbers: Version 1.1. Automated Imaging Association, 2004. URL: http://multimedia.3m.com/mws/media/297466O/3mtm -camera-linktm-app-d-spec-for-dig-camera-frame-grabber.pdf
Contacts: Gavrilov Dmitriy Aleksandrovitch,
gavrilov.da@mipt.ru Article received in edition 13.11.2018
