CC BY
14
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, director, tupikov@nppame.ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»
УДК 004.051 DOI: 10.24412/2071-6168-2021-7-16-28
ПРОГРАММНЫЙ КОМПЛЕКС АВТОМАТИЗАЦИИ ТЕСТИРОВАНИЯ И ВАЛИДАЦИИ АЛГОРИТМОВ ОБНАРУЖЕНИЯ
И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ
В.А. Бондаренко, А.Ю. Гагарина, В.А. Павлова, В.А. Тупиков
Разработан программный комплекс автоматизации тестирования алгоритмов обнаружения и сопровождения, который включает в себя модуль автоматизации разметки видеозаписей, модуль тестирования алгоритмов, модуль оценки качества их работы и модуль логирования. Комплекс выполняет оценку качества работы алгоритмов по совокупности параметров, обеспечивающих выполнение комплексного тестирования. Выделены наиболее эффективные и показательные метрики оценки качества алгоритмов обнаружения и сопровождения, использующиеся в разработанном программном комплексе: анализ области перекрытия, анализ ошибки определения центра объекта, анализ сбоев сопровождения и время работы алгоритма на один кадр. Результаты, полученные в результате применения программного комплекса автоматизации тестирования, объективно продемонстрировали эффективность разрабатываемых и применяемых алгоритмов при значимом сокращении трудозатрат на тестирование.
Ключевые слова: автоматизация тестирования, тестирование алгоритмов, обнаружение объектов, сопровождение объектов, метрики оценки, оценка эффективности алгоритма, валидация.
Введение. Задача обнаружения и сопровождения объектов на видеопоследовательностях, особенно при наличии разного рода помех, всё ещё остается одной из наиболее сложных и актуальных. На данный момент исследователями предложено и разработано множество реализаций различных алгоритмов как обнаружения, так и сопровождения, поэтому возникает задача сравнения существующих алгоритмов для выбора, наиболее подходящего по совокупности необходимых качеств и его последующей реализации. В процессе разработки собственных реализаций алгоритмов обнаружения и/или сопровождения необходимо сравнение разных версий алгоритма с целью фиксации изменений в качестве его работы. Также часто необходимо протестировать уже разработанный алгоритм для оценки его качества и выявления граничных условий применения. Некоторые параметры качества работы алгоритма могут быть оценены вручную и/или визуально, однако подобное тестирование - довольно длительный и ненадежный процесс.
Поэтому необходимо не только объективно, но и, главное, автоматизирована и оперативно оценивать качество и корректность работы разрабатываемых алгоритмов обнаружения и сопровождения, а также принимать обоснованное решение при выборе сторонних алгоритмов для их последующей реализации в составе специального программного обеспечения встраиваемых вычислителей перспективных робототехнических комплексов.
Подобные программные комплексы существует, среди них популярны ОТВ2013 [1], ОТВ2015 [2], ТС128 [3], UAV20L [4] и РОТ2018 [5]. Также известны решения для оценки алгоритмов сопровождения нескольких объектов [6] и оценки алгоритмов в режиме реального времени [7 - 9]. Подобные комплексы являются относительно удобным готовым решением, которое можно использовать для оценки качества разрабатываемого алгоритма, к тому же они имеют свою готовую базу видеопоследовательностей для тестирования. Однако они не имеют средств для автоматизации создания новых размеченных видеозаписей, доступен ограниченный набор видеопоследовательностей, которые могут не отвечать потребностям и необходимым условиям применения тестируемых алгоритмов. Также в известных программных комплексах отсутствует возможность тестирования алгоритмов автоматического обнаружения.
На основе вышесказанного, а также ввиду необходимости объективной оценки качества работы алгоритмов и автоматизации создания протоколов тестирования алгоритмов было принято решение разработать собственный программный комплекс автоматического тестирования алгоритмов обнаружения и сопровождения.
Кроме того, использование данного программного комплекса не ограничивается тестированием готового алгоритма, он может быть использован в процессе разработки, отладки и настройки алгоритмов, в том числе для подбора параметров разрабатываемых алгоритмов.
Состав программного комплекса. Программный комплекс автоматизации тестирования (ПКАТ) при общем рассмотрении имеет два основных режима работы:
1) режим создания базовой (эталонной) разметки;
2) режим тестирования алгоритмов.
Режим создания базовой (эталонной) разметки состоит из модуля разметки видеозаписей, с помощью которого непосредственно создается истинная разметка, и модуля логирования, с помощью которого эти данные фиксируются для легкого доступа к ним в дальнейшем.
Режим тестирования алгоритмов аналогично задействует модуль тестирования алгоритмов, где происходит выполнение алгоритмов обнаружения и сопровождения, и модуль логирования, который позволяет зафиксировать результаты в унифицированном формате для последующего изучения и работы с ними. Также режим тестирования обращается к модулю
оценки качества, с помощью которого осуществляется оценка параметров работы алгоритмов, и формируются выводы о качестве его работы. Далее все модули программного комплекса будут рассмотрены более подробно.
На рис. 1 представлена общая структурная схема разработанного программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения. В его состав вошли следующие модули:
1) модуль разметки видеозаписей;
2) модуль тестирования алгоритмов;
3) модуль оценки качества работы алгоритмов;
4) модуль логирования.
Программный комплекс автоматизации тестирования алгоритмов
Модуль тестирования алгоритмов
Модуль разметки видеозаписей
Модуль логирования
Модуль оценки качества работы алгоритмов
Модуль логирования
Рис. 1. Общая структурная схема разработанного программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения
Модуль разметки видеозаписей. С помощью данного модуля осуществляется базовая (эталонная) разметка видеопоследовательностей (создание ground truth).
Этот модуль позволяет использовать любую видеопоследовательность, которая отвечает поставленным задачам и условиям тестирования алгоритма обнаружения или сопровождения для тестирования алгоритмов.
Создание эталонной разметки заключается в выборе подходящей репрезентативной видеозаписи и выделении положения объекта на каждом кадре выбранной видеопоследовательности.
18
Выделение положения объекта производится вручную, прямоугольником, который полностью вписывает в себя отслеживаемый объект и при этом не содержит лишний фон. Это позволяет указать максимально точное положение объекта на кадре с учетом его границ и поэтому называется эталонной разметкой. В дальнейшем результаты работы алгоритма обнаружения или сопровождения будут сравниваться с этим эталонным положением объекта. Необходимо менять положение описывающего объект прямоугольника на каждом кадре, фиксируя все изменения положения, ракурса или масштаба объекта. Впоследствии проверка качества работы алгоритмов обнаружения и сопровождения будет проводиться по всем кадрам видеопоследовательности, для которых существует эталонная разметка.
Пример выполнения работы по созданию эталонной разметки, то есть указания истинного положения отслеживаемого объекта на кадрах видеопоследовательности, показан на рис. 2. После разметки точного положения объекта на всей видеопоследовательности с помощью описывающего границы объекта прямоугольника данные передаются в модуль логиро-вания для их последующего сохранения в выходной файл.
Выбор подходящей для разметки и тестирования видеозаписи -важная задача, так как она может имитировать условия дальнейшей области применения конкретного алгоритма: содержать необходимые погодные условия или время суток, удовлетворяющие особым условиям для его тестирования, а также показывать изменения положения объекта, которые должны удовлетворительно обрабатываться исследуемыми алгоритмами обнаружения и сопровождения (поворот объекта, потеря объекта из области видимости и его возвращение, изменение масштаба или ракурса наблюдения объекта, изменения яркости и контрастности объекта и/или фона).
Рис. 2. Пример выполнения работы по созданию эталонной разметки
Формирование разметки видеозаписей - это трудоемкая задача, но в то же время данный модуль позволяет создать уникальную базу данных видеозаписей, подходящих для особого тестирования под специальные за-
19
дачи согласно потребностям разработчика системы. Чем больше и разнообразнее будет база данных с размеченными видеозаписями, тем более полные и точные результаты тестирования алгоритмов будут получены.
Модуль тестирования алгоритмов. В данном модуле осуществляются инициализация и запуск алгоритмов обнаружения и сопровождения для дальнейшей оценки качества их работы.
Начальное положение объекта на кадре видеопоследовательности, который необходимо сопровождать или обнаруживать, назначается автоматически из эталонной разметки, а не задается оператором. Таким образом, исключается человеческий фактор от погрешности выбора объекта на кадре и создаются полностью идентичные стартовые условия для каждого тестируемого алгоритма обнаружения или сопровождения.
Имея стартовое положение отслеживаемого объекта, тестируемый алгоритм сопровождает (обнаруживает) объект до окончания выбранной видеопоследовательности. Положение описывающего объект прямоугольника на каждом кадре, формируемое исследуемым алгоритмом, передается в модуль оценки качества работы алгоритма, где выполняется сравнение эталонного положения объекта с полученным от тестируемого алгоритма по каждому кадру видеопоследовательности.
В разработанном ПКАТ имеется возможность выбора одного или нескольких алгоритмов для тестирования. Помимо подключенных к программному комплексу собственных алгоритмов обнаружения и сопровождения, как разработанных, так и находящихся в процессе разработки, в ПКАТ также встроены и доступны к выбору для проведения сравнительного тестирования алгоритмы сопровождения сторонних библиотек с открытым исходным кодом. В частности, это алгоритмы сопровождения библиотеки Dlib и библиотеки ОрепСУ Подключение к тестированию библиотек с алгоритмами сопровождения, разработанными сторонними группами исследователей, позволяет объективно сравнить работу собственных алгоритмов с другими подходами, а также проанализировать различные алгоритмы сопровождения и выбрать алгоритм с наилучшими параметрами для заданной области применения для дальнейшей собственной реализации и внедрения.
Также для повышения степени автоматизации тестирования алгоритмов разработанный программный комплекс имеет возможность запускать группу размеченных видеозаписей и группу алгоритмов обнаружения или сопровождения для широкомасштабного тестирования большого объема видеопоследовательностей и алгоритмов сопровождения. Благодаря этому оператору отсутствует необходимость находиться рядом при выполнении тестирования, достаточно по завершению тестирования проанализировать результаты.
Модуль оценки качества работы. Основополагающей частью описываемого программного комплекса являются метрики оценки качества алгоритмов обнаружения и сопровождения. В статьях [10 - 14] довольно подробно рассмотрены основные существующие способы оценки качества работы алгоритмов обнаружения и сопровождения.
В описываемом программном комплексе автоматизации тестирования алгоритмов обнаружения и сопровождения оценка качества работы алгоритмов проводится по всей видеопоследовательности и по нескольким критериям. На каждом кадре сравниваются эталонный описывающий прямоугольник местоположения объекта и прямоугольник, предсказанный тестируемым алгоритмом. Также дополнительно проводится замер быстродействия алгоритма.
Ведется оценка четырех значимых параметров:
1) анализ области перекрытия;
2) анализ ошибки определения центра объекта;
3) анализ сбоев сопровождения;
4) анализ времени работы алгоритма на один кадр.
Анализ области перекрытия (Intersection Over Union) можно назвать самой показательной метрикой для оценки качества работы алгоритмов обнаружения и сопровождения. Анализ области перекрытия показывает, насколько площадь задающего положение объекта прямоугольника, предсказанного тестируемым алгоритмом, совпадает с истинным положением объекта сопровождения. Результат анализа этой метрики позволяет осуществить простую, быструю оценку и, возможно, первичную выборку среди алгоритмов сопровождения и обнаружения. Данная метрика рассчитывается отношением области пересечения прямоугольников к области их объединения:
IoU = (1)
где S1 - площадь прямоугольника, предсказывающего положение объекта, от тестируемого алгоритма; S2 - площадь прямоугольника, описывающего истинное положение объекта.
В результате коэффициент области перекрытия позволяет оценить процент общей площади, чем он ближе к единице, тем точнее алгоритм, а при нулевом коэффициенте области перекрытия можно судить о срыве сопровождения объекта или перезахвате на ложную цель.
Анализ ошибки определения центра (средняя квадратическая ошибка, root mean square error) объекта позволяет оценить отклонение между центрами объекта предсказанное алгоритмом сопровождения, и истинным положением отслеживаемого объекта. Формула расчета среднеквадратичной ошибки отклонения центра по всей видеопоследовательности длиной N кадров имеет вид
RMSE = Jij*I?((x1-x2)2 + (y1-y2)2), (2)
где N - количество кадров в видеопоследовательности; Х1 и у1 - координаты центра прямоугольника, предсказывающего положение объекта, от тестируемого алгоритма; Х2 и у2 - координаты центра прямоугольника, описывающего истинное положение объекта.
Данная метрика хорошо дополняет оценку области перекрытия (1). Алгоритм обнаружения или сопровождения может не выделять объект полностью и поэтому иметь малую область перекрытия, но при получении малого отклонения центра объекта можно судить о высокой точности работы алгоритма. Такая ситуация актуальна, например, для алгоритмов, которые не изменяют размеры описывающего прямоугольника при масштабировании отслеживаемого объекта.
Анализ сбоев сопровождения работает как дополнение метрики области перекрытия и тоже позволяет быстро и первично оценить работу алгоритмов обнаружения и сопровождения. Данная метрика очень проста, но не менее значима в качестве средства оценки качества алгоритмов. Анализ сбоев сопровождения показывает процент кадров от всей видеопоследовательности, на котором сопровождение было успешным. Срывом сопровождения может быть нулевой коэффициент области перекрытия или коэффициент области перекрытия ниже установленного порога t (например, t = 0,5). Формула расчета
5 = 1 — — , (3)
где 5б[0; 1] - степень успешности сопровождения; п - количество кадров, на которых объект не был корректно обнаружен; N - общее количество кадров в видеопоследовательности. Для алгоритмов автоматического сопровождения при подсчете п также учитывается срыв сопровождения (срывом считается некорректное сопровождение на протяжении к = 100 -200 кадров подряд).
Время работы алгоритма на один кадр является одним из важнейших критериев, особенно это критично для алгоритмов, применяемых в составе специального программного обеспечения встраиваемых вычислителей робототехнических комплексов, где требуется выполнение в реальном времени. Время работы алгоритма должно укладываться в установленные рамки, поэтому данная метрика в обязательном порядке рассчитывается в ПКАТ при тестировании алгоритмов обнаружения и сопровождения.
Описанный набор метрик позволяет осуществить комплексный подход к оценке важнейших критериев алгоритмов обнаружения и сопровождения. По результатам анализа данных метрик можно объективно и оперативно сравнить различные алгоритмы. При оценке алгоритмов в программном комплексе автоматизации тестирования алгоритмов обнаружения и сопровождения ведется расчет указанных метрик по каждому кадру, а также рассчитываются средние их значения по каждой видеопоследовательности.
Модуль логирования. Как упоминалось ранее, ПКАТ имеет два основных режима работы: режим создания эталонной разметки и режим тестирования алгоритмов. Оба режима включают в себя модуль логирования, основная задача которого максимально автоматизировать процесс тестирования. Сохранение выходной информации в полном объеме позволяет выполнять процесс создания разметки единожды и использовать эти данные множество раз, а в случае тестирования алгоритмов обнаружения и сопровождения не требуется постоянное присутствие пользователя.
В режиме создания истинной разметки модуль логирования создает установленного вида выходной файл, который содержит информацию о названии видеопоследовательности, количестве кадров и истинном положении отслеживаемого объекта на каждом кадре. Данный выходной файл с разметкой оформляется единожды и вызывается при каждом тестировании алгоритмов, предоставляя данные об истинном положении объекта на каждом кадре.
При тестировании алгоритмов модуль логирования формирует два типа выходных данных: файл с детализированной информацией и итоговый единый файл со средними значениями оцениваемых метрик за всю сессию тестирования. Выходной файл с детальной информацией создается для каждого фильма, сохраняя данные по каждому кадру. Это позволяет определить конкретный кадр, на котором алгоритм теряет отслеживаемый объект, что тем самым дает возможность найти слабые места тестируемых алгоритмов и граничные условия их применения. В файл выводятся данные о дате проведения тестирования, названии видеопоследовательности, названии тестируемого алгоритма и информация по каждому кадру видеопоследовательности: координаты истинного положения отслеживаемого объекта, координаты положения объекта, предсказанные алгоритмом обнаружения или сопровождения, отклонение центра объекта, процент области перекрытия и время работы алгоритма по этому кадру. Итоговый файл содержит усредненные данные за весь фильм по всем кадрам. Файл создается один раз и впоследствии дополняется сводной информацией каждого проведенного тестирования. Такой формат позволяет получить общую информацию, эффективно сравнить алгоритмы обнаружения или сопровождения, а также строить графики, которые наглядно отражают преимущества и недостатки рассмотренных алгоритмов или эволюцию алгоритма в процессе его разработки.
Для повышения степени автоматизации тестирования алгоритмов программный комплекс имеет возможность сохранения видеопоследовательностей с нанесенными на каждый кадр описывающими объект прямоугольниками, предсказанными алгоритмом обнаружения или сопровождения. Это позволяет пользователю программного комплекса автоматического тестирования алгоритмов не присутствовать физически для визуального контроля работы алгоритмов, а просмотреть спорные и интересующие моменты в любой момент при анализе отчетных данных.
23
Применение программного комплекса автоматического тестирования алгоритмов. В процессе оптимизации многоагентного алгоритма автоматического обнаружения и сопровождения [15 - 16] возникла задача выбора оптимальных параметров для разрабатываемого алгоритма: количество уровней пирамиды изображений и коэффициент сжатия изображений на каждом следующем уровне пирамиды. Необходимо было подобрать такие параметры пирамиды изображений, при которых возможно снижение вычислительных затрат без потери качества сопровождения. Провести выбор указанных параметров самостоятельно - весьма трудоемкий процесс, к тому же критерии сравнения будут ограничены, а человеческий фактор допускает погрешность оценки. В связи с этим при помощи ПКАТ тестированию подвергался многоагентный алгоритм автоматического обнаружения и сопровождения с разными параметрами. В рамках данной работы каждый выбранный набор параметров был проверен на одинаковом наборе заранее размеченных видеопоследовательностей. По полученным результатам тестирования для более удобного анализа были оформлены графики, каждый из которых показывал результат работы всех версий алгоритма по одной из метрик оценки для каждой видеопоследовательности. На рис. 3 и 4 приведены примеры графиков по средним значениям времени работы и области перекрытия всех вариантов алгоритма для каждой видеопоследовательности. Ось ординат соответствует значению метрики, по которой построен график. На оси абсцисс отмечены все видеопоследовательности, у каждой из которых отмечен результат всех тестируемых алгоритмов.
1 .1
ii.llll lull II nil II Hill 1 t.llllll 1.11II lllllll
4
¿Г
•V
KeyPoin lTracker_ AM 1В Ке yPoin lTracker_ AM Е_4_20 KeyPoin ITrackerAM 5_S_1S KeyPoimTracker_AME_5_17 KeyPom (TracketAM E_6_ 14 KeyPoin lTracker_ AME_6_] S KeyPoin lTracker_AM E_6_ 16 KeyPoin lTracker_ AM g_8_ 12
Track Tlme(Ayerage ms)
Puc. 3. График, показывающий среднее время работы на кадр всех алгоритмов для выборки видеопоследовательностей
0.8
0.6 0.4 0.2 0.0
lilllln Ii
V J1'
J*
KeyPointTracke r_AM Е_4_ 18 KeyPointTracke г AM Е_4_20 KeyPointTracke Г_ AM Е_5_ 16 KeyPointTrackerAM E_5_17 KeyPointTrackerAM E_6_14 KeyPointTracke r_AM E_6_15 KeyPointTrackerAM E_6_16 KeyPointTracke r_ AM E_8_ 12
Average Overlap
Puc. 4. График, показывающий среднюю область перекрытия всех алгоритмов для выборки видеопоследовательностей
24
ПКАТ способствовал взвешенному и аргументированному выбору оптимальных параметров для многоагентного алгоритма автоматического обнаружения и сопровождения за короткий промежуток времени.
Также ПКАТ был применен для тестирования разрабатываемого алгоритма обнаружения, основанного на обучении SVM-классификатора (Support Vector Machine) в процессе сопровождения (online learning) [17 - 19]. Реализация данного алгоритма используется в совокупности с многоагентным алгоритмом автоматического обнаружения и сопровождения.
Обученный в реальном времени классификатор позволяет повторно обнаружить объект в случае срыва сопровождения. При помощи ПКАТ имитируется потеря сопровождаемого объекта, повторное обнаружение которого обеспечивает разрабатываемый алгоритм классификации с online обучением. Тестирование проводилось с несколькими целями. Во-первых, было необходимо подобрать параметр, обозначающий количество кадров, достаточных для корректного обучения классификатора (критерий остановки для предотвращения т.н. переобучения). Во-вторых, было необходимо оценить вклад алгоритма обнаружения, основанного на online обучении SVM-классификатора, в обеспечение устойчивости сопровождения много-агентным алгоритмом автоматического обнаружения и сопровождения. По результатам тестирования удалось установить оптимальные параметры разрабатываемого алгоритма и убедиться в эффективности применяемого подхода к повторному обнаружению сопровождаемого объекта в присутствии ложных целей.
Выводы. Резюмируя изложенное, можно сказать, что разработанный программный комплекс автоматизации тестирования алгоритмов в значительной мере снизил трудозатраты при разработке и тестировании алгоритмов обнаружения и сопровождения, а также предоставил возможность объективно и унифицированно оценивать разрабатываемые алгоритмы обнаружения и сопровождения.
ПКАТ был успешно применен на практике при разработке и тестировании перспективного многоагентного алгоритма автоматического обнаружения и сопровождения и алгоритма обнаружения, основанного на online обучении SVM-классификатора. При помощи ПКАТ автоматизированно и оперативно были оценены корректность и качество работы разрабатываемых алгоритмов, а также обоснованно подобраны оптимальные параметры для указанных алгоритмов.
В качестве дальнейшего направления развития описанного программного комплекса планируются подготовка и разметка большего количества контекст-специфических видеозаписей, что даст больше возможностей для его использования при решении специальных задач. Также планируется внедрение дополнительных метрик оценки алгоритмов, таких как оценка надежности (robustness evaluation) и оценка пространственной устойчивости (SRE - spatial robustness evaluation) [2, 20].
25
Список литературы
1. Wu Y., Lim J., Yang M.-H. Online object tracking: A benchmark. In CVPR, 2013.
2. Wu Y., Lim J., Yang M.-H. Object tracking benchmark // IEEE TPAMI. 2015. 37(9):1834-1848.
3. Liang P., Blasch E., Ling H. Encoding color information for visual tracking: Algorithms and benchmark // IEEE TIP. 2015. 24(12):5630-5644.
4. Mueller M., Smith N., Ghanem B. A benchmark and simulator for UAV tracking. InECCV, 2016.
5. Planar Object Tracking in the Wild: A Benchmark / P. Liang, Y Wu, H. Lu, L. Wang, C. Liao, H. Ling // Proc. of IEEE Int'l Conference on Robotics and Automation (ICRA), 2018.
6. Framework for performance evaluation of face, text, and vehicle detection and tracking in video: data, metrics, and protocol / R. Kasturi, D. Gold-gof, P. Soundararajan, V. Manohar, J. Garofolo, R. Bowers, M. Boonstra, V. Korzhova, J. Zhang // TPAM. 2009. Vol. 31. No. 2. P. 319-326.
7. Wu H., Sankaranarayanan A.C., Chellappa R. Online empirical evaluation of tracking algorithms // IEEE Trans. Pattern Anal. Mach. Intell. 2010. Aug. Vol. 32. No. 8. P. 1443-1458.
8. Collins R., Zhou X., Teh S.K. An open-source tracking testbed and evaluation web site // IEEE International Workshop on Performance Evaluation of Tracking and Surveillance (PETS 2005). 2005. January.
9. Wang D., Lu H., Yang M. Online object tracking with sparse prototypes // IEEE Image Processing Conference. 2013. Vol. 22, No. 1. P. 314 -325.
10. Метрики оценки алгоритмов автоматического сопровождения / А.Е. Щелкунов, В.В. Ковалев, К.И. Морев, И.В. Сидько // Известия ЮФУ. Технические науки. 2020. №1(211). С. 233 - 245.
11. T. Nawaz, A. Cavallaro. A protocol for evaluating video trackers under real-world conditions // Image Processing IEEE. 2013. Vol. 22. No. 4. P. 1354 - 1361.
12. Bashir F., Porikli F. Performance Evaluation of Object Detection and Tracking Systems // PETS. 2006. P. 190 - 203.
13. Kao E., Daggett M., Hurley M. An information theoretic approach for tracker performance evaluation // CVPR. 2009. P. 1523 - 1529.
14. Black J., Ellis T., Rosin P. A novel method for video tracking performance evaluation // VS-PETS. 2003. C. 125 - 132.
15. Многоагентный алгоритм автоматического обнаружения и сопровождения недетерминированных объектов / В.А. Бондаренко, Д.К. Ель-цова, А.И. Лизин, В.А. Павлова, М.В. Созинова, В.А. Тупиков // Известия ЮФУ. Технические науки. 2020. №1(211). С. 218 - 232.
16. Метод поиска и сопоставления ключевых особенностей изображений для распознавания образов и сопровождения объектов / В.А. Бонда-ренко, Г.Э. Каплинский, В.А. Павлова, В.А. Тупиков // Известия ЮФУ Технические науки. 2019. №1(213). С. 281 - 293.
17. Kumari R., Srivastava S. Machine Learning: A Review on Binary Classification. International Journal of Computer Applications, 2017.
18. Shalev-Shwartz S., Singer Y., Srebro N. Pegasos: primal estimated sub-gradient solver for SVM. Math. Program. 2011. 127. P. 3 - 30.
19. Bai Y., Tang M. Robust tracking via weakly supervised ranking SVM // In Proc. IEEE Conf. Comput. Vis. Pattern Recognit. 2012. P. 1854 -1861.
20. Collins R.T. Mean-shift blob tracking through scale space // In Proc. IEEE Conf. Comput. Vis. Pattern Recognit. 2003. P. 234 - 240.
Тупиков Владимир Алексеевич, д-р техн. наук, профессор, директор научно-производственного комплекса, tupikov@nppame. ru, Россия, Санкт-Петербург, АО ««Научно-производственное предприятие «Авиационная и морская электроника»,
Павлова Валерия Анатольевна, канд. техн. наук, зам. директора, pavlova@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие « Авиационная и морская электроника»,
Бондаренко Владимир Александрович, начальник центра, bondarenko@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Гагарина Алена Юрьевна, научный сотрудник, a9967774273@yandex.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
SOFTWARE PACKAGE FOR AUTOMATED TESTING AND VALIDATION OF ALGORITHMS FOR OBJECT DETECTION AND TRACKING
V.A. Bondarenko, A.Y. Gagarina, V.A. Pavlova, V.A. Tupikov
A software package for automated testing of algorithms for object detection and tracking was developed. The developed software package includes a video markup automation module, an algorithm testing module, a performance evaluation module and a logging module, evaluates the quality of the algorithms by a set of parameters that ensure the implementation of complex testing. The most effective and indicative metrics for assessing the quality of detection and tracking algorithms were identified in the developed software package: analysis of the overlap region, analysis of the error in determining the center of the object, analysis of tracking failures and the algorithm's operation time per frame. The results obtained as a result of the use of software package objectively demonstrated the effectiveness of the developed and applied algorithms, with a significant reduction in labor costs for testing.
Key words: test automation, testing algorithms, object detection, object tracking, evaluation metrics, performance evaluation of algorithm, validation.
27
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, director, tupikov@nppame.ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»,
Pavlova Valeria Anatolyevna, candidate of technical sciences, deputy director, pav-lova@nppame.ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»,
Bondarenko Vladimir Alexandrovich, head of the centre, bondarenko@,nppame.ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»,
Gagarina Alena Yurievna, research officer, a9967774273@yandex.ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»
УДК 519.688 DOI: 10.24412/2071-6168-2021-7-28-39
АЛГОРИТМ ФУНКЦИОНИРОВАНИЯ И ПРОТОТИП МОДУЛЯ
АВТОНОМНОГО КОНТРОЛЯ ЦЕЛОСТНОСТИ РАДИОТЕХНИЧЕСКОЙ СИСТЕМЫ ЛОКАЛЬНОЙ НАВИГАЦИИ
Н.Ш. Хусаинов, В.В. Щербинин, Г.А. Кветкин
Рассмотрены вопросы автономного контроля целостности в системах радионавигации. Предложен алгоритм автономного контроля целостности для разрабатываемой радиотехнической системы локальной навигации, функционирующей на основе наземных приемо-передающих устройств (радиомаяков). Описана базовая версия алгоритма на основе анализа оценки гипотезы о наличии одиночных отказов для множества комбинаций компонент вектора мгновенных измерений дальностей. Предложена модифицированная версия алгоритма, позволяющая использовать избыточное число измерений при расчете координат объекта с целью повышения вероятности правильной оценки гипотезы. Описаны структура и принцип функционирования макета бортового модуля навигационной системы с модулем автономного контроля целостности.
Ключевые слова: автономный контроль целостности, изоляция отказов, комбинаторный алгоритм, дальномерная навигация.
Для повышения точности определения координат и коррекции траектории движения летательных аппаратов (в том числе беспилотных) используется информация от навигационных систем, функционирующих на основе естественных или искусственных навигационных полей. Одним из таких полей, в наибольшей степени обеспечивающих возможность всепогодного и всесуточного применения, является искусственное радионавигационное поле, образованное опорными навигационными устройствами с известными стационарными координатами или параметрами движения.
28
