CC BY
25
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.93'12 DOI: 10.24412/2071-6168-2021-7-3-16
АЛГОРИТМ ОБНАРУЖЕНИЯ ОБЪЕКТОВ С ОБУЧЕНИЕМ В РЕАЛЬНОМ ВРЕМЕНИ В ПРОЦЕССЕ СОПРОВОЖДЕНИЯ
В.А. Бондаренко, П.А. Гессен, В.А. Павлова, М.В. Созинова, В.А. Тупиков
В целях создания нового алгоритма автоматического обнаружения объектов с обучением в реальном времени проведено исследование мирового научного задела в области автоматического сопровождения общего назначения с возможностью распознавания объекта слежения с потенциалом применения во встраиваемых вычислительных блоках оптико-электронных систем перспективных робототехнических комплексов. На основе проведенных исследований отобраны и протестированы методы и подходы, которые позволяют с наибольшей точностью, при сохранении высокой вычислительной эффективности обеспечивать обучение классификаторов на лету (online learning) без априорного знания о типе объекта слежения и обеспечивать последующее обнаружение исходного объекта в случае его кратковременной потери. Обоснован выбор одного из алгоритмов классификации в режиме реального времени, позволяющего решить задачу бинарной классификации - метода опорных векторов. Разработанный алгоритм показал высокую эффективность при решении поставленной задачи и планируется к внедрению в составе специального программного обеспечения оптико-электронных систем перспективных робототехнических комплексов.
Ключевые слова: автоматическое обнаружение, обучение на лету, метод опорных векторов, гистограмма направленных градиентов, автоматическое сопровождение.
Введение. При разработке современных робототехнических комплексов часто возникает задача обнаружения недетерминированных объектов в реальном времени, например, в процессе автоматического сопровождения. В общедоступной научной литературе представлено много вариантов решения поставленной задачи, однако данные решения не могут считаться удовлетворительными по совокупности критериев, таких как вычислительная эффективность, высокая точность, наличие возможности обучения на лету (online learning), которые предъявляются в качестве клю-
3
чевых требований для представленной работы. Данные критерии были продиктованы анализом тенденций в разработке новых алгоритмов, которые сводятся к использованию машинного обучения для задач обнаружения, а также спецификой предполагаемых областей применения алгоритма.
Постановка задачи. Пусть имеется некоторый алгоритм автоматического сопровождения объектов по их изображениям, реализованный в рамках встраиваемого вычислителя оптико-электронной системы наблюдения. Первоначальный захват объекта на сопровождение осуществляется оператором либо иным алгоритмом обработки изображений. В процессе сопровождения алгоритм формирует описывающий объект - прямоугольник Ксопр, при этом наблюдаемый объект может выходить из зоны наблюдения оптической системы или перекрываться помехой, а изображение сопровождаемого объекта может подвергаться различным ракурсным и масштабным искажениям.
Требуется разработать такой алгоритм обработки изображений, который мог бы в процессе слежения накапливать информацию о сопровождаемом объекте, имея на входе Ясопр (например, текстурные и/или контурные признаки, однозначно характеризующие объект интереса), а в случае потери объекта наблюдения или при появлении помехи - осуществлять обнаружение объекта интереса, основываясь на накопленной ранее информации и формируя на выходе алгоритма предсказанный описывающий прямоугольник Rпредск. Тем самым должна повышаться вероятность корректного дальнейшего сопровождения. Таким образом, требуется разработать алгоритм автоматического обнаружения объектов с обучением в реальном времени, при этом вычислительные затраты на алгоритм должны быть приемлемыми для осуществления его работы в реальном масштабе времени на базе бортовых вычислителей оптико-электронных систем перспективных робототехнических комплексов.
Обзор существующих методов. Значительное развитие при решении подобных задач в последнее время получили подходы с применением искусственных нейронных сетей, однако их применение в реальном времени затруднено, так как они, как правило, требуют априорного знания об объекте (обучающей выборки) и/или имеют высокую вычислительную сложность при использовании, например, требуют использования графического ускорителя уровня GeForce GTX Titan X для работы в реальном времени, что невозможно при разработке перспективных отечественных оптико-электронных систем [1 - 3].
При анализе существующих работ было принято решение ориентироваться на одни из наиболее эффективных по предъявляемым требованиям алгоритмов: TLD [4] и KCF [5].
Алгоритм TLD (Tracking - Learning - Detection) базируется на методе Сопровождение - Обучение - Обнаружение. Данный алгоритм не только производит слежение за объектом на каждом кадре, но и осуществ-
ляет обнаружение всех локальных проявлений выбранной цели, в процессе чего строит модель объекта, который отслеживается. Добавление модуля обучения обусловлено необходимостью увеличить точность работы алгоритма путем изменения представления об актуальной модели в процессе ее отслеживания. Недостатком данного алгоритма является то, что обнаружение производится по всему изображению путем использования смещений окон разных масштабов. Хотя для обучения и используются достаточно быстрые вейвлеты Хаара, вычислительная сложность все равно слишком велика, что не позволяет использовать данный алгоритм в системах реального времени.
Алгоритм KCF (Kernelized Correlation Filter) является представителем группы корреляционных методов. Он использует гистограмму направленных градиентов для обучения детектора и свойства циркулянтной матрицы (circulant matrix) [6] вместе с дискретным преобразованием Фурье для повышения скорости обработки изображения. Данный метод достигает высоких скоростей обработки изображения, что положительно выделяет его на фоне остальных конкурентов, однако обладает достаточно низкой вероятностью нахождения объекта после его потери, может перестать отслеживать нужный объект при его плавном перекрытии помехой (слабое разделение объект/не объект) и имеет недостатки, свойственные многим алгоритмам с корреляционным подходом: достаточно резкое изменение масштаба или положения отслеживаемого объекта (или исчезновение из кадра и последующее появление) ведет к его потере.
На основе анализа данных алгоритмов, принимая во внимание их сильные и слабые стороны, авторами был разработан новый алгоритм обнаружения объектов, основанный на online-обучении SVM-классификатора, позволяющий осуществлять повторное обнаружение в случае потери отслеживаемого объекта. Алгоритм разработан таким образом, чтобы иметь возможность применяться во встраиваемых системах в режиме реального времени, без предварительного анализа данных и совмещать скорость работы, присущую KCF, с точностью, свойственной TLD.
Прежде чем приступать к детальному разбору логики разработанного алгоритма, рассмотрим и обоснуем необходимость методов и алгоритмов, используемых в предлагаемом решении.
Гистограмма направленных градиентов (HOG). Перед выполнением любой задачи, связанной с обработкой изображений, часто необходимо предварительно обработать изображения, чтобы сделать их более подходящими для применения в качестве входных данных для других алгоритмов. Использовать значения яркостей пикселей зачастую неэффективно, и большинство алгоритмов обработки изображений, как правило, извлекают из входных данных наиболее значимую для дальнейшего применения информацию - ключевые признаки изображения или его дескрип-
тор, позволяющие определить объект интереса минимальным количеством данных, сокращая тем самым размерность входных данных и облегчая дальнейшую их обработку.
В дескрипторе ключевых признаков HOG [7] в качестве ключевых признаков используются распределения (гистограммы) направлений и магнитуд градиентов (ориентированные градиенты). Градиенты изображения полезны, так как их значение велико на краях и углах какой-либо фигуры (областях резкого изменения интенсивности), а именно эти области несут в себе ключевую информацию о форме объекта в отличие от плоских (монотонных) регионов.
Опишем алгоритм преобразования изображения в HOG-дескриптор.
1. Масштабирование выбранной части кадра к единому, заранее определенному размеру.
2. Вычисление градиента изображения по осям x и у (рис. 1).
3. Составление гистограммы градиентов в ячейках 8x8 (рис. 1).
4. Нормализация гистограмм в блоках по 4 гистограммы (ячейки).
5. Финальное вычисление вектора ключевых признаков.
2 3 4 4 Э 4 2 г
5 11 17 13 7 9 3 4
11 11 23 27 22 17 4 6
23 96 165 135 66 32 26 2
91 155 133 130 144 иг 57 25
«в 1% 76 .18 26 60 170 St
165 60 60 27 77 65 43 136
71 13 м 23 10S 27 43 110
Магшгтуда градиента
60 36 5 to 0 64 90 73
Xf 9 В 17В 76 27 169 166
6Г 136 173 39 102 163 1Ш 176
75 13 1 16S 1S9 гг 135 t43
120 70 14 150 145 144 146 143
5Й В6 lift за 100 101 133 113
30 65 157 75 та 165 145 124
11 170 01 4 110 17 133 113
Направление градиента
^ю) ЗЯ 37 Э Ь 9 ^^ 0 М 179 7В 27 90 169 73 166 г. 1 4 лу У3 13 7 4 9 2 3 г 4
67 136 173 39 102 163 152 176 *23 27 22 17 4 6
76 13 1 160 159 22 125 143 / 91 155 165 135 S5 32 26 2
120 70 14 150 145 144 145 143 133 136 144 152 57 26
59 ВД 119 93 10Q 101 133 113 38 196 76 38 26 60 170 51
30 69 157 75 76 165 145 124 '''' / ✓ 1 л 165 60 60 27 77 85 43 136
11 170 91 4 110 17 133 71 13 34 23 108 27 48 110
Направление граднеята^'
Магннтуда градиента
40 GO SO 100 120
Гистограмма градиентов
Рис. 1. Формирование гистограммы ориентированных градиентов
6
Таким образом на выходе после преобразования из исходных значений яркости получается вектор численных значений, описывающий изображение.
HOG-дескриптор является отличным методом описания изображения ввиду своей высокой дискриминативности, скорости работы, малого количества хранимой информации, нашедшим признание среди исследователей в различных областях применения [8 - 10], а также имеет широкие возможности для оптимизации и ускорения своей работы за счет применения векторных команд [11] и других методов [12]. К недостаткам данного метода можно отнести отсутствие поворотной инвариантности в финальном виде (на стадии составления гистограмм возможен ограниченный поворот на фиксированный угол) и необходимость этапа предварительной обработки изображения, который оказывает сильное влияние на качество работы алгоритма, если исходные изображения имеют сильные различия в масштабе. В авторской реализации этап предварительной обработки сводится к масштабированию изображения к фиксированной величине, определяемой в зависимости от исходного размера выделенной части изображения, и происходит вычислительно быстро.
Классификаторы режима реального времени. Режим реального времени означает такой режим обработки данных, при котором скорость взаимодействия системы со внешними процессами соизмерима со скоростью протекания этих процессов. Для решения задачи классификации (построение алгоритма, способного по известным соотношениям «объект -его принадлежность» распределить ранее неизвестные объекты по известным группам принадлежностей) в таких условиях используют алгоритмы машинного обучения, подразделом которых являются и нейронные сети. Применение искусственных нейронных сетей является более точным и прогрессивным подходом, однако он имеет два главных недостатка: необходимость обработки заранее предоставленных (априорных) данных и достаточно низкую скорость работы ввиду высокой вычислительной сложности обучения. И если первый недостаток еще можно обойти, то второй на данный момент не позволяет использовать нейронные сети для обучения и обнаружения в реальном времени во встраиваемых системах. Поэтому для поставленной задачи выбран подход машинного обучения без использования нейронных сетей.
Для решения задачи бинарной классификации (распределения объектов на два множества: объект - не объект) [13] был выбран один из наиболее успешных классических методов машинного обучения - метод опорных векторов (англ. SVM - Support Vector Machine) [14 - 16].
SVM. Основная идея метода состоит в разделении векторов признаков обучающей выборки некоторой гиперплоскостью оптимальным образом. Мерой оптимальности в данном случае выступает расстояние между разделяющей гиперплоскостью и объектами разделяемых классов: чем оно больше, тем меньше будет средняя ошибка классификатора.
Главными достоинствами такого метода по сравнению с другими известными решениями являются необходимость достаточно малого объема исходных данных для получения высокой точности предсказания результата, а также высокая скорость работы - один из быстрейших методов нахождения решающей функции, что имеет ключевое значение для задач обработки в режиме реального времени. Еще одним достоинством является возможность регулировки параметра, позволяющего избежать переобучения - ситуации, при которой классификатор чересчур точно определяет модель объекта и становится восприимчивым даже к самым небольшим ее изменениям. К недостаткам данного метода можно отнести чувствительность к выбросам в исходных данных (шумам) и необходимости стандартизации входных данных. Решение первого недостатка возлагается на алгоритм слежения за объектом. Проблема стандартизации решается при помощи применения HOG-дескриптора, описанного выше.
Методы машинного обучения, в которых данные поступают последовательно и используются для улучшения предсказываемого результата на каждом шаге, называются online-методы обучения (online learning) [17]. Основным их отличием от обычных является возможность обработки исходных данных (обучения), поступающих последовательно и поэтапно, то есть без необходимости наличия базы исходных данных об объекте обучения. Один из таких методов, реализующих метод опорных векторов в режиме online, - Pegasos (Primal Estimated sub-GrAdient SOlver for SVM) [18]. Основная идея метода заключается в выполнении стохастического градиентного спуска на каждом шаге. Выбор именно этого метода обусловлен скоростью работы и достаточно ограниченным количеством тренировочных примеров, необходимых для обучения классификатора.
Применяемый подход. Реализация разработанного алгоритма используется в совокупности с многоагентным алгоритмом автоматического обнаружения и сопровождения недетерминированных объектов [19].
На вход системы подаются видеопоток и описывающий прямоугольник, определяющий первоначальное положение объекта слежения. На стадии инициализации, основываясь на соотношении сторон исходной рамки, выбирается фиксированный размер изображения, к которому будут приводиться изображения объекта даже при изменении их масштаба (фиксация размерности входных данных для классификатора).
В дальнейшем на каждом k-м кадре видеопотока изображение объекта, ограниченное прямоугольником, масштабируется к размеру, определенному на стадии инициализации, после чего для этого участка изображения вычисляется дескриптор HOG. В данной работе k принималось равным 5, так как на соседних кадрах объект изменяется мало, а избыток одинаковых данных снижает характеристики точности обучаемого классификатора, однако данный параметр может быть скорректирован в зависимости от кадровой частоты оптической системы и динамики наблюдаемых объектов.
За точность предоставляемых входных данных на этапе предварительного обучения отвечает алгоритм сопровождения. Таким образом формируется эталонное описание объекта интереса в виде набора HOG-дескрипторов. Аналогичным образом выбираются и подготавливаются несколько произвольных окон на изображении, которые будут использоваться в качестве примеров "необъекта" для обучения классификатора. Выбранные окна объекта интереса и "необъекта" подвергаются предварительной фильтрации посредством нормализованной кросс-корреляции (Normalized Cross Correlation) - если разница меньше определенного порога (изображения не похожи), то оба дескриптора подаются на вход алгоритму Pegasos с соответствующими метками ("объект", "необъект"). Данная предварительная отбраковка негативных примеров по результатам анализа позволяет повысить скорость сходимости обучения классификатора и в дальнейшем повысить стабильность его предсказаний. В соответствии с полученными данными происходит корректировка гиперплоскости. После этого для каждой из рамок берутся несколько масштабов и с каждым из них проводятся вышеописанные действия, после чего происходит переход к следующему кадру видеопотока. Дополнительно на первых кадрах происходит хранение положительных и отрицательных HOG-дескрипторов. После набора нескольких результатов происходит обучение линейной SVM в оффлайн-режиме. Это сделано для подстраховки основного классификатора на первых кадрах, когда количество данных еще недостаточно для уверенной классификации.
На данный момент самым точным способом локализации объекта является метод скользящего окна, в котором применяется вычисление откликов обученного классификатора для большого количества накладываемых на изображение окон. Однако насколько этот способ точен, настолько он вычислительно неэффективен, что недопустимо для поставленной задачи. Поэтому для экономии времени при потере объекта интереса осуществляется предварительное обнаружение потенциального местоположения объекта с помощью алгоритма [19], тем самым осуществляется значительное сокращение области поиска.
Каждая подозрительная область, формируемая алгоритмом сопровождения, проверяется алгоритмом распознавания на предмет наличия в ней объекта интереса. При наличии положительного отклика в окрестности предполагаемого нахождения объекта запускается алгоритм скользящего окна, для чего берутся несколько описывающих прямоугольников различного масштаба. Каждая из рамок последовательно сдвигается относительно своего изначального положения, для каждого смещения осуществляется проверка области изображения при помощи обученного классификатора. Координаты каждого окна, внутри которого обнаружен положительный отклик от классификатора, запоминаются, после чего самые крайние координаты из ранее запомненных формируют результирующий описывающий
прямоугольник, который считается искомым объектом и подается алгоритму слежения для его повторного захвата и последующего сопровождения.
На рис. 2 представлен результат предотвращения алгоритмом обнаружения перезахвата на некорректный объект после срыва сопровождения, на рис. 3 - результат корректного перезахвата объекта интереса (большая зеленая рамка - зона поиска, красные рамки - отрицательный отклик классификатора «не объект», малые зеленые рамки - положительный отклик обученного классификатора, для наглядности нарисована только часть откликов).
Рис. 2. Пример предотвращения некорректного повторного захвата
на сопровождение
Рис. 3. Пример корректного повторного захвата на сопровождение
Результаты. Тестирование выполнялось при помощи полунатурного моделирования с использованием программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения, разработанного АО «НПП «АМЭ», и реальных видеозаписей, полученных в различных условиях наблюдения. Для тестирования были размечены 15 видеопоследовательностей, содержащих объекты интереса типа «Кунг», «Здание», «Мост» и др. размером от ~64х64 до ~256х256 пикселей.
Для наиболее полной оценки точности предлагаемого алгоритма обнаружения с обучением в реальном времени в сравнении с подходом к предварительному обнаружению объекта после его потери из многоагент-ного алгоритма обнаружения и сопровождения использовалась метрика IoU (Intersection over Union) [20]. Данная метрика подразумевает оценку отношения площадей пересечения описывающих прямоугольников к площади их объединения. Один из прямоугольников (S1), определяющий истинное положение объекта в кадре, задается оператором при тестировании, второй (S2) является результатом работы того или иного алгоритма обнаружения:
IoU = Sf^e[ 0;1]. (1)
J1UJ2
Чем ближе получаемое по формуле (1) значение IoU к единице, тем более точное предсказание истинного положения объекта и его размеров даёт оцениваемый алгоритм.
Тестирование проводилось по следующей методике.
1. На интересующей видеозаписи в определенный момент выполнялся захват объекта на сопровождение.
2. На протяжении 100 - 400 кадров выполнялось обучение SVM классификатора предложенного алгоритма обнаружения по данным об объекте интереса, формируемым алгоритмом сопровождения.
3. Имитировался срыв сопровождения посредством перехода на другой кадр видеопоследовательности.
4. Зоны предполагаемого местонахождения объекта (формируемые алгоритмом сопровождения) подвергались обработке алгоритмом обнаружения по методике, описанной выше. Таким образом, выполнялись подтверждение наличия объекта в зоне интереса и уточнение его положения в случае его наличия.
5. Результирующие значения IoUtrack для алгоритма сопровождения (без уточнения положения) и для алгоритма обнаружения IoU svm записывались в таблицу.
Результаты систематизации экспериментов, проведенных по данной методике, представлены на рис. 4. Среднее значение IoUtrack (то есть без использования уточнения положения объекта интереса при попытке повторного захвата) по результатам 19 экспериментов с имитацией срыва сопровождения составило IoUtrack = 0,359, тогда как среднее значение IoUsvm с
применением алгоритма с обучением в реальном времени в качестве средства подтверждения наличия цели и уточнения её положения составило = 0,431, что даёт прирост Д1ои = +0,072. Данное значение Д1ои является средним по всем типам объектов интереса, при этом для малоразмерных целей оно меньше, а для крупноразмерных объектов значение Д1ои значительно больше.
0.7
О
1 2 3 -i 5 6 7 S S 10 ti 12 13 W 15 17 18 19
Рис. 4. Графики области пересечения IoUtmck (оранжевый)
и IoUsvm (синий)
Заключение
По результатам полунатурного моделирования с использованием программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения использование предложенного алгоритма обнаружения с обучением в реальном времени позволило повысить метрику точности охвата цели при её повторном обнаружении после потери на AIoU = +0,072, то есть более чем на 20 % для рассмотренного алгоритма сопровождения, при этом временные затраты на обучение классификатора составили 16 миллисекунд на кадр для процессора Core-i5-4440@3.1GHz, что может служить объективным доказательством эффективности предложенного подхода.
Таким образом, резюмируя результаты проведенных исследований, можно сделать вывод, что разработанный алгоритм обнаружения недетерминированных объектов и уточнения их положения с обучением в реальном времени позволяет осуществлять подтверждение наличия объекта в заданной области и уточнять его координаты с точностью, достаточной для обоснованного использования во встраиваемых вычислительных системах перспективных робототехнических комплексов.
На дальнейших этапах развития алгоритма предполагается заменить фиксированный сдвиг окон при обнаружении на использование циркулянт-ных матриц, что должно повысить точность локализации объекта интереса.
Поскольку дескриптор HOG является дескриптором формы объекта, планируется также при обучении классификатора использовать дополнительно дескрипторы текстуры, например, локальные бинарные паттерны (local binary patterns, LBP) [21, 22], что должно положительно сказаться на точности классификации [23]. Также перспективной является замена одного сильного классификатора на каскад слабых классификаторов - это позволит более простым способом избегать переобучения и дополнительно повысит точность нахождения объекта ввиду корректировки параметров по ходу слежения.
Список литературы
1. Fully-Convolutional Siamese Networks for Object Tracking / L. Ber-tinetto, J. Valmadre, J.F. Henriques, A. Vedaldi, P.H.S. Torr // Computer Vision - ECCV 2016 Workshops. ECCV 2016. Lecture Notes in Computer Science.
2016. Vol. 9914. Springer, Cham.
2. Structured Siamese Network for Real-Time Visual Tracking / Y. Zhang, L. Wang, J. Qi, D. Wang, M. Feng, H. Lu // Computer Vision - ECCV 2018. Lecture Notes in Computer Science/ 2018. Vol. 11213. Springer, Cham.
3. Li D., Yu Y. & Chen X. Object tracking framework with Siamese network and re-detection mechanism // J Wireless Com Network, 2019, 261.
4. Kalal Z., Mikolajczyk K., Matas J. Tracking - Learning - Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012. Vol. 34. No. 7. P. 1409 - 1422.
5. High-Speed Tracking with Kernelized Correlation Filters / J.F. Hen-riques [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2015. Vol. 37. No 3. P. 583 - 596.
6. Davis P. J. Circulant Matrices. NY: Wiley-Interscience, 1979.
7. Dalal N., Triggs B., Histograms of oriented gradients for human detection // IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), San Diego, CA, USA. 2005. Vol. 1. P. 886 - 893. Doi: 10.1109/CVPR.2005.177.
8. Visual classification of coarse vehicle orientation using Histogram of Oriented Gradients features / P.E. Rybski, D. Huber, D.D. Morris, R. Hoffman // IEEE Intelligent Vehicles Symposium, La Jolla, CA, USA. 2010. P. 921 - 928. Doi: 10.1109/IVS.2010.5547996.
9. Fast Feature Pyramids for Object Detection / P. Dollar, R. Appel, S. Belongie and P. Perona // Шп IEEE Transactions on Pattern Analysis and Machine Intelligence. Aug. 2014. Vol. 36. No. 8. P. 1532 - 1545.
10. Самсонов Н.А., Гнеушев А.Н. Дескриптор в аккумуляторном пространстве Хафа градиентного поля изображения для детектирования пешеходов // Машинное обучение и анализ данных. eISSN: 2223-3792.
2017. №3. Т. 3. С. 203 - 215.
11. Misra I., Shrivastava A., Hebert. M. HOG and Spatial Convolution on SIMD Architecture. Technical report. Robotics Institute. Carnegie Mellon University, 2013.
12. Huang C., Huang J. A Fast HOG Descriptor Using Lookup Table and Integral Image. ArXiv, abs/1703.06256, 2017.
13. Roshan K., Saurabh S., Machine Learning: A Review on Binary Classification // International Journal of Computer Applications. 2017.
14. Cortes C., Vapnik V. Support Vector Networks // Mach. Learn. 20. 1995. P. 273 - 297.
15. Burges J.C. A tutorial on support vector machines for pattern recognition // Data Min. Knowl. Disc. 1998. P. 121 - 167.
16. Cristianini N., Shawe-Taylor J. An Introduction to Support Vector Machines and other kernel-based learning methods. Cambridge University Press, Cambridge, 2000.
17. Zhou X., Zhang X., Wang B. Online Support Vector Machine A Survey // Harmony Search Algorithm. Advances in Intelligent Systems and Computing. Springer, Berlin, Heidelberg. 2016. Vol. 382. https://doi. org/ 10.1007/978-3-662-47926-1 26.
18. Pegasos: primal estimated sub-gradient solver for SVM / S. Shalev-Shwartz, Y. Singer, N. Srebro [et al.] // Math. Program. 2020. 127. P. 3 -30.
19. Многоагентный алгоритм автоматического обнаружения и сопровождения недетерминированных объектов / В.А. Бондаренко, Д.К. Ельцова, А.И. Лизин, В.А. Павлова, М.В. Созинова, В.А. Тупиков // Известия ЮФУ. Технические науки. 2020. 1 (211). С. 218 - 232.
20. Generalized Intersection Over Union: A Metric and a Loss for Bounding Box Regression. / H. Rezatofighi, N. Tsoi, J. Gwak, A. Sadeghian, I. Reid, S. Savarese // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA. 2019. P. 658 - 666.
21. Heikkila M., Pietikainen M. A texture-based method for modeling the background and detecting moving objects // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. 28(4). P. 657 - 662.
22. Kertesz C. Texture-Based Foreground Detection // International Journal of Signal Processing. Image Processing and Pattern Recognition (IJSIP). 2011. Vol. 4. No. 4.
23. Khalifa T. §engul G. The Integrated Usage of LBP and HOG Transformations and Machine Learning Algorithms for Age Range Prediction from Facial Images // Tehnicki Vjesnik. 2018. 25. P. 1356-1362. 10.17559/TV-20170308030459,
Бондаренко Владимир Александрович, начальник центра, bondarenko@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Гессен Павел Алексеевич, научный сотрудник, pasha.gessen@outlook.com, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Павлова Валерия Анатольевна, канд. техн. наук, зам. директора, pavlova@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Созинова Мария Владимировна, начальник отдела, sozinova@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Тупиков Владимир Алексеевич, д-р техн. наук, профессор, директор научно-производственного комплекса, tupikov@nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
OBJECT DETECTION ALGORITHM WITH ONLINE LEARNING DURING TRACKING V.A. Bondarenko, P.A. Gessen, V.A. Pavlova, M.V. Sozinova, V.A. Tupikov
In order to create a new algorithm for automatic detection of objects with real-time training, a study of the world scientific groundwork in the field of general-purpose automatic tracking with the ability to recognize a tracked object with the potential for application in embedded computing systems of optoelectronic systems of promising robotic complexes was carried out. Based on the conducted research, methods and approaches were selected and tested that allow, with the greatest accuracy, while maintaining high computational efficiency, to provide training of classifiers on the fly (online learning) without a priori knowledge of the type of tracking object and to ensure the subsequent detection of the original object in the event of its short-term loss. The article substantiates the choice of one of the real-time classification algorithms that allows solving the problem of binary classification - the support vector machine. The developed algorithm has shown high efficiency in solving the problem and is planned to be implemented as part of a special software for optoelectronic systems of advanced robotic systems.
Key words: automatic detection; online learning; support vector machine; histogram of oriented gradients; automatic tracking.
Bondarenko Vladimir Alexandrovich, head of the centre, bondarenko@nppame.ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics» ,
Gessen Pavel Alekseevich, researcher, pasha.gessen@,outlook.com, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»,
Pavlova Valeria Anatolyevna, candidate of technical sciences, deputy director, pav-lova@nppame.ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»,
Sozinova Maria Vladimirovna, chief of the department, sozinova@nppame. ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics» ,
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, director, tupikov@nppame.ru, Russia, Saint Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»
УДК 004.051 DOI: 10.24412/2071-6168-2021-7-16-28
ПРОГРАММНЫЙ КОМПЛЕКС АВТОМАТИЗАЦИИ ТЕСТИРОВАНИЯ И ВАЛИДАЦИИ АЛГОРИТМОВ ОБНАРУЖЕНИЯ
И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ
В.А. Бондаренко, А.Ю. Гагарина, В.А. Павлова, В.А. Тупиков
Разработан программный комплекс автоматизации тестирования алгоритмов обнаружения и сопровождения, который включает в себя модуль автоматизации разметки видеозаписей, модуль тестирования алгоритмов, модуль оценки качества их работы и модуль логирования. Комплекс выполняет оценку качества работы алгоритмов по совокупности параметров, обеспечивающих выполнение комплексного тестирования. Выделены наиболее эффективные и показательные метрики оценки качества алгоритмов обнаружения и сопровождения, использующиеся в разработанном программном комплексе: анализ области перекрытия, анализ ошибки определения центра объекта, анализ сбоев сопровождения и время работы алгоритма на один кадр. Результаты, полученные в результате применения программного комплекса автоматизации тестирования, объективно продемонстрировали эффективность разрабатываемых и применяемых алгоритмов при значимом сокращении трудозатрат на тестирование.
Ключевые слова: автоматизация тестирования, тестирование алгоритмов, обнаружение объектов, сопровождение объектов, метрики оценки, оценка эффективности алгоритма, валидация.
Введение. Задача обнаружения и сопровождения объектов на видеопоследовательностях, особенно при наличии разного рода помех, всё ещё остается одной из наиболее сложных и актуальных. На данный момент исследователями предложено и разработано множество реализаций различных алгоритмов как обнаружения, так и сопровождения, поэтому возникает задача сравнения существующих алгоритмов для выбора, наиболее подходящего по совокупности необходимых качеств и его последующей реализации. В процессе разработки собственных реализаций алгоритмов обнаружения и/или сопровождения необходимо сравнение разных версий алгоритма с целью фиксации изменений в качестве его работы. Также часто необходимо протестировать уже разработанный алгоритм для оценки его качества и выявления граничных условий применения. Некоторые параметры качества работы алгоритма могут быть оценены вручную и/или визуально, однако подобное тестирование - довольно длительный и ненадежный процесс.
