CC BY
9
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, deputy director general, Director of Research and production complex of special purpose robotic systems, tupikov@,nppame.ru, Russia, St. Petersburg, PE «Research and Production Enterprise «Air and Marine Electronics»
УДК 004.93'12
DOI: 10.24412/2071-6168-2022-11-13-25
КОМПЛЕКС УТОЧНЕНИЯ ПАРАМЕТРОВ АЛГОРИТМОВ НЕПРЕРЫВНОГО СОПРОВОЖДЕНИЯ ДЛЯ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ
П.А. Гессен, А.И. Лизин, В.А. Павлова, В.А. Тупиков
Проведены разработка и полунатурное моделирование предлагаемого модуля, а также оценка эффективности его работы в задачах корректировки и обнаружения объекта интереса в режиме реального времени с предварительным online-обучением в процессе слежения за объектом. Разработанный алгоритм показал высокую эффективность при решении поставленной задачи. Представлены предложения по дальнейшему повышению точности и вероятности обнаружения объекта интереса разработанным алгоритмом, а также по повышению его производительности путем оптимизации вычислений.
Ключевые слова: автоматическое обнаружение, обучение на лету, метод опорных векторов, гистограмма направленных градиентов, кластеризация, автоматическое сопровождение.
В современных робототехнических системах на данный момент остро стоит вопрос обнаружения и сопровождения недетерминированных объектов. В данной области уже существует большое количество готовых решений, начиная с простой корреляции, заканчивая последними разработками в области нейронных сетей, и с течением времени предлагаются более совершенные и точные методы. Однако разработка новых алгоритмов идет в сторону повышения точности путем увеличения затрачиваемых ресурсов [1 - 3], что подразумевает под собой увеличение вычислительных мощностей для поддержания режима работы реального времени, что может быть несовместимо с множеством встраиваемых оптико-электронных систем в виду ограничений, которые те имеют. При этом существует множество алгоритмов, уже работающих в таких системах. Такие алгоритмы проигрывают новым в точности, однако многократно опережают в плане скорости, при этом они могут не иметь возможности обнаружения цели после ее потери или же вообще понимания о потере цели слежения [4,5]. Таким образом, разработка отдельного модуля, который бы обеспечивал улучшение точности сопровождения цели и обеспечивал повторное обнаружение её, является приоритетной задачей. В таком случае появится возможность адаптировать уже созданные алгоритмы под современные стандарты сопровождения и обнаружения, не теряя в скорости работы, что является актуальным направлением развития в данной области.
13
Рассматривается новый модуль по улучшению существующих алгоритмов на основе машинного обучения и кластеризации, который предоставляет следующий функционал: улучшение точности сопровождения путем корректировки положения описывающего прямоугольника, добавление масштабной и поворотной инвариантностей, повторного определения положения цели после ее кратковременной потери.
Гистограмма направленных градиентов (HOG). Перед тем, как приступить к исполнению любой задачи, которая связана с обработкой изображений, часто важно предварительно провести обработку изображения, чтобы сделать его более подходящим для использования в качестве входных данных в других алгоритмах. Использование значений яркостей хоть и применяется, однако зачастую крайне неэффективно и затратно. Поэтому большая часть алгоритмов обработки изображений, как правило, извлекают из поступающих на вход данных самую значимую для дальнейшего использования информацию - некоторые ключевые признаки изображения или его дескриптор. Они позволяют описать объект интереса наименьшим количеством данных, сохраняя всю важную информацию, при этом сокращая размерность входных данных и тем самым упрощая их последующую обработку.
PliWS Ив L
! Г.чЛ
■JFL^h \
1 ли Г \
тш т
13 ft 'П ■■■
* 1 \
IR -
IIIHI
янь а
© 36 5 ^^ 0 64 90 73
37 в в 179 76 27 169 166
а1 136 173 39 102 163 152 176
76 13 1 166 159 22 125 143
120 /0 14 150 145 144 145 143
SB 66 119 № 100 101 133 1)3
30 65 157 75 76 165 145 124
It 170 91 4 110 17 133 уЛ
2 3 4 4 J 4 2 2
5 It 17 13 г 9 a 4
It я 2з гт в 17 t в
23 Н 16Ь 135 35 33 го 2
>1 1» 133 13« 144 1» sr я
96 iw те за 26 90 17D 31
165 SO 60 37 77 35 43 130
П 13 34 S3 106 2Т 43 НО
Магннтуда градиента
90 к 9 19 9 94 90 73
37 9 9 179 ТВ 27 169 1«
tst 1» 173 39 1щ 103 153 176
76 13 1 166 199 22 125 1-43
120 ТО 14 ISO 149 144 145 143
М № 119 99 109 101 133 113
30 И 1(7 73 Я 1« 143 124
11 170 >1 4 110 17 133 110
Направление градиента
✓ ✓ / ✓ 1
✓ I
Направление грлднеята /'
3 з 4WJ 4 2 2
11 9 3 4
1
23 27 22 17 4 6
99 165 135 85 зг 26 г
'91 155 133 136 144 152 57 28
96 196 76 за 26 60 170 51
165 60 60 27 77 65 43 136
71 13 34 23 108 27 48 110
Магннтуда градиента
✓ У у у
—>1 2 / f 2
40 GO SO 100 13<|
Гистограмма градиентов
Рис. 1. Формирование гистограммы ориентированных градиентов
14
В дескрипторе ключевых признаков HOG [6] такими признаками являются распределения (гистограммы) направлений и магнитуд градиентов (ориентированные градиенты). Градиенты изображения полезны, так как их значение велико на краях и углах какой-либо фигуры (областях резкого изменения интенсивности), а именно: эти области несут в себе ключевую информацию о форме объекта, в отличие от плоских (монотонных) областей.
Опишем алгоритм преобразования изображения в HOG-дескриптор:
1. Масштабирование выбранной части кадра к единому, заранее определенному размеру.
2. Вычисление градиента изображения по осям x и y (рис. 1).
3. Составление гистограммы градиентов в ячейках 8x8 (рис. 1).
4. Нормализация гистограмм в блоках по 4 гистограммы (ячейки).
5. Финальное вычисление вектора ключевых признаков.
Таким образом, на выходе, после преобразования из исходных значений яркости, получаем вектор численных значений, описывающий изображение.
HOG-дескриптор является хорошим методом описания изображения ввиду своей высокой дискриминативности, скорости работы, малого количества хранимой информации, нашедшим признание среди исследователей в различных областях применения [7 - 9], а также имеет широкие возможности для оптимизации и ускорения своей работы за счет применения векторных команд [10] и других методов [11]. К недостаткам данного метода можно отнести отсутствие инвариантности к повороту в финальном виде (на стадии составления гистограмм возможен ограниченный поворот на фиксированный угол) и необходимость этапа предварительной обработки изображения, который оказывает сильное влияние на качество работы алгоритма, если исходные изображения имеют сильные различия в масштабе. В нашей реализации этап предварительной обработки сводится к масштабированию изображения к фиксированной величине, определяемой в зависимости от исходного размера выделенной части изображения, и происходит вычислительно быстро.
Классификаторы режима реального времени. Режим реального времени означает такой режим обработки данных, при котором скорость взаимодействия системы с внешними процессами соизмерима со скоростью протекания этих процессов. Для решения задачи классификации (построение алгоритма, способного по известным соотношениям «объект -его принадлежность» распределить ранее неизвестные объекты по известным группам принадлежностей) в таких условиях используют алгоритмы машинного обучения, подразделом которых являются и нейронные сети. Применение искусственных нейронных сетей является более точным и прогрессивным подходом, однако он страдает от двух главных недостатков: необходимость обработки заранее предоставленных (априорных) данных и достаточно низкая скорость работы ввиду высокой вычислительной сложности обучения. И если первый недостаток еще можно обойти, то второй
на данный момент не позволяет использовать нейронные сети для обучения и обнаружения в реальном времени во встраиваемых системах. Поэтому для поставленной задачи выбран подход машинного обучения без использования нейронных сетей.
Для решения задачи бинарной классификации (распределения объектов на два множества: объект - не объект) [12] был выбран один из наиболее успешных классических методов машинного обучения - метод опорных векторов (англ. SVM - Support Vector Machine) [13 - 15].
SVM. Основная идея метода состоит в разделении векторов признаков обучающей выборки некоторой гиперплоскостью оптимальным образом. Мерой оптимальности в данном случае выступает расстояние между разделяющей гиперплоскостью и объектами разделяемых классов: чем оно больше, тем меньше будет средняя ошибка классификатора.
Главным достоинством такого метода, по сравнению с другими известными решениями, является необходимость достаточно малого объема исходных данных для получения высокой точности предсказания результата, а также высокая скорость работы - это один из быстрейших методов нахождения решающей функции, что имеет ключевое значение для задач обработки в режиме реального времени. Еще одним достоинством является возможность регулировки параметра, позволяющего избежать переобучения - ситуации, при которой классификатор чересчур точно определяет модель объекта и становится восприимчивым даже к самым небольшим ее изменениям. К недостаткам данного метода можно отнести чувствительность к выбросам в исходных данных (шумам) и необходимости стандартизации входных данных. Решение первого недостатка возлагается на алгоритм слежения за объектом. Проблема стандартизации решается при помощи применения HOG-дескриптора, описанного выше.
Методы машинного обучения, в которых данные поступают последовательно и используются для улучшения предсказываемого результата на каждом шаге, называются online-методами обучения (online learning) [16]. Основным их отличием от обычных является возможность обработки исходных данных (обучения), поступающих последовательно и поэтапно, то есть без необходимости наличия базы исходных данных об объекте обучения. Один из таких методов, реализующий метод опорных векторов в режиме online - Pegasos (Primal Estimated sub-GrAdient SOlver for SVM) [17]. Основная идея метода заключается в выполнении стохастического градиентного спуска на каждом шаге. Выбор именно этого метода обусловлен скоростью работы и достаточно ограниченным количеством тренировочных примеров, необходимых для обучения классификатора.
Кластеризация. Это задача разбиения множества объектов на группы, называемые кластерами. Внутри каждой группы должны оказаться «схожие/близкие» объекты. Главное отличие кластеризации от классификации состоит в том, что перечень групп четко не задан и определяется в процессе работы алгоритма.
Применение кластерного анализа в общем виде сводится к следующим этапам:
Отбор выборки объектов для кластеризации.
Определение множества переменных, по которым будут оцениваться объекты в выборке.
Вычисление значений меры сходства между объектами.
Применение метода кластерного анализа для создания групп схожих объектов (кластеров).
Представление результатов анализа.
В нашем случае объектами кластеризации являются части изображения; переменные, которые принимают участие в составлении кластеров - ключевые точки изображения. Одним из самых важных вопросов является следующий: как определить критерий, по которому можно считать, что ключевые точки схожи и являются частью одного и того же кластера? В литературе используются такие меры, как евклидово расстояние, квадрат евклидова расстояния, расстояние городских кварталов (манхэттенское расстояние), расстояние Чебышева, степенное расстояние и другие. Однако не все они в должной мере подходят для решения нашей задачи ввиду неподходящего критерия или вычислительной сложности.
Таким образом, было принято решение в качестве критерия использовать расстояние от точек до границ уже существующих кластеров.
Применяемый подход. Реализация разработанного алгоритма используется в совокупности с каким-либо алгоритмом слежения за объектом. В данной статье для примера будет рассматриваться частный случай: многоагентный алгоритм автоматического обнаружения и сопровождения недетерминированных объектов [18].
Обучение. На вход модуля подаются видеопоток и описывающий прямоугольник, который определяет первоначальное положение объекта слежения. На стадии предварительной обработки, опираясь на соотношение сторон первоначальной рамки, выбирается фиксированный размер картинки, к которому будут приводиться изображения объекта даже при изменении их масштаба (фиксация размерности входных данных для классификатора). После на данном этапе происходит определение параметров кластеризации: детектором ключевых точек собираются все точки с кадра, а после разбиваются на кластеры с использованием различных параметров. На первом шаге существует один кластер из одной ключевой точки.
Далее последовательно перебираются точки изображения: либо расширяют границы уже существующего кластера, либо создают новый, если нет подходящего. Таким образом получаются описывающие рамки вокруг выделяющихся объектов на изображении. В зависимости от параметров соотнесения точек к кластерам можно получить различные выборки объектов - от крупных до очень малых. В итоге получаем одно разбиение изображения на кластеры, при этом рамки могут пересекаться, что обеспечивает большую вариативность. В итоге эталонными параметрами принимаются те, описывающий прямоугольник кластера которых имеет
наибольшую площадь пересечения с истинным объектом. В дальнейшем, на каждом кадре видеопотока изображение объекта, ограниченное прямоугольником, масштабируется к размеру, определенному на стадии инициализации, после чего для участка изображения с отслеживаемым объектом и небольшой сдвинутой области такого же размера вокруг него вычисляются дескрипторы HOG. Непосредственно перед вычислением дескриптора изображение поворачивается вдоль направления линии градиентов. Таким образом обеспечивается поворотная инвариантность. За точность предоставляемых входных данных на первых этапах обучения отвечает алгоритм сопровождения. Таким образом формируется эталонное описание объекта интереса в виде набора HOG-дескрипторов. Одновременно с этим происходит кластеризация ключевых точек с вычисленными ранее параметрами. Происходит отсев слишком неправдоподобных кластеров (а точнее, изображений внутри описывающего прямоугольника, построенного вокруг кластера), а затем полученные результаты проверяются при помощи SVM. Поскольку в процессе слежения знаем, где находится истинный объект, мы можем классифицировать отклики текущего этапа обучения SVM. Таким образом формируется выборка ложноположительных откликов, определяемых откликом классификатора и площадью пересечения с настоящей целью. Выбранные окна "не-объекта" подвергаются предварительной фильтрации при помощи нормализованной кросс-корреляции (Normalized Cross Correlation) с истинным изображением - если разница меньше определенного порога (изображения не похожи), то они подаются для обучения методу опорных векторов с меткой "не-объект". Таким образом обеспечивается ускоренная сходимость классификатора и его сбалансированность на различных данных. После определенного количества кадров, когда данный метод сбора негативной выборки становится малоэффективным ввиду обученности классификатора, начинает работать другой метод - выбираются и подготавливаются несколько произвольных окон на изображении, которые будут использоваться в качестве примеров "необъекта" для обучения классификатора. С ними происходят все те же операции, что и с аналогичными изображениями, полученными кластеризацией, и они подаются для обучения классификатору. Данная предварительная отбраковка негативных примеров по результатам анализа позволяет повысить скорость сходимости обучения классификатора и в дальнейшем повысить стабильность его предсказаний. В соответствии с полученными данными происходит корректировка гиперплоскости. После описанных выше действий происходит переход к следующему кадру видеопотока, и вся процедура повторяется вновь.
Корректировка. Уточнение положения объекта в кадре происходит на основе последовательности откликов обученного классификатора. На протяжении всего времени слежения предлагаемый модуль осуществляет проверку корректности и точности описания истинного положения объекта в кадре. Для этого используются обученный классификатор и метод кластерезации ключевых точек. На каждом кадре после кластеризации
находится такая описывающая рамка, которая лучшим образом описывает объект (исходя из положения рамки алгоритма слежения и текущих параметров кластеризации). После этого проводится проверка параметра пересечения рамки слежения и вышеописанного прямоугольника, а результат сохраняется. Если на протяжении нескольких последовательных кадров данный показатель ухудшается, то за рамку сопровождения принимается отклик описывающего прямоугольника кластеризации. При отсутствии рамки положительного отклика от алгоритма кластеризации и классификатора в предполагаемом месте истинного положения объекта на протяжении некоторого времени происходит пересчет параметров кластеризации, описанный в начале предыдущего подраздела, до тех пор, пока не будет найдена новая комбинация параметров. Данный подход обеспечивает масштабную инвариантность. Недостатком такого метода является его неспособность совершать корректировку на первых кадрах слежения, пока классификатор недостаточно обучен.
Обнаружение. На данный момент самым точным способом локализации объекта является метод скользящего окна, в котором применяется вычисление откликов обученного классификатора для большого количества накладываемых на изображение окон. Однако насколько этот способ точен, настолько он вычислительно неэффективен, что недопустимо для поставленной задачи. Поэтому предлагается новое решение на основе кластеризации и классификатора. Обнаружение объекта после потери во многом схоже с методом корректировки, описанным выше: на каждом кадре собирается множество точек и разбивается на кластеры в соответствии с параметрами, которые были на момент потери объекта. Изображения внутри описывающих рамок полученных кластеров в виде HOG-дескрипторов передаются для проверки классификатору. Данная последовательность действий повторяется на нескольких соседних кадрах, после чего принимается решение о наличии объекта на основе множественных положительных откликов от SVM в одной области. При отсутствии положительных откликов на протяжении нескольких кадров или же положительных откликов, которые не воспроизводятся в схожих местах последовательно, происходит пересчет параметров кластеризации, и вышеописанные действия повторяются для новых значений.
Результаты. Тестирование выполнялось при помощи полунатурного моделирования с использованием программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения, разработанного АО «НПП «АМЭ» [19], и реальных видеозаписей, полученных в различных условиях наблюдения. Для тестирования были размечены видеопоследовательности, содержащие объекты интереса типа «Кунг», «Здание», «Мост» и др. размером от ~64х64 до ~256х256 пикселей.
Для наиболее полной оценки точности предлагаемого модуля, использовалась метрика IoU (Intersection over Union) [20]. Данная метрика подразумевает оценку отношения площадей пересечения описывающих прямоугольников к площади их объединения. Один из прямоугольников
^1), определяющий истинное положение объекта в кадре, задается оператором при тестировании, второй S2 является результатом работы того или иного алгоритма сопровождения:
51 п ^2
1ои
е[0;1]
51 и 52
Чем ближе получаемое значение 1ои к единице, тем более точное предсказание истинного положения объекта и его размеров даёт оцениваемый алгоритм. Также оценивается среднее расстояние от центра истинного прямоугольника до центра предсказанного прямоугольника (чем меньше, тем лучше)
Тестирование проводилось по следующей методике:
1. На интересующей видеозаписи в определенный момент выполнялся захват объекта на сопровождение.
2. На протяжении 100-200 кадров выполнялось обучение SVM классификатора предложенного модуля.
3. После прохождения порога обучения начиналась корректировка слежения.
4. Имитировался срыв сопровождения посредством перехода на другой кадр видеопоследовательности.
5. Зоны предполагаемого местонахождения объекта подвергались обработке по методике, описанной выше. Таким образом, выполнялось подтверждение наличия объекта.
6. Результирующие средние значения 1оЦгаск для алгоритма сопровождения (без уточнения положения) и для алгоритма обнаружения IoUsvm со всей последовательности видео записывались в таблицу.
7. Результирующие средние значения расстояния центров так же заносились в таблицу.
Результаты систематизации экспериментов, проведенных по данной методике, представлены на рис. 2 и 3.
Рис. 2. Графики области пересечения ТоШгаек (серый) и Тоиуш (оранжевый)
Рис. 3. Графики разницы расстояний центров обычный (серый) и с предложенным модулем (оранжевый)
Среднее значение IoUtrack (то есть без использования предложенного модуля) по результатам 15 экспериментов составило IoUtrack = 0.458, тогда как среднее значение IoUsvm с применением предложенного модуля IoUsvm = 0.497, что даёт прирост AIoU = +0.039. Данное значение AIoU является средним по всем типам объектов интереса, при этом для малоразмерных целей оно меньше, а для крупноразмерных объектов значение AIoU значительно больше. Разница между центрами описывающих прямоугольников составляет 29.8 для оригинального алгоритма и 24.6 для улучшенного, что дает нам среднее улучшение в 5.2 условных единиц. Данные приросты точности охвата цели являются весьма существенным с учётом проведённого объема тестирования и могут служить объективным доказательством эффективности предложенного подхода.
Таким образом, по результатам полунатурного моделирования с использованием программного комплекса автоматизации тестирования алгоритмов обнаружения и сопровождения использование предложенного алгоритма дало прирост точности охвата цели во время сопровождения AIoU = +0.039 и приближение центра охвата к истинному на 5.2 условных единиц, что может служить объективным доказательством эффективности предложенного подхода.
Резюмируя результаты проведенных исследований, можно сделать вывод, что разработанный модуль позволяет осуществлять корректировку положения объекта во время сопровождения и подтверждение наличия объекта в заданной области, а также уточнять его координаты с точностью, достаточной для обоснованного использования во встраиваемых вычислительных системах перспективных робототехнических комплексов.
На дальнейших этапах развития планируется также при обучении классификатора использовать дополнительно дескрипторы текстуры, например, локальные бинарные паттерны (local binary patterns, LBP) [21,
22], что должно положительно сказаться на точности классификации [23]. Также перспективным является вынесение работы модуля в отдельные потоки для большей вычислительной эффективности.
Список литературы
1. Fully-Convolutional Siamese Networks for Object Tracking (2016) / L. Bertinetto, J. Valmadre, J.F. Henriques, A. Vedaldi, P.H.S. Torr // Hua G., Jegou H. (eds) Computer Vision - ECCV 2016 Workshops. ECCV 2016. Lecture Notes in Computer Science. V. 9914. Springer, Cham.
2. (2018) Structured Siamese Network for Real-Time Visual Tracking. / Y. Zhang, L. Wang, J. Qi, D. Wang, M. Feng, H. Lu // Ferrari V., Hebert M., Sminchisescu C., Weiss Y. (eds) Computer Vision - ECCV 2018. ECCV 2018. Lecture Notes in Computer Science. V. 11213. Springer, Cham.
3. Object tracking framework with Siamese network and re-detection mechanism / D. Li, Y. Yu, & X. Chen // J Wireless Com Network, 2019, 261.
4. Kalal Z., Mikolajczyk K., Matas J. Tracking-Learning-Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. V. 34, № 7. 2012. P. 1409-1422.
5. "Staple: Complementary Learners for Real-Time Tracking," / L. Bertinetto, J. Valmadre, S. Golodetz, O. Miksik and P. H. S. Torr // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. P. 1401-1409, doi: 10.1109/CVPR.2016.156.
6. Dalal N., Triggs B., Histograms of oriented gradients for human detection. 2005 // IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), San Diego, CA, USA, 2005. V. 1. P. 886-893. doi: 10.1109/CVPR.2005.177.
7. "Visual classification of coarse vehicle orientation using Histogram of Oriented Gradients features," 2010. P.E. Rybski, D. Huber, D.D. Morris, R. Hoffman // IEEE Intelligent Vehicles Symposium, La Jolla, CA, USA, 2010, P. 921-928, doi: 10.1109/IVS.2010.5547996.
8. Dollar P., Appel R., Belongie S. and Perona P., Fast Feature Pyramids for Object Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence. Aug. 2014. V. 36. № 8. P. 1532-1545,
9. Самсонов Н.А., Гнеушев А.Н. Дескриптор в аккумуляторном пространстве Хафа градиентного поля изображения для детектирования пешеходов. Машинное обучение и анализ данных. eISSN: 2223-3792. 2017. т. 3, №3. С. 203-215.
10. Misra I., Shrivastava A., Hebert. M. HOG and Spatial Convolution on SIMD Architecture // Technical report, Robotics Institute, Carnegie Mellon University, 2013.
11. Huang C., Huang J. A Fast HOG Descriptor Using Lookup Table and Integral Image. ArXiv, abs/1703.06256, 2017.
12. Roshan K., Saurabh S., Machine Learning: A Review on Binary Classification // International Journal of Computer Applications. 2017.
13. Cortes, C., Vapnik, V. Support Vector Networks. Mach. Learn. 20, 273-297 (1995).
14. Burges, J.C.: A tutorial on support vector machines for pattern recognition. Data Min. Knowl. Disc., 121-167 (1998).
15. Cristianini, N., Shawe-Taylor, J. An Introduction to Support Vector Machines and other kernel-based learning methods. Cambridge University Press, Cambridge, 2000.
16. Zhou X., Zhang X., Wang B. (2016) Online Support Vector Machine: A Survey. In: Kim J., Geem Z. (eds) Harmony Search Algorithm // Advances in Intelligent Systems and Computing, V. 382. Springer, Berlin, Heidelberg.
17. "Pegasos: primal estimated sub-gradient solver for SVM / Shalev-Shwartz, S., Singer, Y., Srebro, N. [et al.]. Math. Program. 127, 2020, 330.
18. Многоагентный алгоритм автоматического обнаружения и сопровождения недетерминированных объектов / В.А. Бондаренко, Д.К. Ельцова, А.И. Лизин, В.А. Павлова, М.В. Созинова, В.А. Тупиков // Известия ЮФУ. Технические науки. 2020, 1 (211), С. 218-232.
19. Программный комплекс автоматизации тестирования алгоритмов обнаружения и сопровождения объектов на видеопоследовательностях / В.А. Бондаренко, А.Ю. Гагарина, В.А. Павлова, В.А. Тупиков // Перспективные системы и задачи управления: материалы XVI Всероссийской научно-практической конференции и XII молодежной школы-семинара «Управление и обработка информации в технических системах». - Таганрог: ИП Марук М.Р., 2021. - 355 с.
20. Generalized Intersection Over Union: A Metric and a Loss for Bounding Box Regression / H. Rezatofighi, N. Tsoi, J. Gwak, A. Sadeghian, I. Reid S. Savarese // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019, pp. 658-666.
21. Heikkila M., Pietikainen M. A texture-based method for modeling the background and detecting moving objects // IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(4):657-662, 2006.
22. Kertesz C. Texture-Based Foreground Detection // International Journal of Signal Processing. Image Processing and Pattern Recognition (IJSIP), Vol. 4, No. 4, 2011.
23. Khalifa T. §engul G. The Integrated Usage of LBP and HOG Transformations and Machine Learning Algorithms for Age Range Prediction from Facial Images // Tehnicki Vjesnik. 25. 1356-1362. 10.17559/TV-20170308030459,2018.
Гессен Павел Алексеевич, научный сотрудник, gessen_pa@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Лизин Алексей Игоревич, начальник центра, lizin a@ nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Павлова Валерия Анатольевна, канд. техн. наук, заместитель директора, pavlova@nppame.ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»,
Тупиков Владимир Алексеевич, д-р техн. наук, проф., директор Научно-производственного комплекса, tupikov@nppame. ru, Россия, Санкт-Петербург, АО «Научно-производственное предприятие «Авиационная и морская электроника»
COMPLEX FOR REFINEDING PARAMETERS OF ALGORITHMS OF CONTINUOUS SUPPORT FOR OPTO-ELECTRONIC SYSTEMS
P.A. Gessen, A.I. Lizin, V.A. Pavlova, V.A. Tupikov
The authors of the study carried out the development and semi-natural modeling of the proposed module, evaluated the effectiveness of its work in the tasks of correcting and detecting the object of interest in real time with preliminary online training in the process of tracking the object. The developed algorithm has shown high efficiency in solving the problem. In conclusion, proposals are presented to further improve the accuracy and probability of detecting an object of interest by the developed algorithm, as well as to improve its performance by optimizing calculations.
Key words: automatic detection, on-the-fly training, support vector machine, histogram of directional gradients, clustering, automatic tracking.
Gessen Pavel Alekseevich, researcher, gessen_pa@nppame.ru, Russia, St. Petersburg, PE «Research and Production Enterprise «Air and Marine Electronics»,
Lizin Aleksey Igorevich, head of the center, lizin aanppame. ru, Russia, St. Petersburg, PE «Research and Production Enterprise «Air and Marine Electronics»,
Pavlova Valeria Anatolyevna, candidate of technical sciences, deputy director, pavlova@nppame.ru, Russia, St. Petersburg, JSPE «Research and Production Enterprise «Air and Marine Electronics»,
Tupikov Vladimir Alekseevich, doctor of technical sciences, professor, director of the research and production complex, tupikov@nppame. ru, Russia, St. Petersburg, SPE «Research and Production Enterprise «Air and Marine Electronics»
