CC BY
6
УДК 004.932.2
Система вщслщковування об'еклтв на вщеопослщовностях у шфрачервоному та видимому д!апазонах на ochobî канально-незалежного просторово-регуляризованого дискримшантного корелящйного фшьтру
Варфоломеев А. Ю., Короткий 6. В.
Нацншалышй тохшчшш ушворситот Украши "Кшвський иолггохшчшш шетитут ¡Moiii 1горя СЛкорського"
E-mail: a.varfol-omieiev&kpi.ua
Представлено метод в1дсл1дковуваппя для роботи па в1деопосл1довпостях. що м!стять мультиспек-тральпу шформацпо. Розгляпуто можлиш способп об'едпаппя мультиспектралыкн шформацп при Bnpimeiuii задач! в1дсл1дковуваппя та обгруптовапо використаш1я шдходу па основ! об'едпаппя па piBiii обчислоппя озпак. 3 огляду па компромат можливоси по вцщошепшо до якост! та швидкодп. задачу в1дсл1дковуваппя запропоповапо вир!шувати за допомогою дискримшаптпих кореляццших ф!льтр1в (DCF). Розроблепо метод обчислоппя капалыю-пезалежпого дискримшаптпого кореляцшпого ф!льтру 1з просторовою регуляризащею, що оснований па використапш метода мпожпишв з! змшою папрямшв (ADMM). Обчислеппя DCF ф!льтру та локал!зацпо об'екта при цьому запропоповапо викопувати у спетцалыюму простор! озпак. що використовуе багатокапальш озпаки FHOG та озпаки па основ! зво-ротиого прооктувашш зважешн пстограми об'екта. Зазпачеш озпаки пропопуеться обчислювати для кожпого каналу в1дпов1дного кадру мультиспектралыкн в1деопосл1довпост1 та поеднувати отримуваш озпаки в едшшй тензор об'едпапого простору озпак. На тест! VOT Challenge RGBT2019 показано, що реал!зац!я запропоповапого методу за яшетю в1дсл1дковуваппя може копкурувати 1з б1лын скла-дпими р1шеппями. у тому числ! осповапими па техполопях пойрошшх мерож. В ход! експеримептав також встаповлопо. що зб1лынеппя обсягу коптокстпо-фопово1' шформацп дозволяе дещо шдвищити яшеть в1дсл1дковуваппя в пор1впяпш з базового роал!зац1ею запропоповапого методу пав!ть у випадку застосуваппя тальки озпак FHOG.
Клюноаг слова: в1зуальпе в1дсл1дковуваппя об'ектав: мультиспектральш зображеппя: дискримшаптш кореляцшш ф1льтри (DCF): метод мпожпишв з! змшою папрямшв (ADMM)
DOI: 10.20535/RADAP.2020.83.5-16
Вступ
Задача воуального вщслщковування об'екпв. що розглядаеться в дашй робота. полягае у по-шуку заданого об'екта на кожному кадр1 вщеопо-слщовноста (об'ект. при цьому. вважаеться апрюр1 невщомим 1 задаеться на першому кадр1 вщеопо-слщовноста. зазвичай. у вигляд1 прямокутно! облает!). Актуалыисть зазначсно1 задач! обумовлена вщносно широким спектром 11 застосування. який включав робототехшку. системи допомоги вод1ю. людино-машиншштерфейси. медицину, обробку вь део. охоронш та обороти системи тощо.
Характерною проблемою шд час вщелщковува-ння с виникнення ситуацш. коли об'ект потрапляе
за заваду або до область на фош яко! вш мае низьку контрастшсть. через що його стае важко розр1знити. а отже 1 надшно вщелщковувати. Одне з ршень. яке частково дозволяе виршити зазначену проблему, може полягати у сумкному використанш декшь-кох оптичних д1апазошв з р1зними властивостями завдяки неоднаковим властивостям. залежно вщ умов, об'ект все ще може добре розр1знятись в тому чи шшому д1апазош. Гарним прикладом такого су мщения е видимий (тслев1зшний) та далыий ш-фрачорвоний доапазони (див. рис. 1).
Водночас. при застосуванш декшькох оптичних д1апазошв постае нове питания: як система вщслщковування в кожен момент часу повинна обробляти не одне. як зазвичай. а вже декшька зображень.
отриманих у цих д1апазонах? Одно з ршень у да-ному випадку можо полягатн у поиередньому сумь щенш зображонь. представлених у р1зних д1аиазо-нах. в одно едино композитно зображоння. Для цьо-го. зокрема. можуть застосовуватись мотоди муль-тимодального чи мультиспоктрального об'еднання зображонь. описаш у роботах [1 3]. Ьшшй спосйб су-мпцоння можо породбачати об'еднання результате, отриманих ввд окромих систом вщслщковування [4]. При цьому зображоння кожного окромого оптично-го д1апазону обробляеться своею систомою вщслщ-ковування. шсля чого знайдеш ними координати об'екта поеднуються. даючи остаточний результат.
(а)
(б)
Рис. 1. Приклад сцен. на яких об'екти важко роз-pi3iiiiTii в одному оптичному д1аиазош. прото логшо в iiiniOMy: (а) людину добро видно у видимому дь ana30iii „швий кадр. тод1 як на шфрачервоному зображонш вона зливаеться з фоном правий кадр: (б) чороз засв1чування ввд фар. автомобшь номо-жливо побачити у видимому д1аиазош „швий кадр, прото його силуот добро розр1зняеться в шфрачер-воному д1апазош
Що один BapiaiiT одночаснсм обробки докшькох pi3iiopifliiiix зображонь можо полягатн у об'еднанш на piBiii озиак [4]. Тако piinoiura породбачае об-числоння ознак i3 зображонь кожного з оптичних д1апазошв та використання у метод1 вщелщкову-вання Bcix отриманих ознак як едино! множили. На думку aBTopiB. на сьогодш само цой BapiaiiT е найбшын доцшышм, оскшьки но породбачае зай-вих оиорацш. яш можуть призвости до втрати чи спотвороиня шформацп при отриманш единого зображоння шд час об'еднання мультимодалышх зображонь. е иросташим. шж застосування докшькох окромих шдсистом вщелщковування та можо в явному вигляд1 використовуватись доякими суча-сними методами вщелщковування. основаними на згорткових нойронних морожах (CNN) та дискри-MiiiaiiTiiiix королящйних фшьтрах (DCF).
Зпдно toctîb [5 8] систоми. що використовують згортков1 iiofipoiiiii моролй napa3i забозпочують най-вигцу точн1сть та надшшеть вщелщковування. Во-дночас. вони потробують значних обчислювалышх pocypciB. що ускладшое ïx застосування. особливо на вбудовашй апарату-pi. IvpiM того, в таких системах частина згорткових HiapiB нойронних мореж е попередньо навчоними [9 11]. причому зазвичай на навчалышх базах, що мштять шформащю у видимому д1апазош. При безиосоредньому засто-cyBaiini цих систом на шфрачервоних вщеоиосль довностях спостершаеться иевна доградащя якосп роботи. що обумовлено вщмшностями представления 30Biiiniiib0r0 вигляду об'ектав у Iх! д1аиазош [7]. Таким чином, для забезпечення biicokoï якосп вщелщковування. систоми. що базуються на нойронних мережах мають навчатися на вщповщних навчалышх виб1рках виб1рках з Iх! зображеннями чи вщеоиослщовностями.
Систоми. в ociiobî яких лежать дискримшантш королящйш фшьтри (DCF) та яы використовують «CTBoponi вручну» (не згортков1) ознаки. зпдно результате [7] но иоступаються за яшетю вщелщ-ковування дояким нейроморежним ршенням. При цьому вони мають значну швидкодпо. достатньою для роботи навиь на вбудовашй обчислювалыий anapaTypi. Як приклад можна навести систему [12]. яка на звичайному комп'ютер1 забезпечуе соредшо частоту обробки кадр1в на pinni 170-290 кадр1в/с. 3 огляду на цо. дану роботу Biipinieno присвятити досшджоншо само систоми на ociiobî DCF.
Загалом система вщелщковування. яку розгля-нуто нижче вперше була випробувана авторами в рамках тосту [13]. до також наведено ïï короткий иервинний опис шд назвою CISRDCF (див. VOT-RGBT2019 тост [13]). Мотою ж дано! публшацп е иовноцшний опис систоми CISRDCF для шфрачер-воного i видимого д1аиазошв. виправлеиия дояких неточностей, що були виявлеш в первиннш реаль зацп систоми [13]. а також дослщжоння додатко-вих можливостей шдвшцення якост роботи систоми CISRDCF за рахунок використання контокстно-фоновсм шформацп.
1 Канально-незалежний
дискримшантний кореляцш-ний фшьтр
Перш шж оиисувати процедуру отримання канально-незаложного дискримшантного фшьтру. для повноти викладення наведемо коротк1 вщомосп щодо особливостой застосування дискримшантних королящйних фшьтр1в до задач1 вщелщковуван-ня об'ектав. Дискримшантний кореляцшний фшьтр (DCF) е иевним фшьтром. при обчислонш кореляцп (або згортки) з яким мае формуватись вщгук у ви-гляд1 чикого яскравого шку в облает зображоння.
до розташовано об'ект, зовшшшй вигляд якого зако-довано у даному DCF фшьтрь За цим шком можна визначити положения об'екта на кадрь що й дозволяв здшешовати вщелщковування. Отримання DCF здшсшоеться шляхом Biipiineiiira мптпзацш-iioï задач1 на ociiobî метода найменших квадратв з регуляризащею за Тихоновим [12.14]. Важливою особливктю при цьому е те. що piineinra мптпзацш-iioï задач1 можо бути знайдене у частотшй область завдяки чому асимптотична складшсть обчислень зменшуеться до 0(N-log(W)) операцш, проти 0(N3) операцш для класичного шдходу, де N е кшькь стю слементв у зображенш, з якого обчислюеться фшьтр. Зауважимо, що у робот1 [12] також було запропоноване розширення ведомо як KCF, яке для шдвшцення дискримшантних властивостей фшьтра застосовуе спрямления простору та вперше бага-токаналыи ознаки, що дозволило значно збшынити надшшеть веделвдковування.
Водночас, ni3iiime було встановлсно, що обчисле-ння фшьтру в частотшй облает мае один важли-вий нодатк: через перюдичшеть функцш, що пе-редбачае иеретворення Фур'е, неможливо отримати фшьтр, який у npocTopoBifi облает був би ненульо-вим лише в Tifi nacTiiiii, що кодуе об'ект [15,16]. Це призводить до того, що до фшьтру потрапляе фоно-ва шформащя, яка може призводити до неточного кодування об'екта i як наслщок до ripmoï яко-ctî ведследковування. Щоб иодолати що проблему в ряд1 po6iT запропоновано модифшацп оригшаль-iioï оптим1защйно1 задачь Даш модифшацп можна роздшити на дв1 групп. В nepmifi rpyni для забезпе-чення пошуку фшьтру потр1бного вигляду у задачу мптизацп вводиться додаткове обмежеиия. До ща групп належать педходи [15,17,18] тощо, яы базу-ються на метод1 опттизацп ADMM. У друий rpyni фшьтр иотр1бного вигляду отримують завдяки регуляризации Цю групу складають педходи [10,16,19] та подобш, яш для мптпзацп використовують ме-тоди Гауса-Зейделя або спряжених град1ентв. В шдходах обох груи загальна складшсть обчислення DCF дещо зростае, але асимптотично лишаеться на piBiii мстод1в [12,14]. Зауважимо, що при наложному налаштуванш параметр1в методу ADMM, bïii не поступаеться за яшетю piinciiira задач1 мптизацп, а його швидкод1я с трохи вищою, тому процедура отримання DCF фшьтру на ociiobî ADMM е бшын виправданою.
Таким чином, в дашй робот пошук DCF фшьтру пропонуеться виконувати за допомогою опттиза-цшного метода ADMM. При цьому, оскшьки положения об'екту для ведследковування зазвичай зада-еться ирямокутником, а форма реалышх об'ектв далеко не завжди с едеалыго прямокутною, область, що кодуе об'ект у фшьтр1 мае сенс зробити 3 110-чикою границею. Це досить зручно реал1зувати шляхом иридушоння фонових складових фшьтру за допомогою регуляризацп, подобно до того як цо
виконуеться в роботах [16,19,20]. Як i в бшыпост DCF фшьцлв тут легко передбачити можлившть роботи з багатоканалышми зображеннями. Водночас, для спрощоння обчислень та бшып гиучкого керування об'еднанням ведгушв по кожному з кана-«шв ознак при розрахунку короляцп, як i в робот [18] капали ознак пропонуеться вважати незаложними хйж собою. Опттпзащйна задача в такому випадку матимо вигляд [21]:
mm > h ^
г= 1
(\\ti * h — г\\2 + ■ д£),
(1)
так, що h — g = 0 ,
де || • ||2 - позначае суму квадратш елементш матрищ (квадрат норми Фробешуса); "*" - позначае згортку м1ж фшьтром Н та шаблоном Ь, з якого формуеться даний фшьтр; г - бажанпй ведгук, у рол1 якого зазвичай виступае гаутаан з малим параметром дис-перс11 [ , , ]; ад - матриця регуляризащ!, за допомогою яко1 придушуються непотр1бш складов! фшьтру; д - так само позначае фшьтр, причому обмеження при оптгопзащ! гараптуе, що д = Н;
_ ^^^^^^^ ^^^^^^птпе мпожеппя м1ж ад та д. Шаблон £ в задач1 ( ) вважаеться багатоканальним зображенням, тому й - позначае кшыйсть канал1в, а 1ндекс г - номер каналу.
Наведену оптпм1защйну задачу (1) можна ш-терпретуватн наступннм чином: необхщно знайти такий фшьтр Н, щоб сума р1зниць м1ж бажаним вщгуком г та згортками по каналам цього фшьтру 1 шаблону 4 були м1шмальними, а також прпдушува-лнсь складов! фшьтру визначош великими значениями у матрищ ад. Тут явно враховано, що зображе-ння може мати велику кшьк1сть канатв, тобто бути, наириклад, двоканалышм 1 м1стити 1нфрачервоний та оптичний канал або взагал1 иредставлятись у простор! деяких багатоканалышх ознак.
Щоб виршшти задачу (1), скорпстаемось методом АИ^!^! у масштабовашй форм1 [22]. Даний вар1ант методу иередбачае 1теративне виршоння наступних оитим1защйних ищзадач:
к(к+1) =argmin]Г 01Ь * Н-г|2 +1ЦЪ-д(к) + и^Ц2)
г=1
д(к+1) = argmin]Г 01 ^ • 9*Ц2 + 2Р^1 -9г + и^Ц2),
+ (h( fc+1) — g( k+1)),
(2)
де p - штрафний параметр; и - масштабована дво-\ста змшна, що иропорщйна множникам Лагранжа [ ]; показник (-)( к) впзначае значения вщповщних змшних па к-т 1терацп методу ADMM.
Стисло розглянемо розв'язок кожнем з шдзадач визиачених у (2).
h
доцшыю виршувати в частотшй область В цьо-
му випадку в шдзадач1 к ва масиви замшятьея на вщповвдш частотш образи, яш надал1 позначен! великими „шторами. Щлм того застосування «теоремн про згортку» дозволяв замшити згортку на поелементно множення, а викорнстання теоремн Парсеваля квадрати норм на квадратн моду.шв (бшьш детальне формулювання розглянуто в робот [21]). Даль щоб вщлшити перетворену задачу, необ-хщно врахувати, гцо при пошуку екстремуму дШснсм функщ1 комплексного аргументу, диференщювання можна здшенити по комплсксно-спряжснш змш-нш Н*, а отримане р1внянпя впршуватп ввдносно звичайно! зишно! Н [ , ]. Оскшькп згортка замшена на поелементне множення. у перетворенш формул! вй операнд! виконуються поелементно, а отже пошук пешднем можна здшенити незалежно по кожному елементу. Врешт знайшовши пешдну 1 вщлшивши отримане р1вняння вщносно змшно1 знайдемо ршення для шдзадач1 к у частотнш облает:
Я (k + 1) =
RT* + § (G(k) - U(k))
TT * + §
g
( k + 1)
p(h( k+1) + u( k)) 2w2 + p '
G(k+1) = l\l-1[H(k+1) + U(k)] ■
W2 + 2J
наступним чином:
v(k+1) = v(k) + ( k+1) - G(k+1)). (6)
Для забезпечення бшьш biicokoï швидкост 36i-жност, розм1р кроку p також може оновлюватись на кожшй иерацп алгоритму. Це зазвичай здШсшо-еться за формулою [17.18.20]:
р( k+1) = min
(ß ■ Р<
,( k)
Pm
(7)
(3)
де Н, С, Т, К та и - фшьтри к та д, шаблон Ь, бажаний ввдгук г та масштабована двоТста змш-на и в частотнш облает вщповщно; Т* позначае комплексне-спряження шаблону Ь у частотнш облает!: операнд! множення \ дшення виконуються поелементно. Для спрощсння, у формул! (3) шдекси бшя змшних пропущен!.
Шдзадачу для д у ( ) можна вирпнувати одразу в просторовШ облает!. Для цього елщ розппсатн нормн та виконати диференщювання [21]. Знову такп враховуючи, що вс1 операщ!' над маспвамн виконуються поелементно. диференщювання можна проводити незалежно по кожному елементу масиву. Результат мптизащ!' матнме вигляд (шдекси для спрощення пропущено):
де Ртах - максимально допустимый штрафний параметр (розм1р кроку); ß - коефшдент змши штрафного параметра. Варто вщзначити, що коли ADMM використовуеться у масштабовашй формь при онов-ленш параметру р також повинна змшюватись i масштабована двошта змшна U, зокрема при збшь-inenni р в ß раз, U мае бути зменшене у вщповщну кшыйсть раз, тобто U = ^ [ ].
Шсля виконання необхадно! кшькост иерацш методу, остаточне наблнження результату форму-еться як ршення шдзадач1 д, тобто фшьтр, пошук якого здшснюеться, мштитиметься у змшнш G(k+1) на останшй иерацп.
Аснмптотнчна складшсть наведеного внще метода обчнелення DCF фшьтра внзначаеться головннм чином перетвореннями Фур'е, наявними у вираз1 (5) та складае О (к ■ d ■ тп ■ log(mn)), де тп - роздшьпа здатп1сть шаблону в npocTopi ознак, d - к1льк1сть канал1в та к - кшьшеть иерацш методу ADMM.
Шсля того, як DCF фшьтр знайдсно. з його допомогою пошук об'екта на зображенш F виконуе-ться шляхом обчнелення згортки у частотшй обла-CTi з подальшим переходом у просторову область:
d
^I-1[Fi ■ Gi]= IFi ■ Gi
i=1 i=1
(8)
(4)
Ввдмиимо, що р1шеппя для пщзадач1 g () е екв1валеитиим вадповвдному pimeiiino. отримаиому в робой [20].
h
облает, а значения g з м1ркувань подальшого швид-кого обчнелення згортки також бажано мати в частотшй обласп, вираз (4) доцшыго иеретворити наступним чипом:
(5)
де I[■] та I-1[-] - позначае пряме та зворотне пере-творення Фур'е вадповвдно. Таким чипом, вираз (5) е р1шенням п1дзадач1 для g у частотнш облает.
Оновлення масштабовано! двоТето! змшно!' и може внконуватнеь безпосередньо в частотшй област1
де Т- перетворення Фур'е; с - вщ-
гук фшьтру (згщно постановки задач1 ( )); Fi -г-й канал ознак област1 пошуку об'екта в частотшй облает; Gi - г-й канал дпекрпмшантного фшьтру в частотшй обласп; операщя множення е поелемен-тною. Остаточне положения об'екту внзначаеться шляхом пошуку шку в1дгуку с (за умови, що у яко-CTi г була обрана функщя також з ч1тко впраженпм шком).
Процедура виявлення об'екта е обчислювальио прост1шою за пошук фшьтру та мае складшсть ö(mn • log(mn)). Таким чипом, загальна асимпто-тичиа складшсть пошуку об'екта разом i3 обчнелен-ням фшьтру е такою ж як для обчнелення фшьтру i становить ö(k • d • тп • log(mn)).
2 Процедура обчнелення ознак
У описаному вище шдходо на ociiobî дискримь нантних корелящйннх фшьтр1в (DGF) зображення
с =
i3 pi3inix оптичних доапазошв можна було б викори-стовувати бсзпосередньо, розглядаючи ïx як окрем1 капали. Однак, майжо у вйх сучасних системах вщслщковуання, починаючи з роботи [12]. зображе-иия не використовуються иапряму ïx переводить у доякий npocïip ознак. Це дозволяе шдвшцити дискримшантш властивоста DCF фшьтр1в, а отже
1 надшшсть ввдслвдковування.
В дашй робот1 також иропонуеться використову-вати ознаки, зокрема FHOG [24] та ознаки на ociiobî зворотного проектування пстограм, подобно до подходу, що описаний у робота [25]. Коротко наводомо вщомоста про зазначеш види ознак.
Ознаки FHOG [24] для монохромного зображе-ння розраховуються настуиним чином: зображоння розбиваеться на невелик! квадратш фрагмента!, яш називаються ком1рками. У кохйрках для кожного шкселя оцпиоеться амшптуда та наирямок градоен-ту. Даль для кожнси кохйрки будуеться пстограма ор1ентацп градцеттв. Дана пстограма мштить за-дану кшьшсть стовпщв, кожен з яких ввдповвдае повному д1апазону напрямшв град1ентав. У стовпщ ricTorpaMii заносяться суми амшптуд град1ентав ni-ксел1в кохйрки, що мають ввдповвдш цим стовпцям напрямки град1ентав. На вщмшу вщ класичнси ро-ал1зацп HOG. пстограма FHOG вкшочае стовпщ напрямшв град1ентав, стовпщ ор1ентащй град1ентав, що мктять суму амшптуд град1ентав протнлежннх напрямшв, а також 4 стовпщ. що несуть шформащю про oiiopriio град1ентав (текстурш ознаки). Стовпщв opieiiTaiflfi вдв1ч1 мошне, шж стовпщв напрямшв, оскшьки кожен стовпець ор1ентацп враховуе два д1аиазони напрямшв град1ентав прямпй та роз-вернутий на 180°. Це робпть стовпщ ор1ентацш контрастно-нечутливими, так як вопи можуть коду-вати на зображоннях гранищ yTBopeni переходами як з темно! облает в свилу, так i навпаки 3i cbîthoï в темпу. IvpiM того. ком1рки у FHOG бору-ться без порокриття. натомкть тут застосовуеться так званий м'який розподш амшптуд по стовпчи-кам (soft biririirig). в якому передбачаеться вплив на г1стограму дано! кохйрки також шксел1в i3 сусщшх до neï KOMipoK. для чого застосовуеться шторполя-щя [24]. Загалом пстограми ознак FHOG можна шторпротувати як багатоканалыи зображеиня, в яких KOMipKii ввдиоввдають шкеелям, а стовпчики г1стограм окремим каналам зображеиня. Бшын детально про ознаки FHOG та про ïx застосуван-ня до задач1 вщелвдковування можна д1знатись у роботах [12.24.26].
В дашй робот ознаки FHOG обчислюються для KOMipoK розм1ром 4 х 4 шксел1 та мають 9 opieH-тащй, що дае пстограми з 9 стовпцями ор1ентащй,
2 х 9 = 18 стовпцями напрямшв та 4 стовпцями, що описують оноргп град1ентав. Таким чином, зображеиня у npocTopi ознак FHOG с в 4 рази моншими по шириш та BncoTi, однак мають 9 + 18 + 4 = 31 канал.
Ознаки ГНОС головним чином кодують шформащю про гранпщ об'ектав на зображонш. Водно-час, щоб додатково враховувати яскравшть або у ви-падку шфрачорвоних зображень нагр1в притаман-ний об'екту, иропонуеться використовувати ознаки на основ1 зворотного проекту вання пстограм. Даш ознаки несуть шформащю про вщносну повторюва-шеть шксел1в характериих для зображеиня об'екта. Процедура 1х обчислоння Грунтуеться на шдходь оиисаному в робой [25], розгляномо и бшын детально.
Обчислоння ознак на основ1 зворотного прое-ктування пстограм иередбачае отримання зважено! пстограми об'екта. Дана пстограма визначае 1мо-в1ршсть приналожноста кожнси градащ! яскравоста до об'екту та розраховуеться настуиним чином [25]:
fy =
Pi (О)
Pi (О) + Pi (В ) + А'
(9)
вщповвдною градащею яскравоста; Pi (О) = ^ та р^(В) = ^ """"" в1дносн1 частоти появи п1кселя з
^ (•) визначае шксел1в з яскрав1стю ] у
задан1й област1; | • | - загальна к1льк1сть п1ксел1в у О В
та фона вщповщно; А - параметр регуляризащ!, що запоб1гае дшешпо на мале значения або 0.
За знайденою зваженою г1стограмою @ викону-ють зворотне проекту вання. Для цього на поточному кадрь в облает центровашй на минулому положонш об'екту обчислюеться вага кожного з ш-ксел1в. При цьому кожен шкеель зам1шоеться на вщпов1дне його яскравост значения формую-чи мапу правдопод1биост1. Очевидно, що згщно з (9) шкеель яскравоста яких часто зустр1чаються на об'екта, але майжо вщеутш у фош матимуть значения ваг ^ близьк1 до 1, водночас и1ксел1, що часто присутш у фош, але майжо не зустр1чаються в област1 об'екта навпаки матимуть ваги близьш до 0. Таким чином, в маш правдопод1бноста бшьш1 значения матимуть точки, що в1дпов1дають положениям шксел1в з розподшом кольор1в притаманним само об'екту.
В дашй робота на ввдмшу ввд [25] мапу правдопо-д1бноста пропонуеться вважати додатковим каналом ознак, що об'еднуеться з каналами ознак ГНОС. При цьому обчислоння ГНОС та ознак на основ1 зворотного проекту вання пстограм (мап правдопо-д1бностей) зд1йсшоеться як для оптичного, так г для гнфрачервоного зображень, п1сля чого вс1 отри-маш ознаки поеднуються (рис. 2). При поеднанш мапа иравдопод1бност1 масштабуеться до розхпру матриць в каналах ГНОС.
При поеднанн1 ознак ГНОС 1з ознаками на осно-в1 зворотного ироектування г1стограм слщ враховувати, що ГНОС вже мають певну кшьшеть кана-„шв, тод1 як мапа правдопод1бноста е одним единим
каналом. Тому для забсзиечення збалансованост, об'еднання вщгушв на еташ обчислоння корелящ! при локатзаид об'екта виконуеться за принципом подобним, описаиому в робот [25]:
с = снов + 7 • снвр, (Ю)
де снос ~ сумарний кореляцшний вщгук, отрима-ннй по вам каналам ИЗСЮ ознак; снвр - вщгук отрнманнй 1з мапи правдоподобное^ знайдонси шляхом зворотного проектування норматзованси исто-грами р-, 7 - коефшдент об'еднання, що враховуе ступшь важливост вщгушв.
Шд час вщслщковування, для кращого присто-сування до змши зовшшнього вигляду об'екта, його зважену истограму р як 1 в робот [ ] мае сенс оновлювати на кожному кадрк
¡з( 1+1) = (1 - твр) • ¡з( 1) + твр • ¡з, (и)
де ¡3( 1+1) та ¡3(г) - зважеш истограми об'екта для на-ступного та поточного кадр1в вщповщно; @ - псто-грама знайдена для облает розташування об'екта на поточному кадр1; г/нвр ~ коефщент оновлення.
3 Експериментальш випробовування
3.1 Особливост! реал1защ*1 методу вщслщковування С18ШЭСЕ
Щоб перев1рити запропоноваш вигце вдосконале-ння, у соредовинц Матьав було створено програмну роатзацпо методу вщслщковування СЮТШСГ, яка мае параметри, що описаш в даному роздЫ.
В програмшй роатзащ! використовувались як ознаки ИЗОС [24]. так 1 описаш вшцо ознаки на основ1 зворотного проектування пстограм. Обчислоння ознак на кожному кадр1 здШсшовалось для
видимого та шфрачорвоного каналу та формувався об'еднаний тензор ознак з 64 каналами. Процедуру його формування шюструе рис. 2. В дашй процедур! передбачаеться. що розхйри шфрачорвоного та видимого зображень е однаковими.
Обчислоння дискримшантного фшьтру для ви-явлення об'екта здШсшовалось нозалежно по кожному каналу ознак за формулами (3). (5) (7). При цьому в якост бажаного вщгуку г використовував-ся гауйан 1з параметром стандартного вщхилення а = 0,1. У якост матрищ регуляризащ! ад викори-стовувалась матриця, що мае велиш значения скр1зь за межами прямокутника, який задае положения об'екта (рис. 3).
Велиш значения у матрищ ад були прпйнят р1в-ними 100. а значения в межах прямокутника 0.01. Перехщ мЬк малими 1 великими значениями у ад додатково згладжувався фшьтром Гауса розм1ром 7 х 7 шксел1в з1 стандартним вщхиленням а = 0, 25. Згладжування застосовувалось для того, щоб зробити гранпцю облает прпдушення при обчислон-ш фшьтру плавною на випадок, якщо положения об'екту задано неточно. В дояких експеримеитах область об'екта у матрищ ад бралася бшыпою, шж актуалышй розхйр об'екта, що робилося для до-даткового включения у фшьтр невелико! кшькост контокстно-фоновсм шформащ!.
У формулах (5), (8) (10) застосовувались наступи! параметри: початковий крок алгоритму р(0) = 1; максимально допустимый крок ртах = 1000; коефь щент змши кроку 0 = 30. Кшыйсть иерацш при кожному обчисленш фшьтру складала 2. При цьому початков1 значения та и (0) для поршсм иерацп АБММ бралися 1з результате обчислоння фшьтру для поиероднього кадру (у робот [22] цей тдхщ названо «теплим стартом»). Вщзначимо, що таке наближення можливе, оскшьки хйж сумЬкними кадрами об'ект зазвичай змпиоеться досить слабко.
Для самого исршого кадру G(0) та и (°) приималися
piBiiiiMii 0.
ад
томна область мштить мат значения 1 в1диов1дае ознакам об'екта. що но мають придушуватись при обчисленш фшьтра: свила область навпаки мктить велит значения, що вказуе на необхщшеть приду-шоння само цих складових у фшьтрь оскшьки вони вщиовщають ознакам фону
Щоб сфектившше пристосовуватись до змши зовшшнього виду об'екта. як 1 в бшыноста под1бних систем вщелщковування [12.14.16.25]. на кожному кадр1 теля обчислоння фшьтру зд1йсшовалось його оксионенщалыю усероднення:
G(*+1) = (1 - т ) ■ G(г) + r/f ■ G,
(12)
ДС та С« уссреднеш фшьтри об'екта для
наступного та поточного кадр1в вщповщно; с - значения фшьтру знайдене для розташування об'екта на поточному кадр1; - коефщент ексионенщ-алыго! фшьтращь В щй робота внкористовувалось щ =0,025.
Також теля кожного виявлення об'екта. обчи-слювалась норматзована пстограма ново! облает розташування об'екта та виконувалось 11 оновлон-ня зпдно формули (11). при цьому заетосовувавея коефщент цнвр = 0,125.
Обчислоння королящйннх вщгушв при пошуку об'екта здШсшовалось для ПЮС ознак та ознак на основ1 зворотного проектування пстограм за формулою (8) незаложно. в результат! чого фор-мувалось два вадгуки сдое та снвр в1диов1дно. Фшалыпш вщгук обчиелювався за формулою (10) використанням коефщенту об'еднання 7 = 0, 55 х х т^с1^) ■ Параметр 0,55 було встановлено емш-рично.
Для приетосування до змши розхйру об'екта об-числення корелящ! проводилось па п3 = 3 масштабах. Косфшденти масштабування при цьому визна-чались як: в = 1,03р, де р = { — (п3 —1)/2,..., +(п3 — 1)/2}.
В yeix експернментах область пошуку бралася квадратною та бшыною за об'ект приблизно в 4,25 рази i дат масштабувалася так, щоб в npocTopi ознак роздшьна здатшеть канатв не перевищувала 38 х 38 ткеел1в.
Перед переходом до частотно! областа до зобра-ження в npocTopi ознак поканально застосовувалось косинусно bîkiio фон Хана.
3.2 Ощнювання якост! роботи методу CISRDCF
Ощшовання якоста роботи створено! системи вщ-стдковування виконувалось на toctî VOT Challenge VOT-RGBT2019 [13]. Цей тест включае в себе 60 анотованих вщсопослщовностей з р1зними об'ектами, що синхронно знята на камеру видимого доапазону та теплов1зор. Роздшьна здатшеть ка-др1в видимого та шфрачорвоного д1апазошв е одна-ковими для кожнем вщеопослщовноста. Для ощн-ки якоста в1дел1дковування у тоста заетосовуетьея три иоказники: точшеть, надшшеть та очшуванс усоредноне иорекриття [5,8]. Bei вказаш показни-ки розраховуються на основ! значоння перокриття (overlap), шд яким у теста розум1еться значения так званого «иеротину-над-об'еднанням» (шдекс Жака-ра), piBHoro IoU = IX-1, де rt - множина точок, яка задае положения об'екту, знайдене системою вщапдковування, гит — множина точок опорного (еталонного) положения об'екту, тут | ■ | иозначае кшыйсть слементав множини [25]. Точшеть (А) усереднене спочатку по вам кадрам, а потам по вйм вщеопоапдовноетям значения IoU на тих частинах вщсопоатдовностей, де вщелщковування було ви-знано надшним. Надшшсть (R) величина пропор-щйна ссреднш кшькоста зрив1в вщелщковуванпя. При цьому вважаеться, що зрив вщбуваеться тодь коли перекриття мЬк опорним та знайденим системою положениями стае р1виим пулю. Очшуванс усородноно перекриття (ЕАО) усередиеие перекриття, очшуване для дано! снстемн вщелщковування на всликш кшькоста фрагмента вщоопослщовно-стей прнведеннх до ncBiioï однаково! довжини [5,13]. Дана величина враховуе збшынення диспсрсп та змщоння значения усередненого перекриття для послщовностой pi3iioï довжини. Результати тесту впорядковуються саме за величиною ЕАО [13].
Результати ощшовання запропоновано!' системи вщелщковування (CISRDCF) за методикою VOT-RGBT2019 наведеш у табл. 1 [13]. Зауважимо, що у код1 поданому на тест була виявлена помилка 1. При локал1зацп об'екта шляхом розрахунку кореля-цп з DCF фшьтром, ознаки дв1ч1 обчислювались i3 зображення видимого д1апазону, а не з видимого та шфрачорвоного д1апазошв як перодбачалось. Через це оцшка системи CISRDCF виявилась заниженою. Щоб виправити ситуащю, у дан1й робой наводи-
1Выхы1шА код достушши за иосилашшм: ClSRDCF-codo-'2019-06-09Tl'2 56 48.961403.zip
ться результат для скороговансм Bopci'i системи, що у табл. 1 иозначона як CISRDCF*.
Табл. 1 Результата тестування запропоновано! системи вщелщковування (CISRDCF) на тест VOT-RGBT2019 у nopiBiraimi з iiinniMii системами в1д-сшдковування
Система в ¡д (• j i ¡д к о в у в ан н и EAO A R
JMMAC 0.4826 0.6649 0.8211
SiariiDW-T 0.3925 0.6158 0.7839
mffli^lP 0.3879 0.6019 0.8036
FSRPN 0.3553 0.6362 0.7069
MANet 0.3463 0.5823 0.7010
MPAT 0.3180 0.5723 0.7242
CISRDCF 0.2923 0.5215 0.6904
gesbtt 0.2896 0.6163 0.6350
CISRDCF* 0.3305 0.5607 0.7483
CISRDCF (1,25) 0.3247 0.5720 0.7128
CISRDCF (1,5) 0.3373 0.5728 0.7514
* виправлепии BapiaiiT системи
Як видно з табл. 1. скорегована ворая системи CISRDCF* за над1йшстю вщелщковування (пока-зником R) с четвертою та поступаеться лише до-яким нейромережним системам (SiariiDW-T, mfDi-МР) спещалыго навченим для роботи з шфрачор-воним зображонням, а також систем! JMMAC, що також працюе на ocuoBi дискримшантного фшьтра [10], однак додатково використовуе ключов1 точки для стабЫзащ! кадру та фшьтр Калмана [13]. При цьому CISRDCF* за над1йшстю (показником R) ви-породжае FSRPN та MANot. Зауважимо, що Bci наведен! системи с бшын обчислювалыго-складними, шж CISRDCF*. Водночас, основним нодол1ком CISRDCF* с новисока TOHiiicTb локал1защ1 об'екта, яка обумовлона головним чином ноточним оцпиованням масштабу. Це видно з приклад1в вщелщковування, наведених на рис. 4. Тим не монш на практищ така TOHiiicTb все ж може вважатися ирийнятною.
В рамках дано! публшащ! також було проведено додаткове тестування впливу обсягу контокстно-фоновсм шформащ! на яккть роботи розглянуто! системи вщелщковування. Для проведения зазна-ченого тесту використовувались матрищ регуляри-защ! w (рис. ), в яких область об'екта (область, що не придушувалася за допомогою регуляриза-Щ1 при обчисленш фшьтру) бралася в 1,25 та 1,5 рази бшыною за актуалышй розхйр об'екта. Ви-пробуваиня показали, що в такому випадку краще обможитись використанням тшьки ознак FHOC. Отримаш результати тестування наводош у двох ocTannix рядках табл. 1. 3 них, зокрема, видно, що при використанш збшыноно1 в 1,5 рази облает об'екта i лише ознак FHOG вдаеться пороворшити яккть роботи звичайно! Bepci'i CISRDCF* та на-
близитись за показником ЕАО до бшын складно! нейромережно! снстемн IMANet.
Висновки
В робот запропоновано систему вщелщковува-ння об'ект1в CISRDCF для мультиспоктралышх Bi-деоиослщовностей. В основ! дано! системи ложить дискрим1нантний корелящйний фшьтр (DCF), який обчислюеться незалежно по каналам ознак за допомогою методу множнишв 3i 3Minoio напрямшв (ADMIM) та иередбачае просторову регуляризащю для бшьш точного кодування об'екта у фшьтрь За-пропонована система иередбачае можлившть роботи i3 вщоопослщовностями, кадри яких м1стять одно-часно видимий та 1нфрачервоний капали. Вказана можлив1сть досягаеться за рахунок використання одного i того ж набору ознак (ознак FHOG та ознак на ocuoBi зворотного прооктування пстограм) для канал1в видимого та шфрачорвоного д1аиазон1в i3 иодальшим об'еднанням отриманих ознак у еди-ний тензор. На тест VOT-RGBT2Q19 показано, що система CISRDCF за яшетю вщелщковування може конкуруватн i3 бшын складними р1шеннями, в тому чист на ocuoBi нейронних мереж, а за показником над1йност1 нав1ть перевершуватн деяк1 з них. IvpiM того, встановлено, що при використанш лише ознак FHOG та збшынонш обсягу контокстно-фоново1 1нформащ1 (збшыноння област1 об'екта у матрищ регуляризащ! в 1,5 рази) вдаеться пщвищи-ти як1сть в1дсл1дковування в nopiBiMiiiii з базового реал1защею системи.
Перелж посилань
1. Multi-Sensor Image Fusion and Its Applications / Ed. by R. S. Blum, Z. Liu. CRC Press, 2006. 528 p. ISBN: 9780849334177.
2. Image Fusion and Its Applications / Ed. by Y. Zheng. InTechOpen, 2011. 242 p. ISBN: 9789533071824.
3. Гривачевськии A. 11. Шдвищеппя шформативио-c'l'i мультисиектралышх зображень шляхом мультим-одальшл'о комплексувания / А. 11. Гривачевськии, 1. Н. Прудиус // BiciiuK НТУУ «КШ». Copin Радштехшка, Рад1оаиаратобудува1шя. 2018. № 73. С. 40 49. DOl: 10.20535/RADAP.2018.73.40-49.
4. Maggio Е., Cavallaro A. Video tracking. Theory and Practice. John Wiley & Sons Ltd, 2011. 294 p. ISBN: 9780470749647.
5. Kristan M. The Visual Object Tracking VUT2015 challenge results / M. Kristan, .1. Matas, A. Leonardis, M. Felsberg та in. // IEEE International Conference on Computer Vision Workshop (1CCVW). 2015. P. 564 586.
6. Kristan M. The Visual Object Tracking VOT2016 challenge results / M. Kristan, A. Leonardis, .1. Matas та in. // European Conference on Computer Vision ECCV 2016 Workshops. ECCV 2016. Lecture Notes in Computer Science. Vol. 9914. 2016. pp. 777 823.
Рис. 4. Приклад ввдслщковування pi3inix об'екпв системою CISRDCF. На кожшй ввдоопослщовносп (а) (в) показано видимий (зверху) та шфрачервоний (знизу) капали. На видимих каналах у ворхньому „швому кут1 нанесено номори кадр1в у вщповщних вщоопослвдовностях. червоним прямокутником иозначено оталонш положения об'екту. а зеленим визначош системою ввделвдковування
7. Kristan M. The visual object tracking VOT2017 challenge results / M. Kristan, A. Leonardis, .1. Matas, M. Felsberg •ra ill. // 1CCV2017 Workshops, Workshop on visual object tracking challenge. "2017.
8. Kristan M. The sixth Visual Object Tracking VOT2018 challenge results / M. Kristan, A. Leonardis, .1. Matas, M. Felsberg ia in. // Computer Vision ECCV 2018 Workshops. ECCV 2018. Lecture Notes in Computer Science. Vol. 11129. 2018. P. 3 53.
9. Nam B. Learning multi-domain «involutional neural networks for visual tracking / B. Nam, B. Ban // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. P. 4293 4302.
10. Danelljan M. ECO: Efficient convolution operators for tracking / M. Danelljan, O. Bhat, F. S. Khan, M. Felsberg // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 6931 6939.
11. Bertinetto L. Fully-convolutional siamese networks for object tracking / L. Bertinetto, .1. Valmadre, .1. F. Benri-ques, A. Vedaldi, P. B. S.Torr // European Conference on Computer Vision ECCV 2016 Workshops. ECCV 2016. Lecture Notes in Computer Science. Vol. 9914. 2016.
P. 850 865.
12. Benriques .1. F. Bigh-speed tracking with kernelized correlation lilters / .1. F. Benriques, R. Caseiro, P. Martins, .1. Batista // IEEE Trans. Pattern Anal. Mach. Intell. (PAM1). Vol. 37, Iss. 3. 2015. P. 583 596.
13. Kristan M. The Seventh Visual Object Tracking VOT2019 Challenge Results / M. Kristan, .1. Matas, A. Leonardis, M. Felsberg ia ill. // 2019 1EEE/CVF International Conference on Computer Vision Workshop (1CCVW). 2019.
14. Bolme D. S. Visual Object Tracking using Adaptive Correlation Filters / D. S. Bolme, R. .1. Beveridge, B. A. Draper, Y. M. Lui // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2010. P. 2544 2550.
15. Caloogahi B. K. Correlation Filters with Limited Boundaries / B. K. Caloogahi, T. Sim, S. Lucey // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 4630 4638.
16. Danelljan M. Learning spatially regularized correlation lilters for visual tracking / M. Danelljan, C. Bager, F. Khan, M. Felsberg // IEEE International Conference on Computer Vision (1CCV). 2015. P. 4310 4318.
17. Caloogahi B. K. Learning background-aware correlation lilters for visual tracking / B. K. Caloogahi, A. Fagg, S. Lucey // IEEE International Conference on Computer Vision (1CCV). 2017. P. 1144 1152.
18. Lukezif; A. Discriminative correlation filter tracker with channel and spatial reliability / A. Lukezifi, T. Vojif, L. C. Zajc, .1. Matas, M. Kristan // IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
2017. P. 6309 6318.
19. Danelljan M. Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking / M. Danelljan, A. Robinson, F. S. Khan, M. Felsberg // 14th European Conference on Computer Vision ECCV 2016. ECCV 2016. Lecture Notes in Computer Science. Vol. 9909. 2016. P. 472 488.
20. Feng L. Learning spatial-temporal regularized correlation filters for visual tracking / L. Feng, C. Tian, W. Zuo, L. Zhang, M.-B. Yang // IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
2018. P. 4904 4913.
21. Varfolomieiev A. Channel-independent spatially regularized discriminative correlation filter for visual object tracking / A. Varfolomieiev // Journal of Real-Time Image Processing (RT1P). 2020. P. 1 11.
22. Boyd S. Distributed optimization and statistical learning via the Alternating Direction Method of Multipliers / S. Boyd, N. Parikh, E. Chu, B. Peleato, .1. Eckstein // Foundations and Trends in Machine Learning. Vol. 3, Iss. 1. 2010. P. 1 122. DOl: 10.1561/2200000016.
23. Messerschmitt D. Stationary points of a real-valued function of a complex variable. Tech. Report, EECS, U.C. Berkeley. 2006.
24. Felzenszwalb P. F. Object Detection with Discriminati-vely Trained Part Based Models / P. F. Felzenszwalb, R. B. Cirshick, D. McAllester, D. Ramanan // IEEE Trans. Pattern Anal. Mach. Intell. (PAM1). Vol. 32, Iss. 9. 2010. P. 1627 1645.
25. Bertinetto L. Staple: Complementary learners for realtime tracking / L. Bertinetto, .1. Valmadre, S. Colodetz, O. Miksik, P. B. S. Torr // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016.
P. 1401 1409.
26. Varfolomieiev A. Modification of the KCF tracking method for implementation on embedded hardware platforms / A. Varfolomieiev, O.Lysenko // International Conference Radio Electronics & Info Communications (UkrMiCo), Kyiv. 2016.
References
[1] Blum R. S., Liu Z. (2006) Multi-Sensor Image Fusion and Its Applications. CtiC Press, 528 p. ISBN: 9780849334177.
[2] Zheng Y. (2011) Image Fusion and Its Applications. JnTechOpen, 242 p. ISBN: 9789533071824.
[3] Bryvachevskyi A. P., Prudyus 1. N. (2018) Enhancing the Informativeness of Multi-spectral Images by means of Multimodal Image Fusion. Visnik N'l'UU KP1. Ser. tiadioteh. radioaparatobuduv., Iss. 73, pp. 40 49. DOl: 10.20535/RADAP.2018.73.40-49.
[4] Maggio E., Cavallaro A. (2011) Video tracking. Theory and Practice. .John Wiley & Sons Ltd, 294 p. ISBN: 9780470749647.
[5] Kristan M, Matas .1., Leonardis A., Felsberg M. fit al (2015) Thn Visual Objnct Tracking VOT2015 challnngn results. IEEE International Conference on Computer Vision Workshop (1CCVW), pp. 564 586. DOl: 10.1109 /1C C V W.2015.79.
[6] Kristan M, Leonardis A., Matas .1. et al (2016) The Visual Object Tracking VOT2016 challenge results. European Conference on Computer Vision ECCV 2016 Workshops. ECCV 2016. Lecture Notes in Computer Science, vol. 9914, pp. 777 823. DOl: 10.1007/978-3-319-48881-3_54.
[7] Kristan M., Leonardis A., Matas .1., Felsberg M. et al (2017) The visual object tracking VOT2017 challenge results. 1CCV2017 Workshops, Workshop on visual object tracking challenge. DOl: 10.1109/1CCVW.2017.230.
[8] Kristan M., Leonardis A., Matas .1., Felsberg M. et al (-2018) The sixth Visual Object Tracking VOT2018 challenge results. Computer Vision ECCV 2018 Workshops. ECCV 2018. Lecture Notes in Computer Science, vol. 11129. pp. 3 53. DOl: 10.1007/978-3-030-11009-3_1.
[9] Nam H.. Han B. (2016) Learning multi-domain convoluti-onal neural networks for visual tracking. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4293 4302. DOl: 10.1109/CVPR.2016.465.
[101 Danelljan M.. Bhat G.. Khan F. S.. Felsberg M. (2017) ECO: Efficient convolution operators for tracking. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 6931 6939. DOl: 10.1109/CVPR.2017.733.
[11] Bertinetto L.. Valmadre .1.. Henriques .1. F.. Vedaldi A.. Torr P. H. S. (2016) Fully-convolutional siamese networks for object tracking. European Conference on Computer Vision ECCV 2016 Workshops. ECCV 2016. Lecture Notes in Computer Science, Vol. 9914. pp. 850 865. DOl: 10.1007/978-3-319-48881-3_56.
[12] Henriques .1. F.. Caseiro R.. Martins P.. Batista .1. (2015) High-speed tracking with kernelized correlation lilters. IEEE 'l¥ans. Pattern Anal. Mach. Jntell. (PAM1), Vol. 37. Iss. 3. pp. 583 596. DOl: 10.1109/TPAM1.2014.2345390.
[13] Kristan M.. Matas .1.. Leonardis A.. Felsberg M. et al (2019) The Seventh Visual Object Tracking VOT2019 Challenge Results. 2019 IEEE/ C VP International Conference on Computer Vision Workshop (1CCVW). DOl: 10.1109/1CCVW.2019.00276.
[14] Bolme D. S.. Beveridge R. .1.. Draper B. A.. Lui Y. M. (2010) Visual Object Tracking using Adaptive Correlation Filters. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2544 2550. DOl: 10.1109/CVPR.2010.5539960.
[15] Galoogahi H. K.. Sim T.. Lucey S. (2015) Correlation Filters with Limited Boundaries. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4630 4638. DOl: 10.1109/CVPR.2015.7299094.
[16] Danelljan M.. Hager G.. Khan F.. Felsberg M. (2015) Learning spatially regularized correlation lilters for visual tracking. IEEE International Conference on Computer Vision (1CCV), pp. 4310 4318. DOl: 10.110 9 /1C C V.2015.490.
[17] Galoogahi H. K.. Fagg A.. Lucey S. (2017) Learning background-aware correlation lilters for visual tracking. IEEE International Conference on Computer Vision (1CCV), pp. 1144 1152. DOl: 10.1109/1CCV.2017.129.
[18] Lukezif; A.. Vojif T.. Zajc L. C.. Matas .1.. Kristan M. (2017) Discriminative correlation filter tracker with channel and spatial reliability. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 6309 6318. DOl: 10.1007/sl 1263-017-1061-3.
[19] Danelljan M„ Robinson A.. Khan F. S. and Felsberg M. (2016) Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking, ljth European Conference on Computer Vision ECCV 2016. ECCV 2016. Lecture Notes in Computer Science, Vol. 9909. pp. 472 488. DOl: 10.1007/978-3-319-46454-l_29.
[20] Li F.. Tian C.. Zuo W.. Zhang Lei. Yang M.-H. (2018) Learning spatial-temporal regularized correlation lilters for visual tracking. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4904 4913. DOl: 10.1109/CVPR.2018.00515.
[21] Varfolomieiev A. (2020) Channel-independent spatially regularized discriminative correlation filter for visual object tracking. Journal of Real-Time Image Processing (R'PIP), DOl: 10.1007/sll554-020-00967-y.
[22] Boyd S.. Parikh N.. Chu E, Peleato B.. Eckstein .1. (2010) Distributed optimization and statistical learning via the Alternating Direction Method of Multipliers. Foundations and Trends in Machine Learning, Vol. 3. Iss. 1. pp. 1 122. DOl: 10.1561/2200000016.
[23] Messerschmitt D. (2006) Stationary points of a real-valued function of a complex variable. Tech. Report, EECS, U.C. Berkeley.
[24] Felzenszwalb P. F.. Girshick R. B.. McAllester D.. Ramanan D. (2010) Object Detection with Discriminati-vely Trained Part Based Models. IEEE Trans. Pattern Anal. Mach. Jntell. (PAM1), Vol. 32. Iss. 9. pp. 1627 1645. DOl: 10.1109/TPAM1.2009.167.
[25] Bertinetto L.. Valmadre .1.. Golodetz S.. Miksik O.. Torr P. H. S. (2016) Staple: Complementary learners for real-time tracking. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1401 1409. DOl: 10.1109/CVPR.2016.156.
[26] Varfolomieiev A.. Lysenko O. (2016) Modification of the KCF tracking method for implementation on embedded hardware platforms. International Conference Radio Electronics & Info Communications (UkrMiCo) DOl: 10.1109/UkrMiCo.2016.7739644.
Система отслеживания объектов на видеопоследовательностях в инфракрасном и видимом диапазонах на основе канально-независимого пространственно-
регуляризированного дискриминан-тного корреляционного фильтра
Варфоломеев А. Ю., Короткий Е. В.
Представлен метод отслеживания объектов для работы па видеопоследовательностях, содержащих муль-тнспектральпую информацию. Рассмотрены возможные способы объединения мультиспектралыюй информации при решении задачи отслеживания и обосновано использование подхода па основе объединения па уровне вычисления признаков. С точки зрения па компромисс в отношении качества и быстродействия, задачу отслеживания предложено решать с помощью дискримипаптпых корреляционных фильтров (DCF).
Разработан метод вычисления капалыю-пезависимого дискримипаптпого корреляционного фильтра с пространственной регуляризацией, который осповап па использовании метода множителей меняющих направление (ADMM). Вычисление DCF фильтра и локализацию объекта при этом предложено выполнять в специальном пространстве признаков, которое использует многоканальные признаки FHOG и признаки, основанные па обратном проектировании взвешенной гистограммы объекта. Указанные признаки предлагается вычислять для каждого капала соответствующего кадра мультиспектралыюй видеопоследовательности и объединять получаемые признаки в единственный тензор объединенного пространства признаков.
На тесте VOT Challenge RGBT2019 показано, что реализация предложенного метода по качеству отслеживания может конкурировать с более сложными решениями, в том числе, основанными на нейросетевых технологиях. В ходе экспериментов также установлено, что увеличение объема контекстно-фоновой информации позволяет несколько увеличить качество отслеживания в сравнении с базовой реализацией предложенного метода, даже в случае использования только признаков FHOG.
Ключевые слова: визуальное отслеживание объектов; мультиспектральные изображения; дискриминан-тные корреляционные фильтры (DCF); метод множителей меняющих направление (ADMM)
The Object Tracker for Infrared and Visual Bands based on Channel-Independent Spatially-Regularized Discriminative Correlation Filter
Varfolomieiev A. Y., Korotkyi I. V.
The method of visual object tracking intended for the application on multispectral video sequences is considered.
Introduction. The possible techniques of multispectral information fusion for visual object tracking are considered and the use of feature based fusion approach is justified. The tracker is suggested to be implemented using the discriminative correlation filters (DCF), since this approach
is known to provide the compromise in terms of tracking quality and speed.
Theoretic results. The method for channel-independent discriminative correlation filter with spatial regularization calculation based on the use of alternating direction method of multipliers (ADMM) is proposed. The calculation of DCF filter and the object localization is suggested to be performed in special feature space, which employs the multichannel FHOG features and the features that are based on the backprojection of object weighted histogram. In particular, we propose to calculate the mentioned features for each channel of the respective frame of the multispectral video sequence with subsequent concatenation of obtained features into a single tensor, which forms the joint feature space.
Conclusions. Using the VOT Challenge RGBT2019 subchallenge, it was shown that the implementation of suggested method is competitive in terms of tracking robustness with more sophisticated approaches, including the ones that are based on the convolutional neural networks. During the experiments, it was additionally established that the increasing of context-background information gives slight tracking quality improvement compared to the basic method implementation, even when only FHOG features are used.
Key words: visual object tracking; multispectral images; discriminative correlation filters (DCF); alternating direction method of multipliers (ADMM)
