CC BY
8
УДК 004.7:621.39
Акселерована реестращя MIPI CSI вщеопотоку в задачах передач! вщео реального часу
Ходнсв Т. А., Голуб М. С., Кужильний О. В., Лисенко О. М., Варфоломеев А. Ю.
Нацншалышй тохшчшш ушворситот Укра'ши "Кшвський иолггохшчшш шетитут ¡Moiii 1горя СЛкорського"
E-mail: t.khodniev&kpi.ua
В робот! розгляпуто питашш змепшешш затримок передач! в!деопотоку в реальному час! з камер, що передбачають шдключешш через штерфейс MIPI CSI. Наведено осповш складов! затрнмкн ре-естрацп/передач! в!деопотоку. проапал!зовапо м!ру 1хнього впеску в сумарпу затрпмку. дано оцшку можлнвост! потешцйпого вплпву па них при розробц! систем реестрацп/передач! в!деопотоку реального часу. Окреслепо проблематику, пов'язапу з застосувашшм буферпзацп в таких системах, головпим чипом, вплив паявпост! в систем! покадрово! буферпзацп па величину сумарпо! затримки. Охарактеризовано обмежеппя реал!зац!й модул!в MIPI. що призводять до зб!льшеш1я затримок реестрацп вщеопотоку з MIPI CSI камер в певпих АД.М-м!кропроцесорах. Запропоповапо структурпо-фупкцюпальпу оргап!зац!ю систем реестрацп MIPI CSI в!деопотоку з застосувашшм потокових цифрових шип. фрагмептацп кадр!в в!деопотоку та DMA трапзакцш. що по потребуе використашш покадрово! буферизацп та, в!дпов!дио. дозволяв змепшити сумарпу затримку реестрацп в!деопотоку. Запропоповапу структурпо-фупкцюпальпу оргап!зац!ю може бути реал!зовапо па баз! SoC-FPGA р!шепь. в тому числ!. з використаппям !спуючих IP-ядер. Наведено прагматнчп! особлнвост! та в!дпов!дпнй оц!почпнй внраз для визпачеппя обмежепь велнчшш затримки при застосувапш запропоповапих р!шепь. Для експери-мепталыю! перев!рки. створено прототип снстемп реестрацп/передач! в!деопотоку па основ! SoC-FPGA Xilinx с!мейства Zynq-7000 в!дпов!дпо до запропоповапо! структурпо-фупкцюпалыю! оргашзацп, розгляпуто його спецпф!ку та особлнвост! реал!зацп. Дапо оц!пку отрнмашй швпдкод!! прототипу та розгляпуто можлив! папрямки подалыного змепшешш сумарпо! затримки реестрацп/передач! вщеопотоку. Результати роботи можуть бути використаш для змепшешш величшш затримок реестрацп в!деопотоку з MIPI CSI камер в системах в!деопередач! реального часу па основ! SoC-FPGA.
Ключоег слова: SoC, FPGA. MIPI CSI, GigE Vision. в!део. потокова передача
DOI: 10.20535/RADAP.2020.82.35-43
Вступ
По Mipi того, як задачь що потребують використашш вщеокамер стають складшшими. все бшь-шою стае потреба у датчиках зображення з високою роздшыюю здатшетю. Актуалыи вимоги ринку до датчишв зображення призводять до обможонсм за-стосовуваносп тииових паралелышх штерфеййв. оскшьки вони вщносно складно масштабуються за рахунок необхщноста у збшыненш кшькоста си-гналышх лпий. Це стало одшето з передумов роз-робки альянсом Л-IIPI (Mobile Industry Processor Interface) стандарту CSI (Camera Serial Interface) для забезпечення стандартизованого. над1йного та високошвидккного штерфейсу cencopiB зображень з низьким енергоспоживанням. який би пщтримував широкий спектр сучасних pimeiib з використанням камер [1].
В попередшх роботах [2 5] було показано, що мптизащя транспортних затримок с одшето з клю-чових задач передач! вщео в реальному чай. Усш-
шне Biipiineiiira дано! задач1 потребуе накладення ряду обмежень як на апаратну. так i на програм-ну складову взаемод1ючих систем. В робота [3] було проанал1зовано ефектившеть використашш тракту зв'язку широковживаними прикладними технолоп-ями передач! вщео реального часу на 6a3i RTSP та на 6a3i GigE Vision стек1в та nopiBiraiio щ конкурую-4i технологи mdk собою за критер1см ефективност1 використашш ними тракту зв'язку топологй' точка-точка з Ethernet-каналом. Результати роботи [3] евщчать про те. що технолопя в1деопередач1 на баз1 GigE Vision створюе менше наваитажения на канал передач!, призводить до mciiihoi к1лькост1 помилок в процей передач! (а вщповщно i практично ел1мь нус затримки. пов'язан1 з необхщшетю повторно! передач! кадр1в вщео чи ix складових). с бшьш ефективиою та потеищйно бшьш придатиою для BiipiiHCiiira задач передач! вщео в реальному чай. В роботах [3.4] було представлено та апробовано моди-ф1ковану верйю програмно! б1бл1отеки AR AVIS, що
дозволяв реал1зувати сумкшу 3i стандартами GigE Vision транслящю вщеопотоку з камори.
Дана ж робота, в свою чергу, присвячена ви-piHioiiiiio задач1 мптпзацИ затримки реестрацИ та подалынсм передач! вщеопотоку з MIPI CSI камор за рахунок застосування аксолерованих 1Р-модутв (Intellectual Property) роестращ! вщоо на 6a3i SoC-FPGA (System on a Chip Field Programmable Gate Array) та е. лоичним продовженням циклу попе-родшх роГят за прикладною тематикою оргашзащ! високошвщшсних тракт1в в1деопередач1 реального часу.
1 Проблематика
В системах, що отримують пешк ввдео з камори, подключено! через штерфейс MIPI CSI, здШсшо-ють його поперодшо обробку та подальшу передачу кшцевому пристрою-приймачу, сумарна затримка передач! ввдеопотоку можо бути оцшена, виходячи з(1):
Tdt. — То cam + Tnif + Торр + Tptx,
(1)
до Toe сумарна затримка передач! ввдеопотоку, с; Tocam - затримка реестращ! та обробки зображеп-ня камерою, с; T0if - затримка штерфейсу (MIPI CSI), с; T0pp - затримка попередньо! обробки si-деоиотоку, с; T0tx - затримка передач! вадеопотоку кшцевому вузлу, с.
Розгляномо вносок окремпх складовпх (1) в су-марну затрпмку передач! в1деопотоку та можли-в1сть потенцшного впливу на них при розробщ в1д-поввдних апаратио-програмиих pinieiib:
Затримка росстрацИ та обробки зображення камерою (T0cam) иов'язана з часом, необхь дним для фшсацИ зображення матрицею камори, а також обробки зображення самою камерою пород подалыпою передачею з викори-станням штерфейсу MIPI CSI, с специф1чною для кожного конкретного модуля камори та, як правило, наводиться у ввдповщнш докумон-тацИ. Тим но менш, можна вндшнтн ряд осо-бливостой дано! затримки, характериих для бшыпосп Л-IIPI CSI камор.
По-порше, цо тип затвору модуля камори (rolling/global shutter). Зображення рухомих об'ектпз, отримаш з застосуванням глобального затвору с бшып ч1ткими, однак, викори-стання плаваючого затвору дозволяс досягти потенщйно монших затримок ресстрацй' вщео [6]. Варто зазначити, що сиотворення, викли-Kani застосуванням плаваючого затвору при зйомщ рухомих об'ектав можуть бути частко-во KOMnoncoBaiii шляхом утил1защ1 в1дпов1д-них алгоритм1в корекцИ на отапах поперодньо1 обробки вщеопотоку системою в1деопоредач1
чи обробки результуючого вщеопотоку на кш-цевому вузльприймач1 [7].
По-друге, це особливоста апаратно! оргашзацп модуля камори та ïï постпищал1защйна кон-фшуращя. Варто зазначити, що но вй моду.ш камор здатш иоредавати росстрований потш вщео бозпосеродньо та можуть вносити до-датков1 затримки в Mipy особливостей стру-ктури та оргашзацп ïx апаратно! складовоь Загалом, дояш камори дозволяють розпочи-нати вщправку кадру вщео лише шеля його повного захоилення та буферизации Деяш камори надають додатков1 можливосп обробки росстрованих кадр1в пород подальшою передачею вщеопотоку через штерфейс MIPI CSI. Зокрема, вони можуть здпгсшовати просторо-ве фшьтрування для подавления шум1в, поворот кадр1в, стпснення у JPEG тощо [8]. Вимкнення повного функцюналу обробки, що но шдтримуе оиоращй над потоком, потребуй буфоризацп, за наявносп таюи можливоста, можо призвости до суттсвого змеишоиия за-галыю1 затримки ресстрацп вщеопотоку.
Затримка штерфейсу ( TDif) включае в себе час, иеобхщиий для формуваиия MIPI пако-т1в камерою, ïx вщправки транйвором камори, проходження енгналышх лшш C-PHY (D-PHY або M-PHY), отримання ïx приймачем систоми ресстрацп вщео, а також час, neo6xi-дний для представления системою ресстрацп результуючого вщеопотоку у виглядь прида-тному для його подальшо! обробки [9, 10]. Характерною особливктю дано! затримки с необхщшеть фрагмонтацп вихщного вщеопо-току та його шкапсуляцп в пакоти MIPI у вщповщноста до специфшацп штерфейсу [1]. При цьому, icTOTiiiifi вилив на величину дано! затримки (а вщповщно, i сумарнсм затримки передач! в1деопотоку) мае специфша оргашзацп роботи систоми реестрацп вщео з одор-жаиими через CSI-штерфейс пакетами. У ви-падках, коли система (або окрема ïï складова) виконуе покадрову буферизацпо вхщного bî-доопотоку, розпочати подальшу обробку стае можливим лише шеля повного збероження системою останнього отриманого кадру в буфе-pi, вщповщно сумарна затримка становитиме принаймш (2):
Т.
DT.
>TDif >
1
FB
N,
FPS
(2)
до Npps - кшькшть кадр1в, що надходять за секунду; |fb — нотащя виконання умови застосування покадрово! буфоризацп.
Так, наприклад, якщо частота кадр1в камори становить 25 кадр1в/с, при застосуванн1 иока-дрово! буфоризацп затримка передач! в1део-
потоку системою становитимо бшыно 40 мс. Варто зазначити, що подобно значения затрим-кн вважаеться неприйнятним при Biipinieinii значно! кшькоста задач, пов'язаних з вщеопо-редачею реального часу (таких, як системи машинного зору, системи ввдоотоломотрй' ль талышх апарапв, системи автоматизованого контролю дорожный обстановки тогцо). Питания зменшення дано! затримки детально роз-глядаеться в робота надаль
Затримка попородныя обробки вщеопотоку (TDpp) включае в себе суму затримок кожно! з виконуваних опоращй обробки вщеопотоку (таких, як гамма-корокщя. подавления шум1в тогцо). Виходячи з toi ж прагматики, що бу-ла зазначена вигце. необхвдною умовою для зменшення дано! затримки с забозпочоння ви-користання лише тих опорацш попородныя обробки. яш шдтримують обробку ввдео в потоковому рожимь не потребуючи при цьому повиси буферизацй' кожного вщеокадру.
Окремо розгляномо операцй' компресй'. При передач! вщоопотоку без стиснсння, збшыпен-ня роздшьнся здатноста та частоти кадр1в вщсо прнзводнть до збшыпення навантажоння на тракт передач!. У випадках, коли обмежена смуга пропускания тракту системи ввдоопоро-дач1 реального часу не дозволяе передавати ввдео з бажаними характеристиками в нести-сноному виглядь для подолання таких обложит доцшыго використовувати алгоритми Bi-деокомпресИ. При цьому варто враховувати, що не Bei алгоритми шдтримують стнснення ввдеокадр1в частками та потребують, як Mi-шмум, наявноста одного цшого кадру вщео у буфер! • Ьнш алгоритми дозволяють пордой-ну потокову обробку вщеопотоку (наприклад, Н.264 в iritra-frame рожихй) [11]. Для i'x засто-сування, як правило, достатньою с наявшсть буферу в певну кшьккть рядшв (або стовшцв) ввдеокадру.
Варто також враховувати. що використання операдой компресй' вщеопотоку, в загальному випадку, прнзводнть не лише до збшыпення затримок на CToponi передавача, а й на сторо-iii кшцевого вузла, оскшьки такий вщеопотак потребуватиме подальшого декодування.
Ьшшм аспектом використання компресй' в1део-потоку с здатшсть алгоритму коректно ввдпра-цьовувати завади у pa3i ix виникнення. Так1 завади можуть бути викликаш пошкодженням п1ксел1в камери, викривленнями через надхо-дження в лпш передач! силышх електромагш-тних сигнал1в ззовн1 тогцо.
Резюмуючи, можна ствсрджувати, що в Mipy ряду характерних особливостсй, застосування алгоритм1в ввдеокомпресй' значно ускладшое
задачу створення систем потоковся ввдеопе-редач1 реального часу та може бути як не-обхвдним, так i неприйнятним в конкретнш систсмь виходячи з вир1шуваних нею задач.
Затримка передач! ввдеопотоку кшцевому ву-злу (TDtx) включае в себе затримку на представления результату попереднься обробки в формат, придатному для подалыпся передач!, а також затримки, пов'язаш з роботою викори-стовуваного системою в1деопередач1 стеку мо-режевих протокол1в та в1дпов1дннх технолог1й. В panim представлених роботах розглядалися ключов1 аспекти деяких широкозастосовува-них CTpiMinroBiix протокол1в, що задоволыга-ють вимогам передач! ввдео в реальному чай загалом, на ociiobI GigE Vision та RTSP [2 4].
Таким чином, виходячи з вшцонаводоного огляду затримок систем ввдоопородачь як1 використовують отримання ввдеопотоку з MIPI CSI камер, можна зробити висновок, що затримки, викликан1 покадрового буферизадоею мають icTOTiinfi вплив на су-марну затримку передач! та, вщповвдно, призводять до обможонь можливост! передач! в1деопотоку в реальному чай. I якщо покадрова буферизадоя з боку модуля камери може бути усунона шляхом конф1гураш1 iciiyiono'i камери або вибором inmoro модуля камери, то усуноння покадровся буферизацИ з боку рееструючся в1деопот1к системи е бшып про-блематичним, оскшьки пов'язано з арх1тектурою апаратного модуля MIPI само! системи.
В ход1 шдготовчих етап1в досл1дження, було про-анал1зовано ряд доступних та комердойно прида-тних АКМ-м1кропроцесор1в на предмет потендойнся доцшьноста створення системи реестрацИ та переда-Hi в1деопотоку реального часу з MIPI CSI камер на i'x баз1. Встановлено, що бшышсть таких мшропро-цесор1в (наприклад, ймойства 1.Л1Х6 компанИ NXP чи ймейства АМ57х компанИ Texas Instruments), в Mipy особливостей апаратнея реал1задо1 i'xnix модул1в Л-IIPI CSI або взагал1 не шдтримують захоплення ввдоопотоку MIPI-камери без його буферизацИ в процой, або не мають належнея шдтримки такого функцюналу на piBiii низькор1вневих програмних компонент1в системи (в1дпов1дш моду.ш ядра Lirmx тощо) [12,13].
3 шшого боку, з появою систем на кристал1 з вбудованим апаратним ARM-ядром та FPGA-матрицею для втшоння довшьнея програмованея користувацькся лоики (таких, як Zynq компанй' Xi-linx або Cyclone V компанй' Intel), стае можливою гнучка роал1задоя апаратних компонент1в систем Bi-деореестраш! ввдповвдно до вир1шуваних задач, в тому чист, створення такого техн1чного р1шення захоплення, яке б не потробувало покадровся буфе-ризаш! i, в1дпов1дио, мало б змеишену в nopiBiraimi з буферизуючими системами захоплення затримку реестрацИ ввдеопотоку. Структурно-функшональна
оргашзащя та принципи побудови таких систем роз-глядаються в робот падаль
2 Запропоноване р1шення
2.1 Структурно-функщональна оргашзащя системи
Для Biipiniciiira вшцезазначених проблем, пов'язаних i3 затримкою штерфейсу через засто-сування покадрово! буферизацп, запропоновано структурно-функщональну оргашзащю системи роестрацп вщеопотоку без покадрового буферу на 6a3i FPGA-SoC. На рис. 1 наведено запропоноване piinoiiira, нижчо представлено вщповщний опнс структурно-функщоналыго! оргашзацп системи та i'l окромих компоиеит1в.
В ocuoBi запропоноваиого piiHOiura лежить за-стосування MIPI-модуля роестрацп вщеопотоку, що шдтримуе подалыну передачу отримуваних з каме-ри даних через високопродуктивну цифрову потоко-ву шину (наприклад, AXI4-Stream [14]). На вадмшу ввд розглянутих у попородньому роздш iciiyiOHiix та розиовсюджених реал1защй М1Р1-модул1в, даний модуль не м1стить в своему склад1 вбудованого кадрового буфера та не виконуе будь-яких затратних (в ceiici внесено! затримки) операцш над вхвдним вщеопотоком, натомкть, делегуючи Bci подалыш задач1 обробки шшим компонентам системи рое-страцп вщеопотоку. Ключовою особливштю пото-кових цифрових шип с можлившть забезпечеиия безпосередньо! передач! байт (або групп байт), без необхщносп у таких опоращях, як перетворення формату даних. i'x попереде збирання у пакоти шипи, обов'язкова адресащя чи шдтримка арбира-цп велико! кшькосп паралелышх запипв доступу до шипи тогцо [14, 15]. В контекст запропоноваиого piinoiiira це дозволяе, по-перше, ол1мшувати додатков1 затримки за рахунок спрощения набору шдтримуваних операщй шипи, а по-друге, за-безпечити можливкть коректиого вщпрацювання бшыносп з вказаних в попередньому роздЫ за-вад передач! вщеопотоку камори. За рахунок на-явносп значно! кшькоста вже готовнх програмннх компонент1в, нообхщних для створення систем ро-естращ1/иередач1 вщеоиотоку (операщйш системи реального часу, стеки морожових прототгмпв, 6i-блютеки обробки вщеоиотоку та in.), з врахуван-ням наявноста штогрованих аиаратних процесорних ядер в SoC-FPGA piineinrax таких виробнишв, як Intel та Xilinx, що мають бшыну швидкодпо, шж аналопчш софт-ядра на 6a3i FPGA [16], автори вважають ирограмну реал1зацшо вщиовщних ал-горитм1в вщеообробки та передач! бшын простою, виправданою та менш затратною у nopiBiraimi з реа-л1защяо на баз1 лише цифрово! лоики. Представлена на рис. 1 структурно-функщональна оргашзащя враховуе особливосп функщонування вбудованих
мщюироцосорних ядер SoC-FPGA з метою змоншо-ння можливих затримок. Розгляномо даш особли-вост1. Головним чином, мшропроцосорш ядра ARM опттпзоваш для обробки даних, що знаходяться в опоратившй пам'яп [17]. Разом i3 використан-ням вбудованих операщйних систем, це дозволяе досягти водночас як достатньо швидко! реакцп ядра на 30BiiiiHiii поди (наириклад, иереривання щодо надходжоння ново! порцп вхщних даних), так i висо-копродуктивного виконання пр1ор1тетних обчислю-валышх процедур, так i виконання ряду фонових, менш npiopiTCTiiiix задач, а також дозволяе змеиши-ти еиергоспоживания мшропроцесорного ядра шд час очшування. I хоча виробники SoC-FPGA хйкро-схем надають можливкть з'еднання FPGA-лоики з ARM-ядром через спощал1зоваш штерфейси вводу-виводу з низькою затримкою (наириклад, ЕМЮ в Xilinx Zynq-7000 [18]), такий шдхщ в значшй Mipi ускладшое задачу синхрошзацп доступу до даних, вочовидь потребуй застосуваиня операщйних систем строгого реального часу з заздалопдь визначо-ним максималышм часом реакцп' на зовн1шн1 поди [19] та накладае обмеження на застосуваиня ви-сокоиродуктивних набор1в шструкщй (типу SIMD) для обробки вщеоиотоку [17]. Виходячи з наведе-них обможонь, ирийнято piinoiiira про використаиия принципу порщйного доступу до даних вщоопотоку мщюпроцосорним ядром i3 застосуваниям DMA-контролера (Direct Memory Access), фрагмонтатора вщоопотоку та механ1зму иереривань.
Вщповщно до запропонованого piinoiiira (рис. 1), шеля отримаиия в1д MIPI-камори вщеоиотоку, через цифрову потокову шину даш надходять до блоку фрагмонтатора потоку. Фрагментатор збирае складов! вщеокадру у фрагмеити та направляв i'x контролеру DMA. Такими складовими можуть бути один чи декшька рядшв/стовпщв кадру вщоо або група шксел1в одного рядку (стовпця), в заложно-CTi в1д вимог до системи реестрацп вщооиотоку та вщповщних обможонь максимально допустимо! затримки. DMA-контролер, в свою чергу, забезиечуе направления фрагменту до оперативно! пам'яп системи та подачу запиту контролеру пероривань системи шеля ycnimnoro заппсу фрагменту у пам'ять. Контролер пероривань встановлюе пореривания, що сигнал1зуе мшроироцесорному ядру про доступшсть отримаиого фрагменту вщеопотоку для подалыно! обробки.
Таким чином, при реал1зацп запропоновано!' структурно-функщоналыго! оргашзацп системи, теоретично значения мпималыго! величини затримки штерфейсу (T0if), за грубо! оцшки, обмежуеться знизу вщповщно до (3):
Tdt.
1
SF
Nsfе • Npps'
(3)
де Nsfe — кщьк1сть фрагмент1в, на яш подшяеться кадр в1део; NFPS - кщькшть кадр1в, що надходять
Рис. 1. Структурно-функщональна оргашзащя системи
за секунду; |SF - иотащя виконання умови застосу-вання запропоновансм структурно-функщоналыю1 оргашзацп' (з фрагментащяо кадр1в вщеопотоку).
Розглядаючи наявш засоби для роатзацй' запро-понованого pinieiiira. варто зазначити про потенщй-ну можливкть застосування icnyючих IP-ядер (за вщповщносп вимогам до створюваних систем рес-страцй' вщеопотоку). Оскшьки IP-ядра с готовими та протестованими компонентами, ix використання дозволяс в icTOTiiifi Mipi спростити задачу створення таких систем.
2.2 Експериментальна перев!рка
На ociiobí запропоновано1 структурно-функщоналыю1 оргашзацп'. було створено окспори-менталышй прототип системи росстрацп'/породач! вщеопотоку та представлено на конкурй Digilerit Design Contest 2019 [20]. Створоний прототип ре-атзуе захоплоння в1деопотоку з A-1IPI CSI камори (модуль Digilerit Pcani 5С на 6a3Í сенсора OV5640 [8.21]). подключено! до плати Zybo Z7-10 (на 6a3Í SoC-FPGA Xilinx XC7Z010 ймейства Zynq-7000 [18.22]) та подальшу його передачу к1нцевому вузлу з застосуванням cyMiciio'i 3Í стандарамп реал1зацп' стеку протоюмпв GigE Vision на ociiobí модщркова-iio'i програмно! бiблioтeкII AR AVIS [3.23].
Для створення KOMnoiieiiTÍB програмовано! ло-tíkii системи використано IP-ядра Xilnix. синтез проводився в ссредовшщ Vivado Design Suite вер-ci'i 2018.2 [24]. Загалом. для отримання потоку з камери. використано IP-ядро MIPI CSI-2 Receiver Subsystem [25]: в якоста цифрово! потоково! шипи (вщповщно до рис. 1) застосовано AXI4-Streani [14]: для реал1зацй' фрагмонтатора потоку використано na6ip IP-ядер AXI4-Streani Infrastructure [15].
Для побудови програмно! складово! системи. в якосп onopaniinioi системи використано спещ-aлiзoвaний embedded Linnx дистрибутив на 6a3Í Petalinnx вереи' 2017.4. для 36ipKii якого засто-
совано iiiCTpyMOiiTapifi Yocto [26. 27]. До базових мета-inapiB (в тормшологй' Yocto). додано шари шд-тримки Linnx-ядром використовуваних системою IP-ядер з автоматично-гонорованою конфкуращяо BSP (Board Support Package), а також ряд користу-вацьких niapiB. що забозпочують шдтримку роботи бiблioтeки ARAVIS. загалом. meta-aravis [28]. Для передач! вщеопотоку використано представлену в попередшх роботах модифшащю ArvFakeCamera компоненту ARAVIS [3.4]. до якого в подалыиому було заплановано внесения 3Miii з метою отримання вщеопотоку в рожихй DMABUF програмного штер-фейсу V4L2 (Video 4 Linnx 2) шдсистоми ядра Linnx [29]. Даний режим дозволяе отримувати вщеопопк в npocTopi користувача (nserspace) напряму з DMA-буфор1в. що видшяються драйвером вщеопристрою. тим самим мптизуючи затримку доступу до даних.
В xofli роботи над прототипом, було виявлоно ряд помилок в рсал1зацй' програмних компонен-TiB системного piBira шдтримки IP-ядер (нокоро-ктне рапортування пщсистсм1 V4L2 формату кадру вщеопотоку. помилки синхрошзацй' DM А тран-закщй. вщносно неефективна peaлiзaцiя роботи з багатопланарними DMA-буферами в драйвер! Bi-доопристрою). що в значшй Mipi обложило можли-BicTb бшыи 0nTiiMi30Baii0i' рсал!зацй' проекту. Загалом. при надходжонш потоку з внкорнстанням DMA. для його захоплоння було використано режим ММАР пщсистеми V4L2 замшть дощо бшыи ефоктивного режиму DMABUF [29]. Задача виправ-лоння виявлених помилок виходить за рамки дано! роботи. оскшьки. з одного боку, пщтримка таких програмних KOMnoiioiiTiB покладена на комианпо-розробника. а з шитого боку, пов'язана з дотри-манням встановлоного порядку прийняття змш до вщиовщних пщсистем Linnx-ядра.
Тим по менш. для створоного прототипу системи реестрацй'/исредач! вщеопотоку. в ход! оцшки результата. при передач! вщеопотоку з роздшьною здатшетю 1920x1080 шксел!в в формат! YUV 4:2:2.
25 кадр1в/с. досягнуто скорочоння затримки отри-маппя вщеопотоку в 11.7 мс. в nopiBiraiini прототипу створено! систоми з роатзащето, представленою у референс-дизайнах компаш! Digilerit [22]. ПромЬкш розультати проекту створено! систоми розмщено в GitHnb-peno3iiTopi! [30].
Розглядаючи можливост подалыпого скорочоння затримок в системах на 6a3i SoC-FPGA Xilirix. варто зазначити про можливкть застосуваиия IP-ядер AXI VDMA (AXI Video Direct Memory Access) та VFB R/W (Video Frame Buffer Road/Write) [31, 32]. Ключовою особливктю IP-ядра VFB R/W e за-бозпечоиия nopiBirano швидкого захоплення кадру потоку з AXI4-Stroarii та подальшо! буферизацп. У раз1. якщо замкть цшого кадру, поредавати на вхвд даного ядра фрагмент кадру, icnye потенщйна можлив1сть подалыпого змоншення затримок за ра-хуиок усуиоиия iiinnix пром1жиих IP-ядер з шляху передач! даних, кожие з яких вносить свою затрим-ку. Прото, такий и1дх1д вочевидь потребуватиме створення власних споцшрчних модушв програмо-вано! лопки.
3 Обговорення результатов
Виходячи з коицепцп запропоноваио! структурно-фуикщоналыю! оргашзацп систоми та отриманих результата II експорименталыю! реаль зацй'. можна стверджувати. що задача мптпзацй' затримок захоплення вщеопотоку в створюваних системах реестрацй'/псредач! вщео реального часу потребуй комплексного шдходу як до apxiTOKTypn таких систем, так i до вибору anapamio'i складово! та вщповщних програмних компоненте користу-вацького та системного piBiiiB. При цьому, варто зазначити про можливкть створення таких систем у вигляд1 програмно-апаратних комплекйв (наприклад, на ocuoBi SoC-FPGA з використанням ироцосорних ядер) або у вигляд1 суто аиаратних pi-шень (наириклад. на ociiosi FPGA без використання процесорних ядер). Застосуваиия суто апаратного шдходу може дозволити досягти монших величин затримок. прото. с на порядок бшын складним у реал1зацй' та подалышй довгостроков1й шдтримщ створюваних систем.
При застосуванш програмно-апаратного шдходу до створення систем рсестрацй'/передач! вщеопото-ку, важливим фактором с необхщшеть забозиечоння програмною складовою систоми обмежень реального часу вщповщно до BiipiniyBaiioi' задачь Для системного piBira програмно! складово!, виправда-ним с використання операщйних систем реального часу (RTOS Real-Time Operating System). Варто зазначити. що ядро Lirinx с ядром опера-nifnioi систоми широкого призначення та не вва-жасться RTOS-ядром, хоча i частково тдтримуе иевний функщонал реального часу. При цьому. око-система вбудованого Lirinx мае значну кшьккть
вже готових й иротостованих програмних компоненте та шетрумонтв, доступних розробнику систоми для перевикористання, що дозволяе в 1стотн1й м1р1 скоротити час. нообхщний для вщлшення задач розробки. Отже, з одного боку, при створенш систем реб:стращ1/поредач1 вщеопотоку, реал1защя програмно! складово! систоми на основ1 Ьпшх с до-сить доцшыгою, а з шшого боку, призводить до обмежень реального часу. Для подолання таких обмежень. до Ьпшх-ядра може бути застосовано на-б!р патч1в реального часу (наприклад, РТ-Ргоетр!.), що в свою чергу може потребувати внесения змш до драйвер1в пристроТв для 1х короктно! роботи. 1ншою альтернативою с використання спещал1зова-них Огшх-сумкних операщйних систем реального часу, таких як (¿XX. (¿XX запускам ядро Пгшх як прившейовану задачу власного иланувалышка реального часу. В пор1внянш з вищезазиачоиими патчами Пгшх, це дозволяе досягти бшын строгих обмежень реального часу. Тим не менш, цо потребуй реал1защ1 вщповщннх драйвер1в, що повинш внконуватнея в реальному чай. у вигляд1 драйвер1в С^УХ (з можливктю долегащ! Пгшх повних не кри-тичних операщй). Окр1м цього, на вщмшу в1д Пгшх, ОХХ розповсюджуеться на комерщйшй основ1 за пропрктарною лщензкю. Останньою з зазначених альтернатив, с використання окремих РТОБ (наприклад. ГгееРТОБ), що дозволяють досягти строгих обмежень реального часу. Але недол1ком такого шдходу с бшыш витратн часу на розробку через вщ-сутшсть значио! кшькост вже готових програмних компоненте.
Представлена в робой структурно-функщональна оргашзащя систем реестращТ/поредач! вщеопотоку иризначона для реал1защ1 вщповщно до програмно-апаратного шдходу. прото. може бути адаптована для суто апаратного шдходу у раз1 необхщност.
Висновки
В робот розглянуто пнтання змоншення затримок в системах реестращТ/поредач! вщеопотоку з Л11Р1-С81 камер, наведено анал1з окремих складо-вих сумарно! затримки роестращ!/передач! вщеоио-току, 1хшх характорних особливостей. вщповщних обмежень та можливостей иотенцшного впливу на кожну з цих складових з метою змоншення сумарно! затримки при створснш таких систем. Головним чином. окреслоно проблематику, пов'язаиу 1з використанням в системах реестрацй'/поредач! вщоопотоку покадрово! буферизацИ, що призводить до обмеже-иия мпималыго досяжио! затримки захоплоиия.
Запропоноваио структурно-функщональну орга-шзащю систоми роестращ!/передач! вщеопотоку без покадрово!' буферизацИ, що дозволяе досягти змон-Ш01Ю1 затримки реестращ! вщоопотоку з Л-11Р1 СЭ1 камер. Запропоноваио ршення може бути реал1зо-вано на баз1 БоС-ГРСА. в тому чист з впкорпста-
ппям вжс готових IP-ядер. В ocnoBi заиропонова-iio'i структурно-функщональнся оргашзащ! лежить застосування цифрово! потоково! пиши, фрагмен-татора вщеопотоку та модуля DMA. Такий пщхщ дозволяв реалоувати операщ! попередныи обробки вхщного вщеопотоку програмно. на иаявиих в SoC-FPGA мшропроцесорних ядрах. Для сксиеримен-тально! иерев1рки запроионованого pinieiiira. на його ocnoBi було створено прототип системи роестра-цп/передач1 вщеопотоку на 6a3i SoC-FPGA Xilirix XC7Z010 с1мейства Zyriq-7000. He зважаючи на ви-явлеш в nponeci роботи над прототипом обложения шдтримуваних внробннком вщповщних 1Р-модул1в Xilirix програмних компоненте системного piBira. в ход1 експернменту досягнуто зменшення затрнм-ки отримання вщеопотоку в 11.7 мс. що доводить потенцшну придатшеть запроионованих pimeiib.
Результати роботи можуть бути BiiKopiiCTani для зменшення сумарно! затримки захоплоння вщеопотоку з MIPI CSI камер в системах реестра-цп/передач1 вщеопотоку. що потребують дотрима-ния обмежень реального часу та допускають реаль защю з використанням SoC-FPGA.
Подяка
Роботу було виконано в рамках дсржбюджетно1 теми «Багатоканалышй тeплoвiзiйнo-тeлeвiзiйний комплекс пошуку-внявлення i3 завадостшким швидккним штсрфейсом передач! даних» (д/р №011811003751) за пщтримки Мпистерства ocBimi i науки Укра'ши.
Перелж посилань
1. М1Р1 Camera Serial Interface 3 (М1Р1 CSI-Z)/M11>1 Alliance
2. Ходиев Т. Л. Оценка эффективности использования тракта связи протоколами RTSP-вцдеовещаиця в задачах передачи видеопоследовательностей реального времени / Т. Л. Ходиев. Л. Ю. Варфоломеев // XII А'Ижмародпо иауково-тетлачиа конференция "Нробле-м.и т-елекомупгкацгй" 11Т-2018: Збгрник матергалгв коифереици. Kuib : Kill ¡м. 1горя СЛкорського. '2018. 500 с. с. 332-335.
3. Khodniev Т. Л.. Varfolomieiev Л. Y.. Lysenko О. М. , Antonyuk О. 1. (2018) Comparison of RTS1> andOigE Vision video sti-eaming technologies in terms of communication path utilization efficiency: an experimental approach. 2018 International Conference on Information and Telecommunication Technologies and Radio Electronics (UkrMiCo). Одоса, с. 1-4. DOl: 10.1109/UkrMiCo43733.2018.9047531.
4. Марченко В. 1. Програмно-аиаратна реа.;пзащя ui-деокамери. cyMiciioi 3i стандартом GigE Vision / В. E Марченко. Т. Л. Ходиев. Л. Ю. Варфоломеев // Мгкросистеми, Електропта та Акустика. 2018. Т. 23. №5. с. 32-37. DOl : 10.20535/25234455.2018.23.5.147686.
5. Ходиев Т. Л. Поуровиево-декомиозицшишая модель оценки интегральной эффективности использования тракта связи с учетом помех / Т. Л. Ходиев. Л. 11. Литошок. Л. Ю. Варфоломеев. Л. Н. .ilbiceu-ко // Мгкросистеми, Електроита та Акустика. 2018. Т. 23. №6. с. 29-33. DOl : 10.20535/25234455.2018.23.6.154720.
6. Rolling Shutter vs. Global Shutter / Teledyne Qlmaging
7. Liang С. K. Analysis and compensation of rolling shutter elfect / С. K. Liang. L. W. Chang. H. H. Chen // IEEE Trans actions on Image Processing. 2008. T. 17. № 8. c. 1323-1330. DOl : 10.1109/T1P.2008.925384
8. OV5640: color CMOS QSXGA (5 megapixel) image sensor with OmniBSl technology / Omni Vision Technologies Inc.
9. Low-latency design considerations for video-enabled drones (SPRY301) / Texas Instruments Inc.
10. Ahmad .1. EPCA based Deterministic Latency Image Acquisition and Processing System for Automated Driving Systems / .1. Ahmad. A. Warren // 2018 IEEE International Symposium on Circuits and Systems (1SCAS). 2018. DOl : 10.1109/iscas.2018.8351472.
11. Understanding and Reducing Latency in Video Compression Systems / CAST Inc.
12. M1P1-CS12 Peripheral on i.MXfi MPUs (AN5305) / NXP Semiconductors Inc.
13. Camera Abstraction Layer - Processor SDK Linux Documentation / Texas Instruments Inc.
14. ЛМВЛ 4 AX14-Stream Protocol / ARM Ltd.
15. AX14-Stream Infrastructure IP Suite v3.0 (PC085) / Xilinx Inc.
16. .layakrishnan V. Embedded Processors on EPCA: Soft vs Hard / V. .layakrishnan. C. Parikh // Proceedings of the 2019 ASEE North Central Section Conference. 2019
17. ARM A-Prolile Architecture Specilications / ARM Ltd.
18. Zynq-7000 SoC Data Sheet: Overview (DS190) / Xilinx Inc.
19. Siewert S. Real-Time Embedded Components And Systems Using Linux And RTOS / Siewert S. and Pratt .1. 2-ге вид. Dulles. VA : Mercury Learning and Information. 2016. 500 c. ISBN: 1942270046
20. Digilent Design Contest 2019 EU Region Finalists / Digilent Inc.
21. Pcam 5C: 5 MP Color Camera Sensor / Digilent. Inc.
22. Zybo Z7: Zynq-7000 ARM/FPCA SoC Development Board / Digilent Inc.
23. ARAMS: A vision library for genicam based cameras / Git-hub
24. Vivado Design Suite / Xilinx Inc.
25. M1P1 CS1-2 Receiver Subsystem v4.1 IP (PC232) / Xilinx Inc.
26. PetaLinux Tools / Xilinx Inc.
27. Yocto Project / Linux Foundation
28. Meta-aravis: Yocto layer for the Aravis application / Git-hub
29. V4L2 API Input/Output: Streaming I/O (DMA buITor importing) / Linux Kernel Organization Inc.
30. Т. Л. Ходикв. М. С. Голуб. О. В. Кужилышй. Gigevision-xilinx: GigE Vision compati.be. video streaming from M1P1-CS1 camera with Zybo Z7-10 board
31. ЛХ1 Video Direct Memory Access v6.3 (PG020) / Xilinx Inc.
32. Video Frame Buffer Read and Video Frame Buffer Write v2.1 (PG278) /Xilinx Inc.
References
[1] M1P1 Alliance. M1P1 Camera Serial Interface 3 (MII'I CS1-3), standard, viewed 18 .Jun 2020.
[2] Khodniev T. A. and Varfolomieiev A. Y. (2018) Evaluating the efficiency of communication path utilization by RTSP broadcasting protocols in tasks of real-time video sequences transmission. Conference materials of Xllth International Scientific Conference "Modern challenges in telecommunications", pp. 332-335. in Russian.
[3] Khodniev T. A.. Varfolomieiev A. Y.. Lysenko O. Aland Antonyuk O. 1. (2018) Comparison of RTSP and GigE Vision video streaming technologies in terms of communication path utilization efficiency: an experimental approach. 2018 International Conference on Information and Telecommunication Technologies and Radio Electronics (UkrMiCo), pp.1-4. DOl: 10.1109/ukrmi-co43733.2018.9047531.
[4] Marchenko V. 1.. Khodniev T. A. and Varfolomieiev A. Y. (2018) Software and Hardware Implementation of Video Camera. Compatible with GigE Vision Standard. Microsystems, Electronics and Acoustics, Vol. 23. Iss. 5. pp. 32-37. DOl: 10.20535/2523-4455.2018.23.5.147686.
[5] Khodniev T. A.. Antoniuk O. 1.. Varfolomieiev A. Y. and Lysenko O. M. (2018) By-Layer Decomposition Model for Evaluating the Integral Communication Path Utilization Efficiency with Account for Errors. Microsystems, Electronics and Acoustics, Vol. 23. Iss. 6. pp. 29-33. DOl: 10.20535/2523-4455.2018.23.6.154720.
[6] Teledyne Qlmaging. Rolling Shutter vs. Global Shutter, technical note, viewed 18 .Jun 2020.
[7] Liang C.. Chang L. and Chen H. (2008) Analysis and Compensation of Rolling Shutter Effect. IEEE Transactions on Image. Processing, Vol. 17. Iss. 8. pp. 1323-1330. DOl: 10.1109/tip.2008.925384.
[8] OV5640: color CMOS QSXGA (5 megapixel) image sensor with OmniBSl technology. Omni Vision Technologies Inc., datasheet, archived, viewed 18 .Jun 2020.
[9] Low-latency design considerations for video-enabled drones (SPRY301). Texas Instruments Inc., application note, viewed 18 .Jun 2020.
[10] Ahmad .J. and Warren A. (2018) FPGA based Deterministic Latency Image Acquisition and Processing System for Automated Driving Systems. 2018 IEEE International Symposium on Circuits and Systems (1SCAS). DOl: 10.1109/iscas.2018.8351472
[11] Understanding and Reducing Latency in Video Compression Systems. CAST Inc., viewed 18 .Jun 2020.
[12] M1P1-CS12 Peripheral on i.MXfi MP Us (AN5305). NXP Semiconductors Inc., application note, viewed 18 .Jun 2020.
[13] Camera Abstraction Layer - Processor SDK Linux Documentation. Texas Instruments Inc., developers guide, viewed 18 .Jun 2020.
[14] AMBA 4 AX14-Stream Protocol. ARM Ltd., specification, viewed 18 .Jun 2020.
[15] AX14-Stream Infrastructure IP Suite v3.0 (PG085). Xilinx Inc., product guide, viewed 18 .Jun 2020.
[16] .Jayakrishnan V. and Parikh C. (2019) Embedded Processors on FPGA: Soft vs Hard. Proceedings of the. 2019 ASEE North Central Section Conference.
[17] ARM A-Profile Architecture Specifications. ARM Ltd., reference manual, viewed 18 .Jun 2020.
[18] Zynq-7000 SoC Data Sheet: Overview (DS190). Xilinx Inc., product specification, viewed 18 .Jun 2020.
[19] Siewert S. and Pratt .J. (2016) Real-Time Embedded Components And Systems Using Linux And RTOS, 2nd ed.. Dulles. Virginia: Mercury Learning and Information. ISBN: 1942270046
[20] Digilent Design Contest 2019 Eli Region Finalists. Digilent. Inc.
[21] Pcam 5C: 5 MP Color Camera Sensor. Digilent. Inc., product page, viewed 18 .Jun 2020.
[22] Zybo Z7: Zynq-7000 ARM/FPGA SoC Development Board. Digilent Inc., product page, viewed 18 .Jun 2020.
[23] ARAMS: A vision library for genicam based cameras. Git.Hub, software, library repository, viewed 18 .Jun 2020.
[24] Vivado Design Suite. Xilinx Inc., product page, viewed 18 ■Jun 2020.
[25] M1P1 CS1-2 Receiver Subsystem v4.1 IP (PG232). Xilinx Inc., product guide, viewed 18 .Jun 2020.
[26] PetaLinux Tools. Xilinx Inc., product page, viewed 18 .Jun 2020.
[27] Yocto Project, Linux Foundation project home, viewed 18 ■Jun 2020.
[28] Meta-aravis: Yocto layer for the Aravis application. Git.Hub, software, repository, viewed 18 .Jun 2020.
[29] V4L2 API Input/Output: Streaming I/O (DMA buffer importing). Linux Kernel Organization Inc., Linux kernel v. 4.9 documentation, viewed 18 .Jun 2020.
[30] Khodniev T. A.. Holub M. S. and Kuzhylnyi O. V. (2020) Gigevision-xilinx: GigE Vision compatibe video streaming from M1P1-CS1 camera with Zybo Z7-10 board. Git.Hub, project software, repository, viewed 18 .Jun 2020.
[31] AXI Video Direct Memory Access v6.3 (PG020). Xilinx Inc., product guide, viewed 18 .Jun 2020.
[32] Video Frame Buffer Read and Video Frame Buffer Write v2.1 (PG278). Xilinx Inc., product guide, viewed 18 .Jun 2020.
Акселерированная регистрация MIPI CSI видеопотока в задачах передачи видео реального времени
Ход нее Т. А., Голуб М. С., Кужильный О. В., Лысенко А. П., Варфоломеев А. Ю.
В работе рассмотрены вопросы уменьшения задержек передачи видеопотока в реальном времени с камер, предусматривающих подключение через интерфейс MIPI CSI. Приведены основные составляющие задержки регистрации/передачи видеопотока, проанализирована степень их вклада в суммарную задержку, дана оценка возможности потенциального воздействия на них при разработке систем регистрации/передачи видеопотока реального времени. Обозначена проблематика, связанная с применением покадровой буферизации в таких системах, главным образом, воздействие наличия покадровой буферизации в системе на величину суммарной задержки. Охарактеризованы ограничения реализаций модулей MIPI, приводящие к увеличению задержек регистрации видеопотока с MIPI CSI камер в некоторых ARM-микропроцессорах.
Предложена структурно-функциональная организация систем регистрации MIPI CSI видеопотока с использованием потоковых цифровых шин, фрагментации кадров видеопотока и DMA транзакций, которая не требует использования покадровой буферизации и, соответственно, позволяет уменьшить суммарную задержку регистрации видеопотока. Предложенная структурно-функциональная организация может быть реализована на основе SoC-FPGA решений, в том числе, с использованием существующих IP-ядер. Приведены прагматические особенности и соответствующее оценочное выражение для определения ограничений величины задержки при использовании предложенных решений.
Для экспериментальной проверки, создан прототип системы регистрации/передачи видеопотока на основе SoC-FPGA Xilinx семейства Zynq-7000, в соответствии с предложенной структурно-функциональной организацией, рассмотрена его специфика и соответствующие особенности реализации. Дана оценка полученному быстродействию прототипа и рассмотрены возможные направления дальнейшего уменьшения суммарной задержки регистрации/передачи видеопотока.
Результаты работы могут быть использованы для уменьшения задержек регистрации видеопотока с MIPI CSI камер в системах видеопередачи реального времени на основе SoC-FPGA.
Ключевые слова: SoC; FPGA; MIPI CSI; GigE Vision; видео; потоковая передача
Accelerated MIPI CSI video stream acquision in tasks of real-time video streaming
Khodniev T. A., Holub M. S., Kuzhylnyi 0. V., Lysenko 0. M., Varfolomieiev A. Y.
In present study the challenges of reducing transmission latencies of a real-time video stream acquired from cameras connected via the MIPI CSI interface were addressed. In the study, the main components of the video stream acquisition/transmission latency are given, the degree of their contribution to the total latency was analyzed, the assessment on the potential ability to influence them when developing a real-time video stream acquisition/transmission systems was given. The issues connected with using the frame buffering in such systems are designated, primarily the impact on the total latency value when having a framebuffer in such a system. The limitations of the existing MIPI module implementations of some ARM microprocessors resulting in latency increase for MIPI CSI camera video stream acquisition were characterized.
The structural and functional organization based on the use of digital streaming buses, fragmentation of video frames and DMA transactions for MIPI CSI video stream acquisition systems was proposed, which does not require the use of framebuffers and, as a result, provides the possibility of reducing the overall video stream acquisition latency. The proposed structural and functional organization could be implemented based on SoC-FPGA solutions, including the use of the existing IP-cores. Pragmatic peculiar features were described and the corresponding expression for estimating the limiting value of the latency for the proposed structural and functional organization was given.
For experimental verification, a prototype of the video stream acquisition/transmission system, based on the Zynq-7000 SoC-FPGA family of Xilinx following the proposed structural and functional organization was created. Its specifics and corresponding features of its implementation were discussed in the paper. The performance of the obtained prototype was estimated, and the possible directions towards further reduction of the overall latency of video stream acquisition/transmission were considered.
The results of the study may prove useful to reduce the latencies of the video streams acquired from MIPI CSI cameras in real-time video stream transmission systems based on SoC-FPGA.
Key words: SoC; FPGA; MIPI CSI; GigE Vision; video; streaming
