CC BY
7
УДК 621.372.061
Реставрация зображень методом super-resolution з використанням згорткових нейронних мереж
Недзельський О. Ю., Лащевська Н. О.
Нацншалышй тохшчшш ушворситот Укра'ши "Кшвський иолггохшчций шститут ¡Moiii 1горя СЛкорського", м. Ки'ш, Укра'ша
E-mail: eaehancdzc-JMgmail.com
Головпа мета методу супер роздклыю! здатпост! (super-resolution) полягае у створепш зображеппя б1лын високо! розд1лыю1 здатпост з зображень пижчо! роздклыю! здатпост. Зображеш1я високо! роздглыго! здатпост забезпечують високу шдльшсть шксетв. отже. б1лыне деталей па виндаому зображеш. Необх1дшсть високо! роздглыю! здатпост широко пошпрепа у методах комп'ютерпого зору. в програмах для розшзпаваппя образ!в або звичайпого апал!зу зображень. Проте зображешш високо! роздглыго! здатпост не завждн е доступпими. Це пов'язапо з тим, що процеси перетворешш та метода для обробки внмагають падаотужннх процеов. тому i обладаашш для отрнмаш1я зображень високо! роздглыю! здатпост виявляеться дорогим. Щ проблемн можуть бути подолаш за допомогою алгорит-мш обробки зображень. як! е в1дпоспо недорогими, що призвело до появи копцепцп падрозв'язаппя. Це дае перевагу, тому що може коштувати дешевше. a icnyioni системи в1зуал!зацп з пизькою роздглыгою здатшстю е достатньо доступпими. Висока роздгльпа здатшеть мае велике значения у медачшй в!зуаль зацп для д1агпостики. Багато програм вимагають масштабуваппя конкретно! облает! зображеппя. при цьому висока роздшьна здатшеть стае пеобх1даоЮ; паприклад, для спостережеппя. кримшатстики та супутпиково! в1зуал1зацп. Наведепий в робот! метод з використаппям згортково! пейрошю! мереж! для в1дтвореппя зображень супер роздглыю! здатпост папряму викопуе перетвореппя з 1шзького зображеппя па зображешш под!бпе до оригшалу. Щоб прискорити час виходу. запропоповапий метод викопуе бглышеть обчислювальпих операцш у простор! з пизьким дозволом та при цьому змепшеппя даскретизацп по призводать до втрати шформацп. Головпа задача роботи пейрошю! мереж! полягае в рекопструкцп спотворепого зображеппя та пошуку 1деалыго! фупкцГ! в1дтвореппя. по якш. власпе. пейроппа мережа просто! структури створюе яшеш зображмшя з кращими показпиками. таким як роздгльпа здатшеть. ствв1дпошеппя сигпал/шум. мешш часов! витрати па в1дповлеш1я зображешш. Шд час експеремепту було визпачепо алгоритм, по якому запропоповапа пейроппа мережа може рекоп-струювати будь-яке зображешш. з р1зпими видами спотворепь. Метод super-resolution був реал1зовапий з використаппям мови програмуваппя pyt.liou 3.6 та програмпих модул!в для згорткових пейрошшх мереж t.ensorflow та t.ensorlayer. Граф1чш дапш ствв1даошеш1я сигпал/шум. структурно! под!бпост та графши втрат були отримапш за допомогою модулю t.ensorboardX.
Клюноог слова: супер роздгльпа здатшеть: згортков! пейрош мереж!: ствв1даошеш1я сигналу до шуму: втрата MSE: втрата VGG: коефкцепт змепшеш1я виб!рки: кодер: декодер: десубшксель
DOI: 10.20535/RADAP.2023.91.79-86
Вступ
У дашй статт1 розглядаеться згорткова нейрон-на мережа для полшшешш якосп зображеппя. яка може бути навчена як для збшынешш роздшьно! здатносп зображешш, так i для полшшешш шфор-MaTiiBiiocTi зображень, отримання точних i в той же час в1зуалыго приемник зображень.
Роздшьна здатшеть зображешш описуе дотат зображеппя та визначае кшьшеть шксел1в па одини-цю плопц. Чим вища роздшьна здатшеть, тим бшь-ше деталей зображешш. Супер роздшьна здатшеть (Super-Resolution, SR) це процее реконструкци зображешш з високою роздшьною здатшстю (highresolution, HR) i3 заданого (входного) зображешш з
низькою роздшьною здатшстю (low-resolution, LR). Snper-Resolntion е. складною задачею, i виршгсння ше! проблемн с активною областю доелвдження в галуз1 комп'ютерпого зору та глибинного навчання.
Процее в1дновлення високо! роздшьно! здатноет1 зображень з низькорозм1рних зображень це зав-дання в1дновлення втрачено! шформацп. Очевидно, що при застосуванш функцп деградаци ми отри-муемо зображешш LR i3 зображешш HR. Одним i3 простих метод1в отримання даних LR е. norip-шення даних HR р1зними втратами та шумами. Маючи шформацпо про точну функцпо деградаци, заетосовуючи i"i зворотну до зображешш LR, можна створити функцпо ввдтворення та вцщовити зображешш HR [1]. Зазвичай при Biipinicniii зворотньо!
задач! функщя деградаци наперед невщома. Проблематика Super-Resolution полягае в тому, що при зменшенн! розм!ру зображення втрачаеться багато деталей та шформаци. Якщо ми намагаемося вщно-вити впсокояюсне зображення з низько1 розд!льно1 здатност!, то виникае проблема вщновлення цих втрачених деталей.
Сьогодн! для покращення як!сннх характеристик багатовим!рнпх снгнал!в (зображень) широко використовують згортков! нейронн! мереж! [2-4], щоб вщновлюватп внсокоягасн! зображення з низь-Ko'i роздшьно! здатност!. Структура мереж! - одно-
спрямована (без зворотних зв'язшв), багатошарова зображена на Рис. 1. Однак, процес вщновлювання високояюсних зображень за допомогою згортково1 нейронно!" мереж! може бути пов'язанпй з багатьма проблемами, такими як складшсть тренування мереж!, погана як!сть вщновлення та висок! вимоги до обчислювально!" потужност!. Також можуть виника-ти проблеми, пов'язан! з вщновленням деталей, як! не булн прнсутн! в нпзькорозд!льнпх зображеннях, ! з! створенням в!рог!днпх деталей, як! вщсутн! на впхщному зображенн!, але в!дпов!дають реальннм деталям.
Рис. 1. Арх!тектура згортковот нейроннот мереж!
Для вир!шення цих проблем було застосовано п!дх!д глпбннного навчання (deep learning) згортко-Bo'i нейронно1 мереж!.
1 Навчання згортково*1 нейрон-но*1 мереж1
Навчання функцп наскр!зного вщображення F вимагае оцшки параметр!в мереж!
в = {Wi ,W2 ,W3 Вх ,B2 ,B3 } .
L (в)
1 п
-V F (Yi; 0) - Хг2,
7=1
ще спостер!гаеться задовшьна продуктивн!сть, коли модель ощнюеться за допомогою альтернативних показнишв оцшки, напрнклад, SSIM, MSSIM [5]. Втратн м!н!м!зуються за допомогою стохастпчно-го град!ентного спуску з! стандартним зворотннм поширенням. Зокрема, вагов! матриц! оновлюються як:
dL
Дт = 0.9 ■ Ai - V ■ ш, (3)
(1)
wU
w! + A.
■i+1 >
(4)
Це досягаеться шляхом м!н!м!зацп втрат м!ж в!д-новленими зображеннями F (Y; 9) i в!дпов!дни-ми зображеннями високо!" розд!льно1 здатност! X. Для набору зображень високо!" розд!льно1 здатност! {Х^} та в!дпов!дних зображень !з низькою розд!ль-ною здаттстю {Yi} внкорпстовуеться середньоква-дратична помнлка (MSE) як функщя втрат:
(2)
де п - кшьюсть навчальних виб!рок. Використан-ня МБЕ як функцп втрат сприяе високому PSNR (шкове сп!вв!дношення сигналу до шуму). PSNR е широко викорнстовуваною метрикою для к!льк!сно1 ощнки якост! вщновлення зображення. Незважа-ючи на те, що запропонована модель тренуеться на користь високого PSNR, п!д час навчання все
де / =е {1, 2, Э^а г — та !терац!й, ц —
швидк!сть навчання, — похщна. Ваги ф!льтр!в кожного шару !н!ц!ал!зуються шляхом випадкового вибору гаус!вського розпод!лу з нульовим середшм ! стандартним вщхиленням 0,001. Швидюсть навчання становить 10-4 для ^^^^^ двох шар!в ! 10-5 для останнього. Емшричним шляхом встановлено, що менша швидшсть навчання на останньому шар! важлива для сходження мереж! (под!бно до внпад-ку зменшення шуму). На еташ навчання основн! зображення !стннн Х^ готуються як пщзображе-ння /8иь х /8иъ х с- тксель, внпадково обр!зан! з навчальних зображень. П!д «пщзображеннями» маеться на уваз!, що ц! зразки розглядаються як невелик! «зображення», а не «фрагмента», у тому сенс!, що «фрагмента» перекриваються ! вимагають певного усереднення як постобробку, а «пщзобра-ження» не потребують. Щоб синтезувати виб!рки з низькою роздшьною здатн!стю пщзображення
розмиваються за допомогою ядра Гаусса. пвдзГярка за допомогою коофшдента збшьшоння, 1 масшта-буеться воно на той самий фактор за допомогою б1куб1чно1 шторполящ1. Щоб уникнути граничних ефекпв шд час навчання. уй згортков1 шари но мають заповнення, 1 мережа вида с менший ви-хщ ((/виь - /1 - /2 - /э + Э)2 х с). Функщя втрат МБЕ оцшюеться тшьки за р1зницою хйж централь-ними шкселями Х^ та вихщним сигналом мере-жь Навиь при використанш фжсованого розхйру зображення пщ час навчання. згорткова нейрон-на морожа можо бути застосована до зображень
довшьного розм1ру пщ час тостування. Бшышсть методов створоння. навчання та роботи згорткових нойронних морож спрямоваш на полшшення лише таких яшених показнишв оцшки зображення як ni-кове сшввщношення сигнал/шум i середнс значения ваг зв'язшв без будь-якого врахування часу обро-блення. В наслщок цього навиь до комп'ютор1в високого класу потужноста пред'являються висок1 обчислювалыи вимоги, не кажучи вже про мобшыи пристро! [6]. На Рис. 2 представлена архитектура запроионованого методу.
Down Sample
Residual Block(1)
Residual Block(n)
Input
Residual Block(N)
Up Sample
->-->
■X^^ Output
Ж
Рис. 2. ApxiTOKTypa методу для реставрацй' зображень з використанням згорткових нойронних мереж
ирБашрИгщ \ йо'^шашрИгщ с операщями змь ни роздшыкя здатност (розм1ру) зображення. Downsanlpling (зменшення роздшыкя здатност) це ироцес зменшення кшькост шксол1в у зображен-ш. Це зазвичай досягасться шляхом згортки (згу-щення) зображення з використанням фшьтра, що зменшус розм1р зображення та виключае частину високочастотних складових. Наприклад, якщо ми зменшусмо розм1р зображення вдв1чь ми можемо використовувати фшьтр, який видаляе кожен дру-гий рядок 1 стовпець. зменшуючи розм1р зображення у два рази. ирБашрИгщ (збшьшоння роздшыкя здатност) це ироцес збшьшоння кшькост тксо~тв у зображонш, який можо бути досягнутий шляхом вщновлення проиущених шксол1в з використанням штерполящ!. Наприклад. ми можемо збшынити роз-м1р зображення у два рази, використовуючи методи штерполящ!, таш як бшшшна штерполящя, яка ви-користовус наб1р суйдшх шксол1в, щоб вщновити нов1 шксел1 м1ж ними. Для вщновлення високояш-сного зображення з низькси роздшыкя здатност, сиочатку зображення зменшують до иевного розмь ру, а поим застосовують методи нрБатрНгщ для вщновлення деталей та пщвищення роздшыкм здатно-
CTi [7.8]. Конволющйний шар (Convolutional layer) це основний будовелышй блок в згорткових нойронних мережах, який вщповщае за обробку вхщного зображення. Convolutional layer зазвичай мктить na6ip фшьтр1в (ffii також називають ядром або матрицею зважених иараметр1в). як1 «скользять» по вхщному зображонш, виконуючи операщю згортки. Кожен фшьтр мае вагов1 коефщенти, як1 викори-стовуються для змшування шксел1в вхщного зображення, щоб отримати ново значения шкееля у вихщному зображонш. Використовуючи na6ip фшь-тр1в, Convolutional layer видае декшька карт ознак, що представляють вихщну шформащю. П1сля про-ходження вхщного зображення через Convolutional layer, вихщш карт ознак передаваться в наступний Convolutional layer або iiimnfi тип шару, що дозволяе вщиовлювати бшьш склади1 функцй' зображення. У CNN (convolutional neural network) зазвичай вико-ристовують декшька Convolutional layers з р1зними наборами фшьцнв, що дозволяе отримати все бшьш i бшьш складш ознаки зображення. Застосування Convolutional layers дозволяе виявляти просторов! залежност в зображениях [9], що с корисним в багатьох завданнях обробки зображень, таких як
класифшащя, виявлення об'ектав, вцщовлення зо-бражень biicokoi роздшыгосп тощо. RoLU (Rectified Linear Unit) e одшяо з найбшыи поширених фун-кцш активащ! в глибокому навчанш. Ця функщя активацИ мае вигляд: f (х) = max(0, х), де х -вхвдний еигнал, a f (х) - вих1дний еигнал п1еля застосування функцИ активащь Результатом фун-кщ1 RoLU е 0 для Bcix вх1дш!х значень, як1 мешш за 0. а для Bcix значены яш бшыш або piBiii 0. результатом б: само це значения. Це означав, що функщя RoLU "активуеться" тшьки тодь коли Bxi-дний сигнал бшыиий за 0. iiiaKHie вона но да с ншкем вцщовцц. Використання функщ1 RoLU мае докшька переваг у nopiBirainii з шшими функщями активащ!, зокрема вона швидше обчислюеться i мае менше проблем з градоентами в процоей навчання iiefipoiinoi моролй [10]. Snbpixel е TexiiiKOio збшьшоння роз-дшыго1 здатносп зображення шляхом використання штерполящ! кольору хйж шкеелями зображення. Заметь того, щоб просто розтягувати шкеель що може призвести до використання бшынсм кшькосп шксел1в, snbpixel роздшяе кожен шкеель на бшыиу кшьшеть частин, кожна з яких хйстить часткову шформащю про катр. Це дозволяе досягти бшь-шо\' розд1лыго1 здатноста без збшьшоння кшькосп niKCOJiiB. Desnbpixel, з iinnoro боку. е. процесом змен-шення роздшыго1 здатносп зображення. Це може бути корисно при змоншонш розм1ру зображення або при змоншонш розм1ру деяких його елемен-т1в, наприклад, при змоншонш розм1ру шрифту на зображенш. Загалом, snbpixel та desnbpixel це техшки, як1 використовуються для оптим1защ1 розм1ру зображень з метою покращения якосп в1зу-ального вщображення та зменшення розм1ру файлу зображення. Залишковий блок (Residual block) е. типом блоку, який дозволяе пропускати вхщш даш через иейрониу мережу, додаючи i'x до вих1дного сигналу блоку, що називаеться "skip connection" або "shortcut connection". Це дозволяе iiefipoiuiifi мереж1 "залишатися на шляху" до вхцщих даних, що може допомогти покращити як1сть навчання та зменши-ти fiMOBipnicTb зникаючих градоенпв. Residual block може бути визначено як: у = F(х)+х, р$х — вх1дний сигнал, у - вшидний сигнал, a F - функщя, яка на-вчаеться блоком. Якщо вхцщий та вихщний сигнали мають pi3iiy кшьшеть функщоналышх простор1в, то вх1дний сигнал х може ироходити через додатко-вий шар, щоб привести його до вщповщного розм1ру перед додаванням до вшидного сигналу F(х). Residual block дозволяе nefipoiiiiifi мереж1 "вчитися" на р1знищ м1ж вх1дними та вих1дними даними, зам1сть того, щоб "вчитися заново" на тих самих даних, що може призвести до иеренавчання. Шари норматза-nii (Instance Normalization) це метод норматзащ! (р1вняння, що поретворюе вхцци даш в стандарти-зовану форму) для глибинних нейронних мереж, який застосовуеться до кожного елементу вхщного шару окремо (на вщмшу вщ Batch Normalization, де
норматзащя виконуеться для Bcix зразк1в в пакет1). У Instance Normalization для кожного зразка вхщ-них даних вщбуваеться норматзащя по каналах (глибина), шляхом вщшмання середиього значения i дшоння на стандартно вщхилення. Це допомагае уникнути зм1щення вих1дних значень вцщосно точки розиодшу вх1дних даних, що може призвести до занадто великих або заиадто малих значень ваг. Це може зменшити ироблеми 3i зб1жн1стю, забез-печити бшыи ст1йку роботу мереж1 та полшши-ти яшеть роботи на нових даних. За допомогою Downsampling зображення спочатку знижуеться з косфшдентом 4 за допомогою двох запроионованих х2 модул1в desubpixel. Конволюцшний шар 1x1 ви-користовуеться для иалаштуваиия кшькосп канал1в в потр1бне значения. Шсля зниження дискретизащ! в npocTip з низькою роздшьною здатшетю, ознаки надходять в модуль з N залишкових блошв, кожен з яких складаеться з двох конволющйних inapiB х
Зазначимо, що шари норматзащ! окзомплярпз використовуються для покращения зображення лише для норматзащ! Bapianii контрасту м1ж зразками. Блок вихщ N-ro залишкового блоку переходить в
х
перед шдсумовуванням з низькояшеним вхщним зображенням для отримання прогнозованого висо-кояшеного вихцщого зображення [11]. Зменшення кроку дискретизащ1 зазвичай иризводить до втрати шформащь Модуль реверсивного зниження дискре-тизащ!, так званий десубшксоль, виконуе зниження дискретизащ! таким чином, що його вхцщий сигнал може бути вцщовлений, як показано на Рис. 3. Запропонований модуль десубшксоля систематично перебудовуе просторов! характеристики в капали для зменшення просторових розм1р1в без втрати шформащь Нехай U i D вщиовщно иозначають функщю збшьшоння субшкселыго1 дискретизащ! та зменшення дискретизащ! десубп1кселя [12]. Оиера-Щ1 по зменшеншо та збшьшеншо кроку днекретнза-Щ1 прнзводять до перетворення щентичносп таким чином, що:
U (D (X))= X. (5)
Запропонований метод с швидким та ефективним методом з иаступиих трьох причин. По-перше, роз-глянутий метод виконуе бшьш1сть cboix обчнелень у простор! з низькою роздцльною здатн1стю. Обчи-слювальна складн1сть набагато нижча, н1ж у мереж кодер-декодер i3 незмшною роздшьною здатн1стю. По-друге, кшьк1сть канал1в, що використовуються в залишкових блоках, невелика, що дозволяе нейрон-iiifi мереж1 бути глибшою. По-трете, даний метод виконуе зниження дискретизащ!, яке називаеться десубп1ксель, що не призводить до втрати 1нфор-мащ! [13].
х2 Subpixel
Рис. 3. Субшксоль та запропонований досубшксоль
2 Функцп втрат
Mean Squared Error (MSE) це метрика, яка використовуеться для оцшки якост прогнехйв мо-дел!. Bona широко використовуеться в статистично-му анал1з1, машинному навчанш та iiimiix галузях. MSE розраховуеться як соредне значения квадра-т1в вщхилонь прогнозованих значень вщ фактичних значень. Чим менше значения MSE, тим краще модель ирогнозуе дат. Матоматично, формула MSE виглядае наступним чином:
MSE = ( 1 п
(1)
^ (г = l,n) (yi - уi)2,
характеристики до оригшалышх зображень, таш як контрастшсть, насичешсть кольор1в та форми об'ектв на зображонш. Це доиомагае забезпечити бшын яккну гоноращю зображень та покращити piBOiib задоволення користувач1в.
Параметри комиромшу використовуються для опттпзацй' алгоритм1в та моделей машинного навчання, коли необидно збалансувати pi3iii параметри для досягноння найкращо! загалыго! продуктивность Параметри комиромшу включають в себе збалансування pi3inix аспоктв модель напри-клад T04ii0CTi та швидкост обчислонь. Остаточна функщя втрат складаеться з втрат сородньоква-дратично! помилки (MSE) См i втрати VGG Су з параметрами компромшу ам i ay вщиовщно:
С — о-мСм + avСу .
(8)
(6)
де п - кшьшеть ириклад1в у виб1рщ, yi - фактичне значения для г-го прикладу, у1 - ирогнозоване значения для i-ro прикладу. MSE може бути корисиою метрикою для nopiBiramra pi3iinx моделей та для визначоння того, яку модель слад використовувати для подальшого прогнозування.
VGG Loss це метрика, яка використовуеться для ощнки якост, зокрема для задач генеращ! зображень. використовуючи глибош iiefipoinii мереж!. Ця метрика отримала свою назву на честь нойроннсм морож1 VGG, яка використовуеться для виконання завдань коми'ютерного зору. VGG Loss Biraipioe р1зницю mdk вщтвороним зображенням та оригшалышм зображенням. Для цього використовуються вщображоння об'ектв на pi3inix piBirax абстракщ! зображення, яш знаходяться в iiefipoiniifi морож1 VGG. Формула VGG Loss може виглядати наступним чином:
VGGLOSS = Ai ■ Li + А2 ■ L2 + Аз ■ L3 + А4 ■ Ьл, (7)
де Li — L4 - це середньоквадратичш помилки м1ж воображениями об'ектв на pi3iinx piBirax абстрак-Щ1 зображення вщтвороного зображення та opuri-нального зображення. Коефшденти Ai — А4 використовуються для збалансування ваг кожнеи складовсм метрики. У загальному, VGG Loss допомагае забезпечити. що вщтворош зображеиия мають подобш
3 Експеримент
Для тостування були використаш оталонш иа-бори даних, ми використовуемо набор i3 100 зображень з обличчям людей. Bci зображення були завантажош з олоктронного ресурсу, де користувач1 дшяться CBOiMii зображеннями безкоштовно. Запро-ионована в робот нейрона мережа навчаеться на оталонних зображеннях в вузьконаправленому про-фшь для даного ексиерименту було обрано обличчя людей в pi3inix ракурсах. Наступним етапом були обраш функцИ спотворення для подальшого рекон-струювання зображення. Для початку закладалися вхщш дат, на яких i ирацюе нейронна мережа. Пщ час проведения дослщжоння пещлбно було прораху-вати кшьшеть циюпв навчання, згорткових inapiB, залишкових блошв та iiiHii характеристики описа-iii вище. Результатом тесту вання було проведения nopiBiramra сшввщношоння шк-сигнал-шум (PSNR) та структурно! под1бност (SSIM) запроионованих мстод1в з pi3iiiiMii вар1антами налаштування втрат та кшькост циюпв навчання. Даний метод був реал1зований з використанням мови програмування python 3.6 та моду.шв: tensorflow 1.10. tensorlayer 1.9. tensorboardX 1.4. Експоримонти ироводяться на одному граф1чному nponecopi NVidia GeForce GTX 1650 i на це йдо близько 5 годин навчання.
Для дослщжоння було виконано три методи навчання: MSEs4, MSEs2 та Fulls4. Метод MSEs4 мае коефщент змоншення виб1рки 4 та параметри компром1су ам = 1 та av = 0. Метод MSEs2 мае коофщент змоншення виб1рки 2 та параметри компром1су ам = 1 та а.у = 0. Метод Fulls4 мае коефщент змоншення виб1рки 4 та параметри компром1су ам = 1 та ay = 10-4. Юлькшть ци-юпв навчання 20. 50 та 100. На Рис. 4 показан! графт nopiBiramra результате дослщжонь, в ход1 ексиерименту ми иобачили що, метод MSES2 краще справляеться з роконструкщею зображень при вплив1 завад але якщо дивитися з точки зору ви-
хщних зображень, то метод Fulls4 краще працюе з темними зображеннями.
Тому дат було розроблено об'еднаний метод MSES2Fuii з коефщентом зменшення виб1рки 2 та
параметрами компромшу ам = 1 та ay = 10-4 Даний метод краще працюе з р1зними зображеппями i вщтворюе спотворене зображення близьке до оригшалу Рис. 4.
Рис. 4. üopiBiraiiira PSNR та SSIM запропоноваиих метод1в з р1зиими вар1антами иалаштувания
Табл. 1 üopiBirainra PSNR i SSIIM заироионованого методу з pÍ3iniMii BapiaiiTaMii иалаштувания.
Метод PSNR SSIM
MSEs4 32.69 0.9736
MSEs2 37.16 0.9956
Fulls4 32.53 0.9723
MSEs2Full 37.41 0.9965
Тостування мереж1 показало що. запропоиова-ний метод MSES2Fuii досягае кращих показнишв в иор1внянш з методами MSEs4, MSEs2 та, Fulls4 як за PSNR. так i за SSIM.
4 Результати
В результат! окспоримонту визначоно алгоритм, по якому запропоноваиа нойронна мережа може по-
кращувати будь-яко зображення. з р1зними видами спотворонь. На Рис. 5 показан! покращош зображення за допомогою дано! iiefipoiinoi мережь Зображення низшим та biicoko'í якоста зроблеш за допомогою камери xiaorni mi 10t pro та дзеркально! фотокамери Canon 250D вцщовцщо. При покращенш зображень контрасти зазвичай можуть р1знитися хйж низь-кояшсними та високояшсними зображеннями. що мае бути усунене за допомогою методу норматзащ! mapiB екземпляр1в [14]. Обмежеиия методу полягае в нодосконалоста pecypciB мобшышх иристроТв. це обложения на складних зразках неминуче (Рис. 6). Метод вводить артефакти. пов'язаш з трудноща-ми po3pÍ3iieiiHH хрестопод1бних або вертикалышх лшш. При покращенш зображення. оскшьки вхщш даш надходять в умовах поганого освилення. запро-понованнй алгоритм нездатннй посилити яскрав1 кольори.
HR
Ж
m
SR
Рис. 5. Зображення з високою роздшьною здатшетю (HR), зображення з низькою роздшьною здатшетю (LR) та вщновлене зображення з високою роздшьною здатшетю (SR) методу MSEs2Fuu
Рис. 6. Обмеження методу, до та теля обробки ней-ронноТ мереж!
Висновки
Супер роздшьна здатн!сть е досить новим нау-ковим напрямом в обробц! зображень, що постшно розвиваеться та покращуеться. Хоча деяк! методи в Я були розроблен! вже давно, 1*хшй розвиток та застосування стали можливими тшьки з використа-нням сучасних алгоритм!в та технологш, таких як глибинн! нейронн! мереж!.
Метод для вщтворення та полшшенням якост! зображень е швидким та ефективним методом. Проведения ексиерименту з використанням даного методу показало його наступи! переваги:
бшышеть обчислеиь проводиться у простор! з низькою роздшьною здаттстю, що зиачно спрощуе обчислювальн! операцп;
кшьюсть канал!в, що використовуються в за-лишкових блоках, невелика, що дозволяе мереж! бути глибшою в стшьки раз!в в ск!льки раз!в змен-шуеться к!льк!сть канал!в;
метод виконуе зменшення дискретизаии, що не призводить до втрати шформани.
Оскшьки мова йде про роботу згортково*1 ией-ронноТ мереж! в мобшьних пристроях, як! мають обмежений обчислювальний ресурс, то сл!д також враховувати ! обмеження, як! накладаються на ви-користання даного методу. Так, наприклад, п!д час покращення зображення, коли вх!дие зображення виконано з поганим осв!тленням, метод не може покращити яскрав! кольори.
Щоб прискорити час виходу, запропонований метод виконуе бшьнпсть обчислювальиих операщй у ПрОСТОр! 3 ИИЗЬКИМ ДОЗВОЛОМ. 0С06ЛИВ0СТ! НИЗЬК01 розд!льио1 здатност!, отриман! за допомогою запро-поиованого десубпжселя, який забезпечуе ефектив-ний спос!б зменшення в!дбору зображень з високою роздшьною здаттстю. Просторов! характеристики систематично переставляються в канали, збер!гаю-чи значения незмшними, за рахунок чого забезпе-чують достатню !нформац!ю для наступних шар!в згортки. Для шдвшцення точност! реконструкин коиволюц!йна арх!тектура мереж! е бшын глибо-кою, що робить 11 прндатною для глибинного навчання, з невеликою к!льк!стю канал!в. Експеримен-тальн! результати за стандартними наборами даних
демонструють прогресуюч1 досягнення з точки зору якост! зображення та часу роботи запропонованого методу пор!вняио з поддбними вже в!домими методами реставрацп зображень. Отже, можна сказати, що супер роздшьна здатшеть продовжуе бути активною областю дослухжень, яка постшно розвиваеться та вдосконалюеться.
References
[1] Yang J. and Huang T. (2017). Image Super-Resolution: Historical Overview and Future Challenges, in SuperResolution Imaging, CRC Press, pp. 1-34. doi: 10.1201/9781439819319-1.
[2] Kim P. (2017). Convolutional Neural Network, in MATLAB Deep Learning, Berkeley, CA: Apress, pp. 121-147. doi: 10.1007/978-1-4842-2845-6.
[3] Li Z., Liu F., Yang W., Peng S., and Zhou J. (2022). A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects. IEEE Trans Neural Netw Learn Syst, Vol. 33, No. 12, pp. 6999-7019. doi: 10.1109/TNNLS.2021.3084827.
[4] Albawi S., Mohammed T. A., and Al-Zawi S. (2017). Understanding of a convolutional neural network. 2017 International Conference on Engineering and Technology (I CET% pp. 1-6. doi: 10.1109/ICEngTechnol.2017.8308186.
[5] Zhao N., Wei Q., Basarab A., Dobigeon N., Kouame D., and Tourneret J.-Y. (2016). Fast Single Image SuperResolution Using a New Analytical Solution I2 — I2 Problems. IEEE Transactions on Image Processing, Vol. 25, No. 8, pp. 3683-3697. doi: 10.1109/TIP.2016.2567075.
[6] Ignatov A. et al. (2018). PIRM Challenge 011 Perceptual Image Enhancement 011 Smart phones: Report. Cornell University. doi: 10.48550/arXiv.l810.01641.
[7] Fattal R. (2007). Image upsampling via imposed edge statistics. ACM SIGGRAPH 2007 papers, p. 95. doi: 10.1145/1275808.1276496.
[8] Zhang Y., Zhao D., Zhang J., Xiong R. and Gao W. (2011). Interpolation-Dependent Image Downsampling. IEEE Transactions on Image Processing, Vol. 20, No. 11, pp. 3291-3296. doi: 10.1109/TIP.2011.2158226.
[9] Bayar B. and Stamm M. C. (2016). A Deep Learning Approach to Universal Image Manipulation Detection Using a New Convolutional Layer. Proceedings of the 4th ACM Workshop on Information Hiding and Multimedia Security, pp. 5-10. doi: 10.1145/2909827.2930786.
[10] Ide H. and Kurita T. (2017). Improvement of learning for CNN with ReLU activation by sparse regularization. 2017 International Joint Conference on Neural Networks (I J CNN), pp. 2684-2691. doi: 10.1109/1JCNN.2017.7966185.
[11] Ngernplubpla J. and Chitsobhuk O. (2019). Neuro-fuzzy profile clustering in image enhancement. 2019 7th International Electrical Engineering Congress (iEECON), pp. 1-4. doi: 10.1109/ÎEECON45304.2019.8938965.
[12] Govil, R. (2000). Neural Networks in Signal Processing. In: Ruan, D. (eds) Fuzzy Systems and Soft Computing in Nuclear Engineering. Studies in Fuzziness and Soft Computing, Vol 38. doi: 10.1007/978-3-7908-1866-6_ll.
[13] Shi W. fit al. (-2016). Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convoluti-onal Neural Network. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1874 1883. doi: 10.1109/CVPR.2016.207.
[14] Ignatov A., Kobyshev N.. Timolte R., and Vanhoey K. (2017). DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks. 2017 IEEE International Conference on Computer Vision (1CCV), pp. 3297 3305. doi: 10.110 9 /1C C V.2017.355.
Super-Resolution Image Restoration Using Convolutional Neural Network
Nedzel.ikyi O. Yu., La.ihchev.ika N. O.
The main goal of the super resolution method is to create a higher resolution image from a lower resolution image. High-resolution images provide a high pixel density, hence more detail in the original image. The need for high resolution is widespread in computer vision techniques, pattern recognition applications, or general image analysis. However, high-resolution images are not always available. This is due to the fact that the conversion processes and processing methods require ultra-powerful processes, and the equipment for obtaining high-resolution images is expensive. These problems can be overcome by using image processing algorithms that are relatively inexpensive, which has led to the concept of superresolution. This has the advantage that it can cost less
and existing low-resolution imaging systems are readily available. High resolution is essential in medical imaging for diagnosis. Many applications require zooming into a specific image area, where high resolution becomes essential, such as surveillance, forensics, and satellite imaging. The method is presented in this paper, using a convolutional neural network to reproduce super-resolution images, directly performs the conversion from a low-resolution image to an image similar to the original. To speed up the output time, the proposed method performs most computational operations in low-resolution space, while reducing the sampling does not lead to information loss. The main task of the neural network is to reconstruct the distorted image and find the ideal reconstruction function, according to which, in fact, a neural network of a simple structure creates high-quality images with better performance, such as resolution, signal-to-noise ratio, with less time spent on image restoration. During the experiment, we determined an algorithm by which the proposed neural network can reconstruct any image with different types of distortion. The super-resolution method is implemented using the python 3.6 programming language and the t.ensorflow and t.ensorlayer software modules for convolutional neural networks. Graphical data of signal-to-noise ratio, structural similarity, and loss plots are obtained using the tensorboardX module.
Keywords: super resolution: convolutional neural networks: signal-to-noise ratio: MSE loss: VGG loss: sampling reduction factor: encoder: decoder: desubpixel
