CC BY
92
УДК 519.713
В.Б. ЯЦ1В, Б.П. РУСИН
ПОР1ВНЯННЯ АЛГОРИТМ1В МАСШТАБУВАННЯ ЗОБРАЖЕНЬ В МЕТОДАХ НЕРУЙН1ВНОГО КОНТРОЛЮ МАТЕР1АЛ1В
Проводиться огляд основних метода масштабування зображень, розглядаеться реаль защя та анал1з алгоршшв масштабування нашвтонових зображень в задачах неруйшвного контролю матер1ада.
1. Вступ
З розвитком цифрово! техшки набула особливого розвитку обробка зображень i зараз широко застосовуеться в найрiзноманiтнiших сферах дiяльностi. В широкому значенш обробка зображень - це будь-яка форма обробки шформацп, для яко! вхiдними даними е графiчнi данi.
До стандартних задач обробки зображень вщносяться:
- масштабування;
- поворот;
- сегментащя;
- фшьтращя (лiнiйна i нeлiнiйна);
- корекщя кольорiв, яскравостi, змiна глибини кольорiв.
Одна з найпоширeнiших задач обробки зображень - масштабування. В сучасних умовах рiзноманiтностi цифрових пристро!в для показу зображень i вiдeо все часпше використову-ють пристро! з заданим розршенням, наприклад, плазмовi панeлi або LCD-диспле!, поста-ють задачi представлення графiчних даних зi змшою спiввiдношeння сторiн. Якiсть зобра-ження на таких пристроях залежить вщ якост застосованих алгоритмiв масштабування. На дисплеях (LCD), де базова гратка пiксeлiв фшсована, доводиться використовувати апарат-не масштабування. Як правило, воно проводиться алгоритмом бшншно! штерполяцп, при цьому стае практично неможливо працювати, наприклад, на ноутбуках з розршенням вщмшним вщ базового. Такi ж проблеми виникають в проекторах i при показi зображення в PAL/NTSC на тeлeвiзорах високо! чiткостi (HDTV), наприклад, на плазмових панелях. При необхщносп вщобразити зображення на диспле! певного розмiру чи надрукувати його на папeрi заданого розмiру i в рядi iнших задач виникае необхщнють масштабування зображення, часто зi змiною спiввiдношeння сторiн.
У зв'язку з цим виникае необхщнють розробки нових мeтодiв масштабування, яю передбачають можливють масштабування зображень без спотворення основного змюту i позбавленого вщ артeфактiв, якi виникають при застосуванш iснуючих мeтодiв. Мета дано! роботи - рeалiзацiя та аналiз алгоритмiв масштабування в задачах неруйшвного контролю матeрiалiв.
2. Типи алгоритмiв масштабування
Сучаснi методи масштабування використовують передискретизащю зображення для уникнення втрати дрiбних деталей. При цьому найчаспше використовують такi методи iнтeрполяцil [1]:
1. Nearest neighbor (найближчий сусщ). Значення кольору ткселя, що не входить в тксельну сiтку оригшального зображення, копiюеться з найближчого до нього ткселя орипнального зображення.
2. Bilinear (бшншна). Проводиться лiнiйна штерполящя по двох координатах за значен-нями чотирьох найближчих сусiдiв в оригшальному зображeннi.
3. Bicubic (бiкубiчна) - кубiчна iнтeрполяцiя по двох координатах.
4. Precise bilinear (точна бшншна) - проводиться лшшна штерполящя в двох напрямках, але замють матрищ 2 х2 використовуеться повна бшншна матриця.
5. Precise bicubic (точна бiкубiчна) - проводиться кубiчна штерполящя в двох напрямках по повному бiкубiчному ядру.
6. Lanczos3 - використовусться матриця 6х6, тобто кожний пiксель обчислюеться по 36 сусщтх.
1ншим методом, що дозволяе змiнити спiввiдношення сторiн, е метод B^i3aHM (crop) потрiбноi частини зображення з потрiбним спiввiдношенням сторш. Для автоматизацп знаходження найбiльш важливо! частини зображення використовують метод Smart Crop.
Iснуючi методи масштабування передбачають видалення чи вставку колонок чи рядюв пiкселiв з усередненням рiзними способами по сусiднiх. При застосувант такого методу для непропорцiйного масштабування об'екти зображення спотворюються, змiнюючи сво! пропорцп так само, як i цiле зображення. Все це в цшому призводить до зменшення ефективносп обробки i розпiзнавання зображень та до виникнення похибок [2].
Коли постае задача масштабування з врахуванням вмюту шформативно! частини зображення, то слщ використовувати технологда масштабування Liquid Resize, яка передбачае можливють непропорцшного масштабування без спотворення форми об'екпв зображення. Метод передбачае побудову i видалення пiксельних шляхiв. Це досягаеться за рахунок видалення з зображення в першу чергу малопомггних пiкселiв, якi переважно належать фонов^ i залишення пiкселiв основних об'екпв зображення практично без змш.
3. Реалiзацiя алгоритмiв масштабування
Щоб зрозумiти, як працюе кожний з перелiчених методiв, реалiзуемо алгоритми 1хньо1 роботи на практицi.
Nearest neighbor - це найбiльш базовий зi всiх алгоритмiв iнтерполяцii, який вимагае найменшого часу обробки, оскiльки враховуе ильки один пiксель - найближчий до точки штерполяцп. Значення кольору ткселя, що не входить в тксельну сiтку оригiнального зображення, котюеться з найближчого до нього ткселя оригшального зображення. В результатi кожний тксель просто стае бiльшим [3].
Bilinear - проводиться лшшна штерполящя по двох координатах за значеннями чотирьох найближчих сусщв в оригшальному зображеннi (рис. 1).
Рис. 1. Обчислення значення кольору в точщ (x,y) за значеннями кольор1в оригинального зображення (Bilinear) Розглядаеться масив 2х2 навколишнiх пiкселiв - 4. Результуюче значення кольору обчислюеться за формулами:
F - F
F(x,y) -^ • (y - yi) + Fa,
Fa =
Fb =
у2 - yi
F(x2,yi)- F(xi,yi) X 2 - xi F(x 2 ' У 2 ) - F(x 1 ' У 2 )
• (x - xi) + F(xi,yiX
(x - xi) + F(x 1 5 У 2 )*
(1)
При масштабуваннi зображень недолiком алгоритму е той факт, що при збшьшент в N разiв зображення розмiром W на H пiкселiв в результат буде отримано зображення розмiром не NW на NH пiкселiв, а (N(W-1)+ 1) на (N(H-1)+ 1) пiкселiв.
Bicubic - кубiчна iнтерполяцiя по двох координатах [4]. Розглядаеться масив з 4x4 навколиштх пiкселiв - всього 16 (рис. 2).
x2 x1
Рис. 2. Обчислення значения кольору в точщ (x,y) за значеннями кольор1в орипнального зображення (Bicubic)
Оскiльки вони знаходяться на рiзних вiдстанях вщ нeвiдомого пiксeля, найближчi пiксeлi отримують при розрахунку бшьшу вагу. Результуюче значення кольору обчислюеться за виразом
3 3
F(x,y) = ZZaij(x -x1)i(y - у0\ (2)
i=0 j=0
Коeфiцiенти aij шукаються з умов рiвностi значень i похiдних кольору в чотирьох вузлових точках.
Lanczos - застосування алгоритму дае змогу добитися високо! якост при масштабу-ваннi. Спочатку шукаемо найближчу точку з цшими координатами i позначаемо !! j,k, тодi перебираемо всi точки з координатами вщ j-a до j+a i вiд k-a до k+a, для кожно! шукаемо вiдстань до x,y (рис. 3).
Рис. 3. Обчислення значення кольору в точщ (x,y) за значеннями кольорiв оригiнального зображення (Lanczos) Обчислюеться значення кольору ткселя за формулою:
sin c(x) sin c(—), - a < x < a; F(x) = j a (3)
0, x = 0,
де a - радiус дп алгоритму або ширина вшна. Якщо x виходить за мeжi вiкна, то результат
приймаеться за 0. При x = 0 - результат одиниця.
Застосувавши кожний з алгоритмiв штерполяцп, збiльшуючи на 500% елемент орип-нального зображення, отримали результати для зображення з птнгами, яю прeдставлeнi на рис. 4.
При масштабуваннi зображень з використанням алгоршмв штерполяцп зникае негатив-ний ефект втрати дрiбних деталей зображення. Проте при непропорцшному масштабуваннi об'екти зображення змiнюють свою форму та пропорцп. Для уникнення спотворень при непропорцшному масштабуванш застосовують технолопю масштабування Liquid Resize, яка передбачае можливють масштабування зображень без спотворення основного вмюту зображення [5].
Рис 4. Елемент орипнального зображення з птнгами (a), Nearest neighbor (б), Bilinear (в), Bicubic (г), Lanczos (д)
Розглянемо алгоритм непропорцшного масштабування на основi методу Seam Carving, який полягае в побудовi i видаленнi пiксельних шляхiв. Реалiзований алгоритм складасться з таких етапiв:
1. Присвоення важливосп пiкселям. Критерiем важливосп пiкселiв виступають ваговi коефiцiенти, отримаш шляхом застосування до зображення енергетично' функцii. Найпрост-iший приклад тако' функцii - градiент F(I) (4), його значення велике там, де зображення рiзко мшяеться (кра' об'екнв, мiсця рiзкоi змiни кольорiв), i практично нульове у фонових части-нах зображення. Ваговi коефiцiенти повинт приймати великi значення у важливих мюцях зображення, i малi значення - в малопомггних частинах зображення:
д д
F(I) = ^ + ......(4)
З формули (4) видно, що енергетична функщя пiкселя рiвна змiнi кольору сусщтх пiкселiв у порiвняннi з даним ткселем. I чим бiльша рiзниця в кольорi мiж даним ткселем i сусiднiм, тим бiльше значення вагового коефщента.
2. Побудова горизонтальних, вертикальних пiксельних шляхiв.
3. Шляхи починаються з верхнього чи лiвого краю зображення i будуються так, щоб в кожному стовпщ зображення (при побудовi горизонтального шляху) чи кожному рядку зображення (при побудовi вертикального шляху) був присутнш один i тiльки один тксель, що належить шляху (рис. 5).
Рис. 5. Побудова тксельних шляхiв 4. Пошук i видалення тксельних шляхiв з мiнiмальною енерпею до тих пiр, поки не буде досягнуто потрiбного розмiру при збшьшент чи зменшеннi зображення.
Результата алгоритму масштабування Seam Carving по горизошат представлено на рис. 6.
д
в
Рис. 6. Результата масштабування з використанням технологи Liquid Resize: а - вхвдне зображення; б - енергетична карта зображення; в - масштабування по горизонталi
4. Аналiз алгоритмiв масштабування зображення
При використанш описаних вище методiв значення кольорiв пiкселiв зазвичай обчислю-ються шляхом штерполяцп чотирьох сусiднiх, зображення на виходi виходить розмитим (див. рис 4.). Крiм того, застосування штерполяцп веде до зниження контрастносп ^зкосп на межах), i тому даш методи дають поганi результати на зображеннях з шдексованою палiтрою. Nearest neighbor - найшвидший, але разом з тим малоефективний метод, оскшьки використовусться значення найближчих пiкселiв оригшального зображення. Таким чином, частина пiкселiв вiдкидаeться (при зменшеннi) або дублюсться (при збiльшеннi). Bilinear -другий по швидкосп метод, дае непогаш результати. Проте при великих збшьшеннях починае проявлятися блочна структура. Bicubic - значно повшьшший вiд попередшх ме-тодiв, а при збшьшенш зображення дае значно кращий результат. Оскшьки деталi промаль-овуються чпташе, але посилюються i шуми, то зображення з шумами потрiбно збшьшувати дуже обережно. Ослаблення впливу шумiв досягаеться з допомогою фiльтрацii. Lanczos -при застосуваннi спостерiгаеться найбшьш точна передача контрастних границь зображення. Для зображень iз високою деталiзацiею проявляеться ефект Гiббса (ореоли навколо контурiв об'ектiв).
Основними недолшами методу непропорцiйного масштабування з використанням технологи Liquid Resize е змша взаемного розташування об'ектiв, можливе виникнення невеликих спотворень на краях об'екпв при видаленш шляхiв, що через них проходять, а також виникнення перепадiв яскравостi, якi можуть проявлятися при нерiвномiрнiй освiтленостi зображення.
Проаналiзувавши сучаснi методи масштабування зображень, наведеш вище, видiлимо основнi артефакти, яю виникають при масштабуваннi, що шюструеться в таблицi.
1. Ringing - виникнення хвиль бшя рiзкоi межi на зображеннi.
2. Overshooting - виникнення 2 i 3 хвиль.
3. Aliasing - нерiвномiрностi зображення на рiзких дiагональних границях зображення.
4. Unsharpening - розмиття, недостатньо чiтким е зображення тсля масштабування. Очевидно, що полшшення чiткостi, як правило, приводить до збшьшення iнших артефактiв i навпаки - зменшення артефактiв зменшуе також i чiткiсть.
5. Sub-pixel shift - субтксельне змщення зображення, зв'язане, як правило, з особливо-
ями реалiзацii ал] Метод оритму. Практично не впливае на вiзуальну Опис методу масштабування íкiсть. Артефакти
Nearest neighbor Вибираеться найближчий тксель в початковому зображенш Aliasing, Unsharpening, Overshooting, зниження контрастностi (рiзкостi на границях), утворюються сходинки на рiзких перепадах яскравостi
Bilinear Лшшна штерполящя по двох координатах (використовуеться матриця 2х2, тобто 4 найближчi пiкселi)
Bicubic Кубiчна iнтерполяцiя по двох координатах(по матрицi 4х4, тобто використовуються 16 найближчих пiкселiв)
Crop Проводиться вирiзання потрiбноi частини зображення з потрiбним спiввiдношенням сторiн Ringing, втрачаеться периферiйна частина зображення, виникнення спотворень на краях об'еклв
Smart crop Пошук частини зображення з потрiбним спiввiдношенням сторш так, щоб при вирiзаннi та^ частини втрати важливих частин зображення були мшмальними
Liquid Resize Враховуе вмiст зображення, при масштабуванш не спотворюе основний вмют зображення Ringing, Sub-pixel shift
5. Висновок
Запропонований перелш наведених методiв дае уявлення про основш тенденцii розвитку алгоритмiв масштабування зображень. При виборi алгоритмiв важливо розумгги 'х пози-тивнi i негативнi сторони; якщо вибрано алгоритм без врахування вмюту зображення, то варто зрозумгги його властивостi i умови застосування. Порiвняльний аналiз найбшьш вiдомих методiв масштабування (Nearest neighbor, Bilinear, Bicubic, Lanczos, Liquid Resize) показав необхщнють створення алгоритму масштабування, що дае чггке зображення i по можливостi позбавлене вiд артефакпв iнших методiв (розмиття, субпiксельне змщення), яю спостерiгаються при застосуваннi в задачах неруйшвного контролю матерiалiв.
Список л^ератури: 1. ПоловкоА.М., БутусовП.Н. Интерполяция. Методы и компьютерные технологии их реализации. СПб.: БХВ-Петербург, 2004. 320 с. 2. ЯщвВ.Б., Русин Б.П. Методи масштабування зображень в системах обробки та розтзнавання / Збiрник праць. Науково-технiчна конференцiя: Обчислювальнi методи i системи перетворення шформацл. Львiв, 2010. С. 197-198. 3. Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007. 581 с. 4. FritshF. N., CarlsonR.E. Monotone Piecewise Cubic Interpolation / SIAM Jornal on Numerical Analysis, 1980. С. 238-246. 5.Avidan S., Shamir A. Seam carving for content-aware image resizing // ACM Trans. Graph.,#26(3/2007), ACM 2007 6. Crochiere R.E., Rabiner L.R. Multirate Digital Signal Processing. Englewood Cliffs, NJ: Prentice-Hall, Mar. 1983.
Надшшла до редколегИ 25.05.2010 Ящв Вггалш Богданович, астрант ФМ1 НАН Укра1ни iм. Г.В. Карпенка. Науковi штереси: обробка зображень. Адреса: Украша, 79601, Львiв, вул. Наукова, 5а, тел. 229-65-30, e-mail: vicja@list.ru.
Русин Богдан Павлович, д-р техн. наук, професор, зав. ввддшом "Метода та систем аналiзу, обробки та вдентифжацп зображень" ФМ1 НАН Украши iм. Г.В. Карпенка. Науковi тере-си: аналiз, обробка та розтзнавання зображень. Адреса: Украша, 79601, Львiв, вул. Наукова, 5а, тел. 229-61-09, e-mail: rusyn@ipm.lviv.ua.
