CC BY
31
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ &ш\
УДК.383.8:621.396.96:621.396.6.
СТЕРЕОЗЙОМКА ТА ПОГОДЖЕННЯ ЗОБРАЖЕНЬ, ЩО БАЗУЄТЬСЯ НА PHONG-МОДЕЛІ ВІДБИТТЯ СВІТЛА
РУСИН Б.П., ІВАНЮК В.Г., ЛИСАК Ю.В., АНУФРІЄВА Н.П._______________________________
Пропонується метод відеозймки стереозображення в рамках дії Phong-моделі відбиття світла. Отримане стереозображення орієнтоване на використання в алгоритмі погодження тривимірної реконструкції з середньоквад-ратичною мірою подібності.
1. Вступ
За останні роки область застосування тривимірної реконструкції на основі стереозображення значно збільшилась, бо цьому сприяло виникнення нових пристроїв і програм у системах обробки інформації. Зараз вона впевнено застосовується в таких областях, як управління “ зрячих роботів”, картографія, при спостереженні з супутників, розвідка з повітря, фрактографія чи фотограмметрія ближнього радіуса дії, на виробництві, при работі с персональними компьютерами [1-3].
Тривимірна реконструкція є комплексним процесом, що охоплює кілька споріднених задач, до яких належать відеозйомка стереозображення та задача погодження зображень [1-4].
Процес відеозйомки відбувається в приймачі системи тривимірної реконструкції за стереозображенням [15]. Тут досліджуваний елемент сцени освітлюється джерелом некогерентного світла. Відбите від досліджуваного елемента сцени світло сприймається двома відеокамерами. Інформація оптичних сенсорів кожної відеокамери поступає в комп’ютер для подальшої обробки зображення. Відеокамери рознесені у просторі та формують зображення одного і того ж елемента сцени.
При відновленні тривимірної структури поверхні елементів, відбите від яких світло потрапило у відеокаме-ру, розглядають два типи відбиття: дифузне і дзеркальне [6-8]. Елементи з дифузним відбиттям, що відкидають рівну світлову інтенсивність у всіх напрямках спостереження, є простіші для аналізу та відновлення 3D інформації зображень, тому акцент досліджень тривимірної реконструкції за стереозображенням було скеровано на такі елементи [1,3-5].
Але при проведенні металографічних досліджень з застосуванням системи тривимірної реконструкції за
РИ, 2011, № 2
стереозображенням виникають ускладнення, бо при отриманні зображень освітлені металографічні елементи (відкриті та частково закриті пітинги нержавіючих сталей і сплавів), крім дифузного, додатково формують компоненту дзеркального відбиття [6-8]. Дзеркальне відбиття просторово орієнтоване і є максимальном у напрямку відбиття. Елементи з дифузним і дзеркальним відбиттям (Phong-модель [6]) складніші для аналізу та відновлення 3 D інформації стереозображень, бо перешкоджають проведенню погодження зображень, що полягає у встановленні відповідності між пікселями зображень, які, за умовами стандартного погодження, повинні мати однакову яскравість. Отже, для стандартного погодження зображень необхідно і достатньо, щоб отримання стереозображення відбувалось в рамках дії Ламбертівської моделі відбиття світла [1,3,5].
Тому коли отримання стереозображення відбувається в рамках дії жорсткішої моделі відбиття світла, Phong-моделі, методику отримання стереозображення необхідно змінити таким чином, щоб забезпечити погодження зображень в нових, жорсткіших умовах.
Для проведення такої модернізації формування інформації стереозображень потенційно можна скористатись результатами теоретичних досліджень реконструкції 3D [9]. З наведених результатів цієї роботи, які описують реконструкцію 3D в рамках дії Phong моделі відбиття світла, видно, що запропонована методика відеозйомки стереозображення має ряд технологічно програмних недоліків: виконується для окремого пікселя зображення, відсутні технічні засоби відеозйомки, а також алгоритм їх взаємодії. З наведених результатів також видно, що, усунувши недоліки, в перспективі розро6лєну методику віде-озйомки стереозображень можна технологічно-алгоритмічно реалізувати в рамках системи тривимірної реконструкції стереозображення.
2. Постановка задачі
Метою даного дослідження є створення комплексної методики відеозйомки стереозображень та їх погодження, розрахованих на спільну роботу в умовах Phong-моделі освітлення, де забезпечується:
1) спеціальна кутова обробка інформації стереозображення, яка відбувається на стадії утворення зображень, шляхом кутової зміни положення джерела світла доповненої на стадії прийому зображень узгодженою кутовою зміною положення відеокамери;
2) при погодженні зображень виділення мірою подібності корисної інформації, компоненти Ламбертівсь-кої моделі відбиття світла та вилучення інформації завади, компоненти дзеркального відбиття світла.
3. Ілюмінаційна модель зображення
Для даної точки зображення проста ілюмінаційна модель для областей з незагородженим світлом може бути представлена як:
I = Ia + Id + Is, (1)
61
де Ia - інтенсивність дифузного, ненаправленого джерела світла, яке називають амбієнтним або оточуючим світлом (загальне світло сцени, яке надає постійне освітлення всім елементам поверхні незалежно від їх орієнтації); Id - компонента дифузного відбиття у даній точці сцени; Is - компонента дзеркального відбиття.
Модель освітлення (1) відома як Phong-модель [6]. А модель освітлення для областей з загородженим світлом може бути представлена як I = Ia (2). Модель, яка виражена так:
IXd = Ia + Id , (2)
відома як модель з Ламбертівським відбиттям.
Інтенсивність точки поверхні, яка освітлена деяким джерелом світла, визначається таким рівнянням [6]:
!*.= Ia + V [kd(N • L) + ks(R • V)m], (3)
де Ia - інтенсивність розсіяного світла; Ip^ - інтенсивність джерела світла; kd - дифузний коефіцієнт, який відображає рівень дифузного відбивання досліджуваної точки на поверхні (рис. 1); ks - коефіцієнт дзеркального відбиття, що контролює загальну яскравість дзеркального бліка і не залежить від яскравості джерела світла та напрямку спостереження; m - показник дзеркального відбиття, що визначає швидкість, з якою дзеркальне відбиття затухає, коли напрям спостереження рухається геть від напряму відбиття. Іншими словами, цей показник задає розмір дзеркального бліка. Коли значення m мале, розмір дзеркального бліка є великий; якщо m збільшується, то розмір дзеркального бліка зменшується. Разом з тим, значення m між 0 та 1 понижує степінь дзеркального відбиття.
L
Рис. 1. Вектори рівняння (3): L- вектор напрямку до джерела світла LS ; N - вектор нормалі до поверхні; R - вектор напрямку відбивання; V - напрям спостереження відеокамерою П
4. Модель системи стереобачення
Для тривимірної реконструкції за стереозображенням використовується інформація двох зображень Ij, I2, яка поступає на екрани двох камер [1-5]. Модель процесу проектування на екрани двох камер (рис. 2) має вигляд
Тут
s'm' = PM, (4)
s'"m"' = P"'M . (5)
[A1R1I-A1R1C1] (6)
- проекційна матриця камери 1;
P" = [A2R2 | -A2R2C2] (7)
- проекційна матриця камери 2; s,s - скалярні коефіцієнти. В (6), (7) A1 - калібраційна матриця камери 1; A2 - калібраційна матриця камери 2; R1 та R2 -матриця обертання оптичної осі камери 1 та відповідно камери 2 відносно центра координат тривимірного простору; C та C2 - координати оптичного центра камери 1 та відповідно камери 2. Зауважимо, що в моделі проектування (4), (5) для представления 2Б-координат точки на площині, на екрані камери, використовуються однорідні координати m = [x, y, 1]T , а для задания положення 3 D-точки в світових координатах використовуються однорідні координати точки
М = [X,Y,Z,1]T .
Рис. 2. Схематичне представлення процесу проектування на екрани двох камер
4.1. Погодження зображень
Для тривимірної реконструкції координат точки М (рис. 2) [1-5] необхідно і достатньо визначити проекційні оператори P' (6) та P" (7), а також встановити відповідність точок m' та m" на екранах. Точки m' та
m" називаються погодженими. В загальному випадку погодження - це процес знаходження пікселів, елементів та ділянок зображень I1 (x,y) та I2 (x,y), де (x,y) є A (A - апертура зображення), що відповідають один одному і є результатом проектування певного елемента поверхні на екрани рознесених камер. Під
час погодження h :I1 ^ I2 визначається вектор (функція відмінності)
h (x,y ) = (u (x,y ),v (x,y ))T (8)
такий, що:
I1 (x,y) = I2 (x + u(x,y)y + v(x,y)). (9)
Під час погодження h :I1 ^ I2 для визначення міри подібності між пікселями зображень використовується критерій погодження (міра подібності) [5,10-12]:
C (h ) = C (x,y,h(x,y)). (10)
До найбільш вживаних мір подібності відносяться: абсолютна різниця, середньоквадратична міра, нормована взаємокореляція, рангова міра [5,10-12]. Одна із перелічених мір подібності, середньоквадратична міра [5], має таку форму:
62
РИ, 2011, № 2
C(h)= jj [ДІ(x,y,u,v)]2 dxdy Qo
(11)
де Qo є Z2 - окіл досліджуваної точки (локальна ділянка),
M(x,y,u,v) = І1 (x, y ) — 12 (x + u,y + v) . (12)
Вибравши міру подібності, переходять до встановлення мінімумів функції C (x,y,h(x,y)).
На даний час кращі результати визначення відмінності досягаються шляхом використання глобальних методів погодження [5,13], які формально можна представити як задачу мінімізації енергетичної функції E(h). Нехай вибрано міру подібності (11). На цій основі один з варіантів функції повної енергії має таку форму:
E (h) = jj [AI (h )]2 dxdy + kJJ Фdxdy Q Q
(13)
тут Q - область визначення функції яскравості пікселів на стереозображенні I та І2; к - коефіцієнт гладкості поверхні, перший доданок визначає ступінь відмінності між зображеннями, записаний через середньоквадра-
тичну міру C (h) (11), а другий доданок визначає
вплив регуляризаційних обмежень: Ф - функція, що визначає вплив апріорних даних на шуканий розв’язок. Оскільки рівень гладкості функції відмінності залежить від характеру сцени, а отже від пари стереозображень, необхідно визначити характерну ознаку, яка б дозволила відрізнити окремі об’ єкти, що є частиною сцени і знаходяться на різних рівнях дальності [14]. Найпростішою такою ознакою є різниця яскравості сусідніх пікселів на зображенні, оскільки значні перепади яскравості сусідніх пікселів на зображенні, як правило, спостерігаються на границях розділу між різними об’єктами. Саме тому Ф = Ф(У^). Як модель функції ф (13) найчастіше використовується модель анізотропної дифузії [15]:
Ф(УІ, VA) = (VA)T T(VI) VA , (14)
де оператор, що характеризує анізотропію,
T (VI) =
|VI|2 + 2n2
Г dI " " dI ' T
5y dy +n2i
dI dI
_ dx _ _ dx _
(15)
тут I - одинична діагональна матриця; п - параметр анізотропії.
Щоб мінімізувати енергетичний функціонал (13), шукані функції u(x,y), v (x,y), які визначають функцію відмінності h (8), представлено у параметричній формі [5]:
u (x,y) v (x,y)
-A( x,y) a
Va2 +b2
A(x,y)b
Л2 + b2
ax + by + c a2 + b2
a •
ax+by + c a2 + b2
b ,
(16)
де a,b,c параметри, які визначаються через елементи фундаментальної матриці стереосистеми. З врахуванням (16) приріст Д! (12) є функцією ДI = ДI (u(A),v(A)) = AI(A).
Для знаходження екстремуму функціоналу E (h(A)) (13) найбільш доцільним видається використання варіаційного підходу. Суть його полягає у встановленні відповідності між функціоналом, що мінімізується, та деяким рівнянням з частковими похідними таким чином, щоб мінімум функціоналу збігався з розв’язком отриманого рівняння [5]. Так, якщо досліджуваний функціонал (E(h) (13)) представлено у вигляді:
J (A) = jjG (x,y, A, Ax, A y) dxdy, (17)
то локальний екстремум збігається з розв’язком диференціального рівняння Ейлера-Лагранжа:
dG ' dG ) 5 ' dG "
dA dx ,dA x J dy l5Aу J
(18)
Тоді, з використанням методу спуску, отримане з (18) диференціальне рівняння має вигляд:
dA = AI(A) dI2 — b dl
dt Va2 + b2 dx
+Kdiv (T (VI1 ))VA
+
(19)
Для числового розв’язку диференціального рівняння (19) в системі обробки інформації зображень використовують кінцево-різницеву ітераційну схему [5], де дискретизацію за часом здійснено за кроком At, а кожен наступний відлік, що відповідає дискретному значенню часу, позначено k. Використовуючи дискретне представлення функціонального W(A; j) та ре-гуляризуючого V(Akkj) оператора з (19), на k -й ітерації отримано лінійне рівняння
Ak!1 = Akj + At[W(Akj) + V(Akj)]. (20)
Наведений алгоритм погодження програмно реалізований [5]. Стосовно умов використання ілюмінаційної моделі зображення додатково до опису представленого алгоритму погодження зауважимо наступне. Вважається, що погодження базується на Ламбертівській моделі розсіювання світла (2):
Il (x,y) = IAdl (x,y), (21)
де l = 1,2, що обумовлює однакову яскравість відповідних пікселів зображень [5], а на основі зазначених пікселів через приріст AI (12) формується функціональний оператор W(Akj) (20). Тому, при ужорсто-ченні моделі розсіювання світла (1)
РИ, 2011, № 2
63
І1 (x,y) = ^dl (x,y) + Isl (x,y), l = 1,2, (22)
найбільш вразливим параметром (див. (13)), який формує функціональний оператор W(Xkj), є приріст ді (12). Цей приріст:
ді(х, у) = діа (х,у) + ді§ (x,y), (23)
де корисна інформація
діа (x у ) = Ixdi (x у)- Ixd2 (х + u y + v)
- приріст для Ламбертівської моделі розсіювання світла на об’єкті, отримує пошкодження у вигляді доданку приросту компоненти дзеркального відбиття:
М, (х y) = Isi (х y)-1§2 (х + u, y + v). (24)
Таким чином, в майбутній операції погодження, яка враховує ужорсточення моделі розсіювання світла
(22) стереозйомки, з загального приросту ді (23) необхідно вилучити шкідливу інформацію ді,.
5. Теоретична модель придушення в прирості стереозображення компоненти дзеркального відбиття
Нехай стереозйомка зображень базується на Phong-моделі відбиття світла (1), (3).
Представимо стислий огляд тих основних результатів роботи [9], які безпосередньо стосуються поставленої цілі: придушення інформації ді5 (x,y) в прирості ді
(23) або мають до цього відношення.
Параметри приймача вважаються відомими. Це одиничні вектори L та V (3). В приймачі забезпечено прийом зображення, яке можна описати згідно з виразом (3), де вектор U e{L,N,R,V} (див. рис.1) має вигляд
U = (Ux,Uy,Uz). (25)
Для опису падаючого, дифузного і дзеркально відбитого проміння в площині [H,Z], де H є {X, Y}, яка належить тривимірному простору [X, Y, Z], запропоновано застосувати вектор [9]
Uhz = Udh exp[iYUhL h є{ХУ}, (26) де
Udh 4Uh2 + Uz2 (27)
- відстань;
Uh
Y Uh = arcc°s— (28)
Udh
- кут. Спираючись на (26)-(28) і використовуючи вектори Rhz та Vhz, а також вектори Rhz та Vhz, отримуємо інтенсивність відбиття в двох формах:
Ih = ^dh + Ish, h є{x,У}, (29)
^dx = іа + ірХkd[LdxNdx cos(YLx -YNx) + +NyLy]
- модель з Ламбертівським відбиттям та
Isx = ірХks(RdxVdx cos{YRx — YVx } + +RyVy)m
(30)
(31)
- дзеркальна компонента, а для форми іу :
^dy = іа + ірХkd[LdyNdy cos(YLy -YNy) +
+NxLx]
- модель з Ламбертівським відбиттям,
і,у = Уks(RdyVdy cos{YRy -YVy} +
+RxVx)m
- дзеркальна компонента. З (29)-(33) видно, що форма !x зорієнтована на кутову трансформацію інформації в площині [X,Z], а форма іу - в площині [Y,Z]. Для цього на основі інтенсивності відбиття ^ (29) було визначено приріст
дії! = У - іЬ2- (34)
При визначенні приросту (34) інтенсивність відбиття
і! де h є {x,y} (29), розглядалась як функція
^ ^ (y Lh,Y Vh)
кутів Y Lh, Y Vh (28), а інші параметри інтенсивності відбиття і! вважались фіксованими. Тому приріст ді! (34) представлено так:
ді! = ^ (yLh1,YVh1) - ^ (yLh2,YVh2), (35)
(32)
(33)
де YLhl та YVhl - i - те значення кутів відповідно освітлення та спостереження (28), тут і = 1,2. Окрім того
діЬ ^Xdh + дУ , (36)
де
ДIdh = - і^!2 (37)
- приріст для Ламбертівської моделі розсіювання світла на об’єкті;
дУ У1 У2 (38)
- приріст дзеркальної компоненти.
На основі аналізу приросту Mh (35) було отримано умову вилучення з інформації приросту дзеркальної компоненти (38) [9] у такій формі:
^Vh = -д/Иі, (39)
де h є {x, у},
де форма !x має такі компоненти:
ДY Lh =YLh1 - Y Lh2, (40)
64
РИ, 2011, № 2
AYVh = Yvhl -YVh2 5 (41)
яка необхідна та достатня для того, щоб визначити пРиРіст Alh = AIdh .
6. Стереозйомка з параметрами, що створюють умови ліквідації компоненти дзеркального відбиття
Для здійснення покрокової технічної реалізації умови (39), яка сформована на основі чотирьох параметрів: YLh1, YLh2, YVh1, Yvh2, використаємо декілька варіантів співвідношення напрямків освітлення та спостереження.
З виразів (40) та (41) видно, що якщо
Y Lh1 =Y Vh1 = ab (42)
YLh2 = YVh2 = a2 5 (43)
то умова (39) виконується частково:
AY Vh = AYLh (44)
з інверсією знаку.
Нехай виконується зйомка засобами, що мають ізоп-роміневі характеристики (42), (43). Якщо на етапі остаточної реалізації умови (39) реалізувати подвійне підставлення
YLh1 = a2 , (45)
Y Lh2 = a1, (46)
що фактично означає змінити послідовність освітлення, то умова (39) виконується у такій формі:
YLh2 - YLh1 =YVh1 -1 Vh2 . (47)
Якщо на етапі остаточної реалізації умови (39) реалізувати подвійне підставлення
YVh1 = a2 , (48)
Y Vh2 = a1, (49)
що фактично означає змінити послідовність стереозйомки, то умова (39) виконується у такій формі:
YLh1 -YLh2 =YVh2 -1 Vh1 . (50)
Зараз, після такого теоретичного вступного аналізу, ми можемо приступити до реалізації умови (39) на технологічно-алгоритмічному рівні. Наступну реалізацію умови (39) доцільно проводити поетапно. На першому етапі знайдемо узгодження напрямку спостереження та напрямку освітлення в площині [H,Z] за (42), (43). На другому етапі поміняємо порядок освітлення ((45), (46)) або порядок стереозйомки ((48), (49)).
Оскільки наступна реалізація умови (39) на технологічно-алгоритмічному рівні в площині [X, Z] та наступна реалізація умови (39) на технологічно-алгоритмічному рівні в площині [Y,Z] подібні, тому необхід-
но та достатньо провести аналіз такої реалізації в площині [Y,Z].
6.1. Зйомка засобами, що мають ізопроменеві характеристики
При використанні камери відбувається процес проектування: світло з тривимірної сцени, розташованої в тривимірному просторі [X, Y, Z], представлене довільною точкою
M = [Xm,Ym,Zm] є [X,Y,Z], (51)
фокусується і захоплюється, перетворюється у двовимірне зображення [x,y], де кожний піксель зображення
m = [xM,yM] є [x,y] (52)
відповідає променю світла вихідної сцени. Фокусування променів світла вихідної сцени відповідає фокусу, оптичному центру камери
C = [Xc,Yc,Zc] є [X,Y,Z], (53)
а освітлення тривимірної сцени, що знімається, забезпечується точковим джерелом світла
Ls = [Xl,Yl,Zl] є [X,Y,Z]. (54)
Для проведення наступних операцій з кутовою інформацією (42)-(44), де H = Y, розглянемо необхідну інформацію в площині [Y,Z] є [X,Y,Z]. З виразів (51), (53)-(55) видно, що в площині [Y,Z] точці C відповідає точка Cp = [YC , ZC ], точці LS відповідає точка LSp = [Yl , ZL], а точці M відповідає точка
Mp = [YM,ZM]. (55)
Нехай точка A є [Y, Z] і відрізняється від точок LSp . Для збігання кутів ZAMpCp та ZAMpLSp хідно і достатньо, щоб точки Cp та необ-
Cp = LSp, (56)
або
її £ (57)
ZC = ZL . (58)
Нехай оптичний центр камери розміщено в початку системи координат
C = O = [0,0,0], (59)
а площина зображення збігається з площиною z = f , де f - фокусна віддаль камери.
Нехай джерело світла є точковим. Нехай при дислокації джерела світла виконуються умови (57), (58), внаслідок чого (54) набуває вигляду
Ls = [Xl,0,0]. (60)
Нехай також виконується умова відсутності затінення джерела світла для точок об’єкта дослідження
РИ, 2011, № 2
65
|xl| > Xn,
(61)
З виразів (63), (64) маємо, що
тут Хп - горизонтальний розмір камери П .
Нехай додатково забезпечено орієнтацію камери таку, що вісь [x] є [x,y] екрана камери п і вісь [X] є [X, Y, Z] по напрямку збігаються. Зауважимо, що така умова забезпечує колінеарність вектора CLS , який характеризує просторове зміщення джерела світла відносно фокуса та осі [x] є [x,y].
Таким чином, для відеозйомки буде використовуватись специфічний комплект джерела світла та камери,
що має такі ознаки: дислокацію джерела світла Ls (60), фокуса камери C (59), дислокацію екрана камери z = f з виконанням умови колінеарністі вектора CLS та осі екрана [x]. Для зручності такий комплект джерела світла та камери скорочено позначимо КДСК.
Ілюстрація процесу освітлення та процесу проектування точки M (51) на екран камери П (точка тії (52)) КДСК наведена на рис. 3.
Y f У
Рис. 3. Схематичне представлення процесів освітлення та проектування на екран камери
Перспективна проекція в цьому випадку описується такми рівняннями:
xM
f
yM
f
XM
ZM
Y
M
M
(62)
(63)
де xM,yM- проекційні координати точки M (51) на екрані камери п .
Для використання в проведенні наступних операцій з кутовою інформацією (42), (43), (45), (46), (48), (49) проекції в площині [Y,Z] напрямку освітлення L і напрямку спостереження V (див. рис. 3) окремо подано на рис. 4, де для покращення візуалізації масштаб рис. 3 по осі Y збільшено.
З рис. 4 видно, що на відрізок [MpO] одночасно проектується напрям спостереження V і напрям до джерела світла L , тому тут точка
A = [Ym,0] . (64)
66
YLY1 = ^tgf . (65)
Як видно з (64), при застосуванні для зйомки КДСК виконання кутової умови (42) досягнуто.
Щоб реалізувати кутову умову (43), доцільно розглянути застосування для зйомки додаткового КДСК.
Рис. 4. Векторна інформація засобів зйомки в тривимірному просторі [X, Y, Z] (рис. 3) та її проекція на площину [Y, Z]
6.2. Стереозйомка двома КДСК
Нехай маємо КДСК, який при зйомці забезпечує виконання кутової умови (42) в формі (64).
Для створення умов застосування додаткового КДСК докажемо наступне: при переносі КДСК відносно
сцени з вектором переносу t = [tj t2 t3 ]T в площині [Y,Z] проекції кута спостереження і кута напрямку на джерело світла однакові.
Нехай виконано перенос КДСК відносно сцени з вектором переносу t = [tj t2 t3 ]T . Перенос КДСК відносно сцени еквівалентний зворотньому руху точок сцени відносно КДСК, тому точка M зміщується:
Mt = [XM - t1,YM - t2,ZM - t3]. (66)
Для точки Mt в площині [Y,Z] проекція кута спостереження змінюється Y VY1 ^ Y VY2 і також змінюється проекція кута напрямку на джерело світла YLY1 ^ YLY2, але, як видно з наведеного в п. 6.1. аналізу, вони залишаються однакові:
YLY2 =YVY2 , (67)
Зараз, як видно з (64), (67), при застосуванні для стереозйомки двох КДСК виконання кутових умов (42), (43) досягнуто, внаслідок чого умова (39) виконується частково (44).
6.3. Динамічна модернізація стереозйомки двома КДСК для створення умов ліквідації інформації дзеркального відбиття
Нехай маємо два, ідентичні за технічними характеристиками, КДСК: КДСК 1, КДСК 2, де КДСК і (і = 1,2) містить джерело світла LSi та камеру Пі. Нехай для КДСК-1 оптичний центр камери П1 розміщено
РИ, 2011, № 2
C1 = [0,0,0] = O, (68)
а джерело світла LS1 дислоковано
Ls1 = [Xl,0,0]. (69)
Нехай виконано перенос КДСК-2 відносно сцени з
T
вектором переносу t = [0 УС2 0] , тоді
4. Вимикається джерело світла L2, а потім працює КДСК 2, функціонують елементи, розміщені на стороні прямокутника C2,LS2 (див. рис. 5).
5. Вмикається джерело світла LS2.
6. Відеозйомка зображення камерою П2:
І2 = I2(L2,V2), (73)
C2 = [0,Yc2,0], (70)
а джерело світла LS2 дислоковано
Ls2 = [Xl,Yc2,0]. (71)
Зауважимо, що значення YC2 невідоме.
Таку дислокацію фокусів відеокамер і джерел світла в площині [X, Y] можна проілюструвати, використовуючи прямокутник C2,LS2,LS1,C1. На рис. 5 цей прямокутник зафарбовано. А екрани обох камер розміщено в площині z = f . На рис. 5 така дислокація екранів камер схематично представлена двома прямокутниками, які окреслені пунктирною лінією.
LS2
LS1
Рис. 5. Схематична дислокація засобів стереозйомки та їх елементів на площинах: в площині [X, Y] розташовано джерела світла та фокуси камер, а в площині Z = f -екрани камер
Зауважимо, що додатково забезпечено спільну орієнтацію камер П1, П2: вісь [x] екрана камери П1 і ось [x] екрана камери П2, а також вісь [X] є [X, Y, Z] по напрямку збігаються. Т аким чином, матриця обертання оптичної осі камери 1 (6) та камери 2 (7) відносно центра координат тривимірного простору R1 = R2.
В алгоритмі відеозйомки стереозображення КДСК функціонують по черзі (рядковий алгоритм): спочатку працює КДСК 1 і функціонують елементи, розміщені
на стороні прямокутника LS1,C1 (див.рис. 5).
1. Вимикається джерело світла LS2.
2. Вмикається джерело світла LS1.
3. Відеозйомка зображення камерою П1 :
де L2 і V2 відповідно одиничні вектори, що вказують напрямок на джерело світла LS2 і камеру П 2 (див. рис. 6, пунктирна лінія).
Рис. 6. Векторна інформація засобів стереозйомки (і = 1,2 ) та їхня дислокація в тривимірному просторі [X, Y, Z] : Li - вектор напрямку до джерела світла LSi; Vi - напрям спостереження відеокамерою Пі
Щоб проаналізувати динамічну кутову інформацію стереозйомки в площині [Y,Z], скористаємось рис. 7, де інформація векторів: напрямку освітлення Li і напрямку спостереження Vi індексованого і = 1 (2) представлена лінією---(----).
Нехай і = 1,2. З рис. 7 видно, що на відрізок [Ci, M p ] проектується напрям спостереження Vi і напрям освітлення Li, тому
ZCiMpA = у LYi = YVYi. (74)
C2
Рис. 7. Векторна інформація засобів стереозйомки в тривимірному просторі [X, Y, Z] (рис. 6) та її проекція на площину [Y,Z]
І1 = I1(L1,V1), (72)
де L1 і V1 відповідно одиничні вектори, що вказують
напрямок на джерело світла LS1 і камеру П1 (рис. 6, пунктирна лінія).
З рис. 7 також видно, що
ZC1IMpC2 = ZC1M pA - ZC2M pA = Ay . (75)
Співставляючи вирази (42), (43) та (74), а також вирази (44) та (75), отримуємо
РИ, 2011, № 2
AYly = AYvY = AY »
(76)
67
що є додатковим доказом часткового виконання умови (39), отриманим шляхом графічного аналізу.
Нехай просторове розміщення елементів КДСК 1, КДСК 2 залишається інваріантним ((69)-(71), рис. 5)). Внаслідок цього залишається інваріантною векторна інформація засобів стереозйомки (див. рис 7): вектора напрямку до джерела світла Li; вектора напрямку спостереження V відеокамерою П; (і = 1,2 ). А внаслідок цього залишаються інваріантними кутові співвідношення в площині [Y,Z] (74).
Щоб досягнути виконання умови (39) в повному обсязі, поміняємо порядок освітлення ((45), (46)). Розглянемо алгоритм стереозйомки з діагональним використанням елементів двох КДСК (див. рис. 5): спочатку функціонують елементи, розміщені на діагоналі прямокутника Ls2 , Q .
1. Вимикається джерело світла L1.
2. Вмикається джерело світла L2 .
3. Відеозйомка зображення камерою П1:
6.4. Погодження обробленого напрямком освітлення стереозображення
Нехай за діагональним алгоритмом отримано стереозображення I1 (77) та I2 (78).
Зауважимо, що умова (39) сформульована для довільної точки M (51), яка на зображеннях представлена точками m' та m" (див. рис. 6). Тому для остаточного виконання умови (39) необхідно та достатньо встановити відповідність точок m' та m" на зображеннях Ij (77) та I2 (78). Така операція є погодженням зображень. Оскільки для формування зображення I2 застоговано вертикальний, відносно сцени,
перенос КДСК-2, тому під час погодження h: I1 ^ I2 визначається вектор (8):
h (x,y ) = (0,v (x,y ))T, (81)
такий, що:
I1 (x,y) = I2 (Х,У + v(x,y)). (82)
11 = I1(L2,V1). (78)
4. Вимикається джерело світла L2 ,
а потім функціонують елементи, розміщені на діагоналі прямокутника C2, LS1.
5. Вмикається джерело світла L1 .
6. Відеозйомка зображення камерою П2 :
12 = I2(L1,V2). (78)
Оскільки кутові співвідношення в площині [Y, Z] залишились інваріантними по відношенню до попереднього етапу відеозйомки стереозображення за рядковим алгоритмом і визначені виразом (75), тому за діагональним алгоритмом при використанні джерела LS2 (LS1), яке належить діагоналі LS2 ,C1 (C2, LS1) прямокутника на рис. 5, формується кут YLY2 ( YLY1 X на основі чого розрахуємо приріст:
AYLY = YLY2 - YLY1 = —AY , (79)
а при використанні камери П1 (П2 ), яка належить діагоналі LS2,C1 (C2,LS1), формується кут Y VY1 ( YVY2 ), на основі чого розрахуємо приріст:
AyVY = YVY1 - YVY2 = Ay • (80)
З виразів (79) і (80) видно, що реалізацію умови (39) на технологічно-алгоритмічному рівні, яка створює необхідні умови для ліквідації компоненти дзеркального відбиття, завершено.
Зараз, після такої реалізації умови (39), ми можемо приступити до завершального етапу реалізації ліквідації інформації компоненти дзеркального відбиття, проведення погодження (19), (20), де з загального приросту AI (23) потрібно вилучити шкідливу інформацію AIs. 68
На основі енергетичного функціоналу (13), який, з врахуванням (81), набуває вигляду
E(v) = jjAI2 (x, y, v) dxdy + Kj^dxdy (83)
де
AI( x,y,v) = I1 (x, y) —12 (x,y+ v) (85)
- приріст, в якому мінімізується концентрація інформації дзеркальної компоненти та досягається збігання компоненти, що базується на Ламбертівській моделі розсіювання світла, диференціального рівняння Ейле-ра-Лагранжа:
dG _ d( dG ^ d (dG (
dv dx 1 >x v dy ldvy J
(85)
та методу спуску, отримуємо
¥ = AI fr+Kdiv (T (VI1 ))Vv, (86)
де оператор T представлено виразом (15).
Для числового розв’язку диференціального рівняння (86) в системі обробки інформації зображень використовують, з застосуванням підставлення v = X, кінцево-різницеву ітераційну схему (20), де W(vk.j) -дискретне представлення функціонального оператора з (86), V(vkj) - дискретне представлення регуляризу-ючого оператора з (86).
8. Висновки
Розроблено новий метод стереозйомки, що базується на Phong-моделі відбиття світла. Отримане стереозображення орієнтоване на використання в алгоритмі погодження тривимірної реконструкції.
РИ, 2011, № 2
68
Науковою новизною роботи є запропонована методика стереозйомки, що базується на спеціальній кутовій обробці інформації стереозображення шляхом детермінованих кутових змін положення джерела світла узгоджених з детермінованою кутовою зміною положення відеокамери. Для реалізації такої обробки інформації стереозображення запропоновано застосувати дві, ідентичні по параметрам зйомки, відеока-мери та два, ідентичні по параметрам освітлення, точкові джерела світла. При проведенні стереозйомки джерела світла і фокуси відеокамер розташовані у вершинах прямокутника, відеокамери мають вертикальне зміщення, а екрани камер розташовано в площині, яка паралельна прямокутнику, так, що горизонтальні осі екранів колінеарні горизонтальним сторонам прямокутника. Для отримання одного зображення стереопари необхідно використовувати засоби зйомки однієї діагоналі прямокутника, а для отримання іншого зображення необхідно використовувати засоби зйомки другої діагоналі прямокутника. Отримане стереозображення має спеціальну концентрацію інформації дзеркальної компоненти, сформовану кутом освітлення. Для її ліквідації та детектування корисної інформації, яка отримується в рамках Ламбертівської моделі відбиття світла, запропоновано застосувати операцію погодження з середньоквадратичною мірою подібності. Мінімум такої міри подібності одночасно відповідає ліквідації інформації компоненти дзеркального відбиття і визначенню функції відмінності.
Практична цінність. Розроблений метод стереозйомки можна технологічно-програмно реалізувати в рамках стандартної системи тривимірної реконструкції на основі стереозображення, що, в перспективі, дозволить отримувати тривимірну інформацію з металографічних стереозображень, які мають значну дзеркальну компоненту.
Література: 1. Ma Y., Soatto S., J Kosecka J., Shankar Sastry S. An Invitation to 3-D Vision. Springer. 2005. 552 p. 2. Gonzalez R. C., Woods R. E., Eddins S. L. Digital Image Processing Using MATLAB. Prentice Hall; 2003. 782 p. 3. Форсайт Д., Понс Ж. М. Компьютерное зрение. Современный поход. Изд-во: Вильямс:, 2004. 928с. 4. Hartley R.I. Theory and Practice of Projective Rectification // International Journal of Computer Vision. 1999. V.35. No. 2. P. 115-127. 5. Синівський А.Т., Русин Б.П. Реалізація методу реконструкції мікроструктури поверхні за її стереозображенням з оптичних камер // Радіоелектроніка і інформатика. 2005.
№ 2. С.112-118. 6. Basso A., GrafH.P., Gibbon D., Cosatto E., Liu S. Virtual Light: Digitally-Generated Lighting For Video Conferencing Applications / 2001 IEEE P.1085-1088. 7. Watanabe S., Miyajima K Detecting Building Changes Using Epipolar Constraint From Aerial Images Taken At Different Positions / 2001 IEEE. Р. 201 -204. 8. Романюк О.Н., Чорний А.В. Високопродуктивні методи та засоби зафарбування тривимірних графічних об’єктів. Вінниця: УНІВЕРСУМ-Вінниця, 2005. 190с. 9. Русин Б.П., Іванюк В.Г., Лисак Ю.В., Ануфрієва Н.П. Визначення глибини тріщин на серіях зображень // Радіоелектроніка і інформатика. 2008. №3. С. 54-61. 10. Baker H. H. Edge based stereo correlation. // In L. S. Baumann, editor, Science Applications International Corporation: Image Understanding Workshop. 1980. P. 168175. 11. Marr D. C., Poggio T. A computational theory of human stereo vision // Proceedings of the Royal Society of London, B 204: 1979. P.301-328. 12. Szeliski R., Golland P. Stereo matching with transparency and matting // IJCV. 1999. №32(1). P.45-61. 13. Scharstein D., Szeliski R., Zabih R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms // In IEEE Workshop on Stereo and Multi-Baseline Vision, 2001.14. Лисак Ю.В., Русин Б.П., Луцик О.А. Адаптивна регуляризація розв’язку задачі погодження зображень // Сучасні комп’ ютерні системи та мережі: розробка та використання: Матеріали 9-ї Міжнародної науково- технічної конференції УКРОБРАЗ 2008. Київ. С.205-208. 15. Nagel, H. H, Enkelmann, W. An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences. IEEE Trans. Pattern Anal. and Mach. Intell. 1986. Vol. 8. P.565-593.
Надійшла до редколегії 10.06.2011
Рецензент: д-р техн. наук, проф. Лукін В.В.
Русин Богдан Павлович, д-р техн. наук, проф., зав. відділом “Методів та систем обробки, аналізу та ідентифікації зображень” Фізико-механічного інституту ім. Г.В.Карпенка НАНУ. Наукові інтереси: обробка та розпізнавання зображень. Адреса: Україна, 79601, Львів, вул. Наукова, 5а, email: dep32@ipm.lviv.ua.
Іванюк Віталій Г ригорович, інж. ФМІ ім. Г.В. Карпенка НАНУ. Наукові інтереси: реконструкція 3D. Адреса: Україна, 79601, Львів, вул. Наукова, 5а, тел:2296-530. e-mail: vivan@imp.lviv.ua.
Лисак Юрій Васильович, м.н.с. ФМІ ім. Г.В.Карпенка НАНУ. Наукові інтереси: обробка та розпізнавання зображень. Адреса: Україна, 79601, Львів, вул. Наукова, 5а. email: ylysak@ipm.lviv.ua
Ануфрієва Наталія Павлівна, аспірантка ФМІ ім. Г.В. Карпенка НАНУ. Наукові інтереси: реконструкція 3D. Адреса: Україна, 79601, Львів, вул. Наукова, 5а.
РИ, 2011, № 2
69
