CC BY
41
УДК 004.08
ВВ. ГРИЦИК
Терношльський нацюнальний техшчний ушверситет iMeHi 1вана Пулюя Нацюнальний унiверситет "Львiвська полiтехнiка"
А.Я. ДУНАС
Нацюнальний ушверситет '^BiB^m полiтехнiка"
ДОСЛ1ДЖЕННЯ МЕТОД1В РОЗП1ЗНАВАННЯ ОБРАЗ1В ДЛЯ СИСТЕМ КОМП'ЮТЕРНОГО ЗОРУ РОБОТ1В МАЙБУТНЬОГО
Представлено до^дження елемента машино-машинного iнтерфейсу на предмет можливостi динамтноХ адаптацИ для покращення сприйняття зовншнього середовища шляхом розробки методики адаптацИ робозору до визуального спектру. До^джено i порiвняно мiж собою рiзнi пороговi методи сегментаци зображень р1зних категорш.
Клюновi слова: сегментацiя зображень, робозiр, бiнаризацiя, розпгзнавання образiв, метод Шблака, порогова бiнаризацiя, гктограмт методи, метод Оцу, метод Сна, метод трикутника, роботи майбутнього.
В.В. ГРИЦИК
Тернопольский национальный технический университет имени Ивана Пулюя Нацюнальний ушверситет "Львiвська псоттехшка"
А.Я. ДУНАС
Национальный университет "Львовская политехника"
ИССЛЕДОВАНИЕ МЕТОДОВ РАСПОЗНАВАНИЯ ОБРАЗОВ ДЛЯ СИСТЕМ КОМПЬЮТЕРНОГО
ЗРЕНИЯ РОБОТОВ БУДУЩЕГО
Представлено исследование элемента машино-машинного интерфейса на предмет возможности динамической адаптации для улучшения восприятия внешней среды путем разработки методики адаптации роботизированного зрения к визуальному спектру. Исследованы и сравнены между собой различные пороговые методы сегментации изображения различных категорий.
Ключевые слова: сегментация изображений, роботизированное зрение, бинаризация, распознавания образов, метод Ниблака, пороговая бинаризация, гистограммные методы, метод Оцу, метод Сна, метод треугольника, роботы будущего.
V.V. HRYTSYK
Ternopil Ivan Puluj National Technical University Lviv Polytechnic National University
A.Y. DUNAS
Lviv Polytechnic National University
RESEARCH OF PATTERN RECOGNITION METHODS FOR COMPUTER VISION SYSTEMS
OF ROBOTS OF THE FUTURE
The research of the machine-machine interface element concerning the possibility of dynamic adaptation for improving the perception of the visual environment by developing a method for adapting the computer vision to the visual spectrum. The various threshold methods of image segmentation from different categories are investigated and compared among themselves.
Keywords: image segmentation, computer vision, binarization, pattern recognition, Niblak method, threshold binarization, histogram methods, Otsu method, Yen's method, Triangle method, robots of tomorrow.
Постановка проблеми
Комп'ютерш технологи займають настшьки важливу роль в житп сучасного суспшьства, що зараз вже важко уявити соб1 жоден вид д1яльносп, в якому так чи шакше не використовуються комп'ютери [3]. Ми живемо в перюд 4-о! промислово! революцп, i прогрес знань i технологш р1зко пришвидшуеться з кожним днем, адже створення одних новггшх технологш виступае фундаментом для появи нових. Вже зараз у численних галузях промисловосп, науки, штернет-технологш тощо ефективно використовуються розробки, пов'язаш з використанням систем штучного штелекту, а також рiзного виду робопв чи роботизованих систем.
Роботи майбутнього - це технологи з штелектуальними вiзуальними можливостями: вони повинш ввдчувати i розумгга динамжу реального свиу [7]. Тому розробка систем комп'ютерного зору з динашчним
сприйняттям зовшшнього вiзуального середовища е критично важливою задачею для роботiв наступно! генераци. А це потребуватиме розробки вiдповiдних моделей i засобiв синтезу методiв сприйняття даних вiзуального спектру, що надходять в режимi реального часу [2, 4]. Отже, актуальною проблемою розвитку штучного штелекту е розробка принцишв сприйняття комп'ютером зовнiшнього свггу через розумiння вiдео даних [1, 5].
Формулювання мети дослiдження
Метою роботи е покращення сприйняття вiзуального свiту робозором шляхом розробки методики його адаптаци до особливостей зовшшнього середовища.
Викладення основного матер1алу дослвдження
Дослiдимо та порiвняемо дек1лька найбшьш поширених методiв сегментаци вiзуального поля уваги, що працюють у реальному чай та грунтуються на рiзних математичних апаратах обробки шформаци.
1. Бгнаризацгя з нижнгм порогом.
Цей метод вщноситься до групи методiв сегментаци зображення, що грунтуються на глобальних порогах. Суть методу полягае в тому, що глобальний пор^ яскравостi вибираеться як деяка константа, i в залежностi вщ ввдношення ще! константи до локальних значень яскравостi для кожного шкселя, бiнаризуеться значення цього пiкселя. Цей метод е найб№ш простим i поширеним. Опишемо його наступним чином:
0, if r-++(axy)<L
r+g+b
anew = )~''J 3 v I)
Uxy К ... r+g+b , ' (11)
' 1, if ) > L
де dneew - результуюче значення яскравостi пiкселя; axy - вхвдне значення яскравостi пiкселя; L (const) E [0,255] - глобальний рiвень освилення;
r, g, b - орипнальш значення червоно!, зелено! та синьо! складово! кольору шкселя аху. Вiзуалiзацiю див.на рис. 6.1.б).
2. Метод Шблака
Метод грунтуеться на обчисленш локального порогу освиленосп.
1дея полягае у вирiвнюваннi порогу яскравостi бшаризацп вiд точки до точки на основi вщхилення локального середнього значення яскравостi (значення, що обчислюеться для кожного шкселя, базуючись на значеннях яскравостi його самого i його сусiдiв), вщ локального (обчислюеться лише для одного шкселя) в заданш масцi [6].
Тобто, бшаризоване представлення пiкселя обчилюеться так:
,neW _f0, if В(х, у) <L г*У {1, if В(х, у)> L,
де В(х, у) E [0,255] = r+g+b (о,Ху), - локальне значення яскравостi пiкселя аху;
L E [0,255] = mwxw(х,у) + k * swxw(х,у) - локальний порiг яскравостi для шкселя аху в околi w x w;
J^wxwВ(Х v)
mwxw(х,у) E [0,255]~ 1 ,— - середне значення яскравостi в околi пiкселя w х w;
^wxw
(х,у) = ¡——EYxw(B(x,у) — mwxw(х,у))2 - середньоквадратичне ввдхилення вибiрки в окол1
л1 wxw
пiкселя;
k(const) = —0,2 для об'екпв, що iмовiрнiше представленi чорним кольором (тобто, якщо В(х,у) < 127), i к = 0,2для об'екпв, що iмовiрнiше представленi бiлим кольоромВ(х,у) > 127; w (const) - розмiр маски околу, наприклад, 15 [6]. Вiзуалiзацiю див.на рис. 6.1.в).
3. МетодОцу
Метод використовуе пстограму розпод^ значень яскравостi шксел1в зображення. Суть метода Оцу полягае в тому, щоб виставити пор^ мiж класами на гiстограмi таким чином, аби кожен з них був якомога "щшьтшим". Якщо висловлюватись математичною мовою, то це зводиться до мгттзацц внутршньокласово! дисперси, яка визначаеться як зважена сума дисперсш двох клайв:
ol (L) = wi(L)a^(L) + W2(L)ai(L), (3.1)
де ваги Wi - це ймовiрностi двох клаав, що роздшеш порогом L; aj2 - дисперси цих клаав.
Оцу довiв, що мiнiмiзацiя дисперси всередит класу рiвносильна максимiзацil дисперси мгж класами, яку можна виразити через ймовiрнiсть wt i середнш арифметичний клас Ц:
a2(L) = a2- ol (L) = w1(L)W2(L)[^1(L) - (L)]2.(3.2)
Для початку потрiбно побудувати гiстограму р(1) зображення i визначити частоту входжень N(1) кожного рiвня яскравостi зображення G(x,у).Також шукаемо сумарну яскравють NT пiкселiв зображення:
NT = ?m=aZ(G) Р(0 (3.3)
Шсля цього для кожного значення напiвтону (порогу)! = 1, max(G) виконуемо наступне:
(L) = = %=1N(I), Ш2(1) = 1 - *1 (L) (3.4)
Иг = ^^ = Um?™ i X N(l) (3.5)
П) = ZUi*P(Q = Zttixm = K-^D^L) (3 6)
NT*w1(L) wi(L) W2(L) v '
a2(L) = a2- a* (L) = Wi(L)W2(L)[^i(L) - ^(W, (3.7)
Шуканий порiг дорiвнюе значенню L, при якому а* (L) максимальне:
L = argmaxLa'2(L) (3.8)
Бшаризоване представлення пiкселя обчилюеться так:
anew = (0, if В(х, у) <L
(1, if В(х, у)> L, (3 9)
Вiзуалiзацiю див. на рис. 6.1.г).
4. Метод Сна
Цей метод вщноситься до методiв, яш використовують ентропiю розподiлу яскравостi кольорiв на зображеннi. Метод £на розглядае об'ект на зображенi i фон, на якому цей об'ект розташований, як два рiзнi джерела зорово! шформаци. I значення яскравостi, при якому сума цих двох ентропш сягае свого максимуму, вважаеться оптимальним порогом для сегментаци зображення [8].
Для початку потрГ6но обчислити пстограму р(1) зображення i частоту входжень N(1) кожного рГвня яскравосп зображення G(x,у). Також шукаемо сумарну яскраысть NT пiкселiв зображення:
Nt=n?:z(G) Р(О (4.1)
Будуемо допомтт нормалiзованi гiстограми:
Pnorm(S) = Nt , (4.2)
PnormC (0 = PnormC ( - -0 + Рпогт (0, (4 3)
P'norm(0 = Р'norm(i - ^ + Pnorm(Q2, (4.4)
Р" norm (0 = Р" norm (i + + Рпогт (i + 1)2, (45) Знаходимо ентропи об'екта i його фону:
Cf (Т) = - logip
norme (I) X (1
PnormC (0)} (4.6)
Сь (Т) = - Ыр'^(I) X р"погт(0} Визначаемо значения /, при якому сума цих ентропш максимальна:
Ь = агдтах1{Сь(Т) + С^(Т)} Використовуемо це значення як пор^ яскравосп i бiнаризуемо зображення:
а
ху
= 10, ь 11,1
0,1/ В(х, у) < Ь В(х, у) > Ь
(4.7)
(4.10)
(4.11)
Вiзуалiзацiю див. на рис. 6.1.д).
5. Метод трикутника
Метод використовуе пстограму розпод^ значень яскравосп на зображеннi. На гiстограмi проводиться лiнiя 5 вiд найменшого Ът1П значення яскравостi до найбшьшого Ъп Порогом визначаеться елемент пстограми, ввдстань вiд якого до 5 е найбшьшою [9]:
Яскрав1сть Рис. 5.1. Метод трикутника
Ь = агдтахЬ(1) й , де
(5.1)
Ь - значення порогу;
й - вiдстань вiд значення пстограми Ъ (¿)до 5.
Проводимо бшаризацш за стандартною формулою:
(0, ^ В(х, у) < I В(х, у) > Ь Вiзуалiзацiю див. на рис. 6.1.е).
"■ху
= 10, Ь 11,1
(5.2)
6. Оцiнка роботи методiв бiнаризацií
Для оцiнки правильносп роботи наведених вище методiв було проведено кореляцш результатiв методом МЕЕ. Як еталонне зображення було використано орипнальне зображення, бiнаризоване методом з нижшм порогом бiнаризацií. Дослвджуваним виступало зображення, отримане внаслiдок обробки орипнального кожним з методiв. Похибка обчислювалась за формулою:
МБЕ = }) - К(1,})\2 (6.1)
де 1(1,]) - значення яскравосп тксела у точщ (¿,у)дослщжуваного зображення; К(1,]) - значення яскравосп ткселя у точцi (I,]') еталонного зображення; w - ширина зображень; И - висота зображень; МБЕ - значення похибки.
01 234 01 234 56789 56789
a) Оригшальне зображення б) Метод бшаризацй з порогом в) М
01 234 01 234 01 234 56789 56789 56789
г) Метод Оцу д) Метод £на е) Метод трикутника
Рис. 6.1. В1зуальне поршняння роботи алгоритм1в
Висновки
В результата проведених експерименпв були отриманi так результати:
Таблиця1
_nopiBHaHHa результатiв_
№ експерименту 1 2 3 4 5 6 7 8 9 Похибка MSE
Бiнаризацiя з нижшм порогом 3088 3566 3606 3062 3298 3125 3144 3251 3390 ±3281
Метод Шблака 1004 604 874 599 780 905 588 820 991 ±796
Метод Оцу 3092 3299 3593 3152 3237 3508 3109 3023 3495 ±3279
Метод Сна 780 890 595 773 530 871 642 903 824 ±756
Метод трикутника 634 1012 650 931 742 892 638 659 712 ±763
Н1блака
Можна зробити висновок, що найкраще у нашому дослiдженнi себе проявили гiстограмнi методи бшаризацй. Проте для вах методiв дуже велику роль вiдiграe наближенють вхвдного зображення до еталонного, а також наявнiсть побiчних "шумiв" на ньому. Щодо першо1 проблеми, вона може бути розв'язана шляхом бшьш довгого та багатоварiативного навчання системи. Друга проблема вщносно легко вирiшуeться шляхом накладення на зображення додаткових фiльтрiв.
Список використано'1 л1тератури
1. Грицик В. В. Оцшка якосп передавання i комп'ютерна обробка даних образiв / Грицик В. В. // Доповщ НАН Украши. - 2008. - № 9. 1нформатика та шбернетика. - С. 43-48.
2. Audio-visual answer to modern computing // Research*eu results supplement. - 2010. - №26. - P. 31-32p.
3. Мiчо Кайку. Фiзика майбутнього:Переклала з англ. Анжела Кам'янець. - Львiв: Лiтопис, 2013. - 432 с.
4. Software: running commentary for smarter surveillance? // Reasearch*eu results supplement. - 2010. - №24. -P. 29
5. Hrytsyk V. Augmented reality for people with disabilities / V. Hrytsyk, A. Grondzal, A. Bilenkyj // Proceeding soft of the Xth International Scientific and Technical Conference "Computer Sciences and Information Technologies (CSIT'2015) " (Lviv, 14-17 September 2015). - Lviv: IEEE, 2015. - P. 188-191.
6. Korzynska A. Validation of various adaptive threshold methods of segmentation applied to follicular lymphoma digital images stained with 3,3'-Diaminobenzidine&Haematoxylin [Electronic resource] / A. Korzynska, L. Roszkowiak, C. Lopez, R. Bosch and other // Diagnostic Pathology - 2013. - Vol. 8. - I. 48. - Access Mode: https://www.ncbi.nlm.nih. gov/pmc/articles/PMC3656801/
7. [Electronic resource] — Vol. — P. - Access Mode:
8. Sezgin Mehmet. Survey over image thresholding techniques and quantitative performance evaluation / Mehmet Sezgin, Bulent Sankur // Journal of Electronic Imaging. - 2004. - Vol. 13. - I. 1. - P. 146165.
9. Zack G.W. Automatic Measurement of Sister Chromatid Exchange Frequency / G.W. Zack, W.E. Rogers, S.A. Latt // Journal of Histochemistry and Citochemistry. - 1977. - Vol. 25 - № 7. - P. 741-753.
