CC BY
64. Nervous system. URL: http://en.wikipe-dia.org/wiki/Nervous_system
5. David E. Rumelhart, "Back Propagation, Theory, Architectures, and Applications", 1995.
6. Peter Norvig. Artificial Intelligence. 2010. URL:
http://www.cs.wisc.edu/~dyer/cs540/hw/hw3/hw3.htm l
7. M. Russel, S. Mandayam and S. Jensen, ""The Intellgent" valve: A diagnostic framework for integrated systems health management of a rocket engine
test stand", IEEE Transactions on Instrumentation and Measurement, Volume 60, Issue 4, March 2011, Pages: 1489-1497
8. Mostofi F. and Khashman A. (2014). Intelligent Recognition of Ancient Persian Cuneiform Characters. In Proceedings of the International Conference on Neural Computation Theory and Applications - Volume 1: NCTA, (IJCCI 2014) ISBN 978-989-758-054-3, Pages 119-123
Музиченко B.I.
маггстр кафедри техмчно! юбернетики Нацюнального технгчного утверситету Украти «Кигвський полтехтчний тститут 1мет 1горя Сжорського»
Корнага Я. I.
кандидат техтчних наук, доцент кафедри техн1чно'1 тбернетики Нацюнального технгчного утверситету Украти «Кигвський полтехнгчний iнститут 1мет 1горя Сжорського»
REGION-BASED CONVOLUTIONAL NEURAL NETWORKS ДОСЛ1ДЖЕННЯ МЕТОДУ «ПРОПОЗИЦ1Й РЕГЮШВ» У ЗГОРТКОВИХ НЕЙРОННИХ
МЕРЕЖАХ
Summary: Deep convolutional neural networks (CNNs) have had a major impact on most areas of image comprehension, including categorizing objects. When detecting objects, methods such as R-CNN, have received excellent results by integrating CNN with networks that generate regions by selective search. This article explores the role of region generation in detectors using CNN and the region suggestion model to determine whether the region proposal model is a necessary simulation component encoding important geometric information about the internal state of the image, or is simply a way to accelerate detection without loss of quality. This is done by designing and evaluating a detector that uses a "trivial area" generation pattern that is constant for each image. Combined with the Spatial Pyramid Pooling, it provides an excellent and fast detector that does not require image processing using algorithms other than CNN itself.
Keywords: CNN, neural networks, image understanding, object category detect, region generation.
Анотащя: Глибош 3ropTKOBi нейронш мережi (CNN) зробили великий вплив на бшьшють областей розумшня зображень, включаючи визначення категори об'екпв. При виявленш об'екпв так методи, як R-CNN, отримали ввдмшш результати за рахунок штеграцп CNN з мережами як генеруют регюни, за допо-могою вибiркового пошуку (selective search). У цш статп дослщжуеться роль генераци репошв в детекторах за допомогою CNN та моделi пропозицш репошв, щоб визначити, чи е модель пропозици репошв необхщним компонентом моделювання, що кодуе важливу геометричну шформацш про внутрiшнiй стан зображення, або це просто споаб прискорити детекцiю без втрати якосп Це робиться, за допомогою про-ектування та оцiнювання детектора, який використовуе схему генерацii "тривiальноi обласп", постiйну для кожного зображення. У поеднанш з спiльним об'еднання трашди (Spatial Pyramid Pooling) це дае вщмшний i швидкий детектор, який не вимагае обробки зображення за допомогою алгоритмш окрiм самi CNN.
Ключовi слова: CNN, нейроннi мереж^ розпiзнавання зображень, визначення категори об'екпв, гене-рацiя регiонiв.
Постановка проблеми
Детекщя об'екпв - одна з основних проблем в штелектуальнш обробц зображень. До недавнього часу найбшьш ефективнi детектори в найбiльш по-пулярних тестах, таких як PASCAL VOC, були зас-нованi на поеднанш евристично згенерованих ознак зображення, таких як SIFT, HOG i Vector Fisher, а також форми структуровано! регресй' вихiдного сигналу, WTF^^ моделей розсувних вiкон до мо-делi деформованних деталей).
Аналiз дослщжень та публiкацiй
Однак останшм часом джерела засноваш на поeднаннi евристично згенерованих ознак стали значно ввдставати вщ моделей, якi заснованi на гли-бокому навчаннi, яке автоматично набувае уяв-лення про особливосп даних за допомогою згор-тальних нейронних мереж (CNNs). На данний момент кращi детектори на основi CNN заснованi на конструкцп R-CNN [9, с. 17]. Концептуально R-CNN дуже простий: вш видiляе областi зображення за допомогою мехашзму пропозицiй та вибiрковий
пошуку [18, с. 5-7], та класифшуе кожну з видше-них областей допомогою CNN.
Видшення мевир1шеми\ paiiiinc частин про-блеми
R-CNN залишае кшька цiкавих питань [8, с.1].
Перше питання полягае в тому, чи мютить CNN достатню геометричну шформацш для ло-калiзацi! об'ектiв або чи повинна CNN бути до-повнена зовшшшм механiзмом, таким як створення алгоритм пропозицiй областей. Насправд е двi гiпотези. Перша полягае в тому, що едина роль ге-нерацй' пропозицiй полягае в скороченш обчислень, дозволяючи уникнути запуску CNN для усього зоб-раження, що е дорогою операщею, а запускати !! на невеликому числi областей зображення. В цьому випадку створення пропозицш стае менш важли-вим, осшльки iншi прискорення, так1 як SPP-CNN [10, с.31-32], стають доступними i можуть бути ска-сованi. Друга гшотеза полягае в тому, що створення пропозицш забезпечуе геометричну шформацш, дуже важливу важливу для точно! локалiзацi! об'екта, яка не може бути представлена за допомо-гою CNN [20, c.13]. Це малоймовiрно, враховуючи те, що CNN за час навчання спонукаеться бути дуже iнварiантними навиъ до великих геометричних змiн i, отже, не можуть бути чутливими до мiсця розташування об'екта.
Друге питання полягае в тому, чи можна спро-стити вхiднi даш для R-CNN. R-CNN мiстить безлiч практичних крок1в, як1 необх1дно ретельно впро-ваджувати i налаштовувати для забезпечення хорошо! точностi. Для початку, R-CNN спираеться на CNN, яка перед тим навчаеться для задачi кла-сифшаци об'ектiв, на таких данних як ImageNet ILSVRC [5, с.4]. Ця CNN потiм використовуеться для задачi детекцп:
I) задачi класифшаци SVM для кожного класу об'ектiв на останньому за допомогою останього шару нейронно! мереж1
II) дотаткове навчання CNN на задачу розшзнавання об'ектiв i фону
III) вивчення регреси обмежувально! "коробки" (bounding box) для кожного класу об'екпв [7, с. 6-8].
Трете питання - чи швидша R-CNN. ктотне прискорення вже було досягнуто в надточних нейромережах (SPP) [11, c. 20-23] шляхом ре-алiзацi! того, що згортковi функцп можуть бути роздшеш мiж рiзними областями, а не перерахо-ванi. Однак це не прискорюе навчання, а при тесту-ваннi механiзм створення пропозицiй в обласп стае новим вузьким мюцем.
Цiль статт
Цiлю статтi е дослщження геометрично! ш-формацй' для локалiзацi! об'екту, що мiстить CNN, дослвдження можливостi спрощення вхiдних данних R-CNN, та дослвдження швидкосп R-CNN.
Викладення основного мaтepiaлу
1. Детектори на 6a3i CNN
1.1 Детектори R-CNN
Формування пропозици регюну
Метод R-CNN [9, c.15] е ланцюжком концептуально простих крошв: створення областей-канди-датiв, !х класифша^ як об'екту або заднього плану i подальша обробка для полшшення !х вiдповiдностi до об'ектiв. Щ кроки описанi нижче.
Створення пропозици областей
R-CNN починаеться з запуску алгоритму, такого як SS [18, c.27] або CPMC [3, c.18], для вилу-чення з зображення x кратного списку областей зображення R Е R(x), якi можуть мiстити об'екти. Щ пропозици к1льк1стю в декшька тисяч на зображення можуть мати дов№ш форми, але передба-чаеться, що вони перетворюються в прямокутники.
CNN-функци
Кандидати в об'екти за допомогою CNN кла-сифiкуються. Сама CNN часто навчаеться на шшиш данних для задачi класифшаци - зазвичай це кла-сифiкацiя зображень на данних з ImageNet ILSVRC [5 c. 11-13]. Таким чином, CNN може навчатися на дуже великому наборi даних, що потрiбно для за-безпечення гарно! якосп класифiкацi!, а потiм за-стосовуеться до детекцп об'ектiв, де набори даних зазвичай набагато менш^ Щоб перенести попе-редньо навчену CNN на детекцiю об'екта, !! останнi калька шарiв, як1 е специфiчними для завдання кла-сифшацд, видаляються; це призводить до «урiза-но!» CNN ф. CNN застосовуеться до R областей зображення [19, c.43] шляхом обрiзки i змiни розмiру зображення x, тобто pRCNN(x; R) = Ф (resize (x\R)) [21, c.2]. Обрiзка i змiна розмiрiв служать двом цiлям: локалiзувати дескриптор i надати CNN зображення фксованого розмiру, оск1льки це потрiбно для багатьох архитектур CNN.
Навчання SVM
З огляду на дескриптор обласп фRCNN(x; R), наступним кроком е вивчення класифшатора SVM для визначення того, чи мiстить регiон об'ект або фон. Вивчення SVM починаеться з ряду приклащв зображень x1, . . . , xN, кожен з яких анотуеться областями ютини R' Е Rgt(xi) i мiтками об'екта c(R) Е {1....С} [1, c.1]. Щоб вивчити класифша-тор для класу c, R-CNN дiлить ютину Rgt(xi) i кан-дидатiв R(x) на позитивних i негативних. Зокрема, грунтовним областям iстинностi R Е Rgt(x) для класу c(R) = с присвоюеться позитивна мггка y(R; с; т ) = +1; iншi областi R позначен як неоднозначнi y(R; с; т) = е iгноруються, якщо перекриваються (R,R) > т = 0 з будь-якою об-ластю iстинностi R Е Rgt(x) того ж класу c(R) = cc(R) = c. Решта регюшв позначенi як негативнi [14, с.9]. Тут (А,В) = \А П В\/\А U В\ е мiрою перекриття перетину з об'еднанням, а порiг вста-новлюеться рiвним т = 0.3. SVM набирае вигляду pSVM ◦ pRCNN(x; R), де фSVM - лiнiйний предиктор hwc, pRCNNi + be, отриманий з викори-станням SVM для мiнiмiзацi! емпiричного ризику помилки [6, с.3].
Обмеження ребер
Обмежувальш прямокутники кандидатiв на об'екти перетворюються на детекцш об'ектiв з ви-користанням регресй' на основi CNN. З огляду на обмежувальну рамку кандидата R = (х, у, w, h), де
(x, y) - 11 центр i (w, h) його ширина i висота, ттй-ний регресор оцiнюе настройку d = (dx,dy,dw,dh), яка дае новий обмежений блок d[R] = (wdx + x.hdy + y.wedw ,hedh ) [22, c.10]. Щоб тренувати цей регресор, для кожно! об-ластi ютини R* збираються всi кандидати R, яш пе-рекриваються з ним (з перекриттям не менше 0,5) [12, с.34]. Кожна пара (R * ,R) областей перетво-рюеться в навчальну пару (<pcnv(x,R),d) для ре-гресорiв, де d - вектор, необхвдний для перетво-рення R* в R, тобто R* = d[R] [23, c.1]. Потiм пари використовуються для навчання регресорiв викори-стовуючи регресш з великою константою регуля-ризацп. Сам регресор приймае вид d = QcT pcnv (resize(x\R)) + tc, де 9cnv позначае CNN [2, c.11], обмежений шарами згортки. Регресш додатково покращують шляхом пере-тренiровки пiсля видалення 20% приклащв з найгiршою втратою регресп - як показано в загаль-нодоступнш реалiзацil SPP-CNN.
Пост обробка
Уточнеш обмежувальнi прямокутники переда-ються до алгоритму з'еднання детектувань. З'еднування детектувань усувае дублювання детек-тування, що визначае прюритетшсть областей з бшьш високим рангом SVM s(9(R)) [13, c.20]. По-чинаючи з обласп з найвищим рангом на зобра-женш, iншi регiони iтеративно видаляються, якщо вони перевищують його [4, c.15].
Тонк налаштування CNN
Яшсть функцiй CNN, перенесених з завдання класифжацп, може бути покращено шляхом точного налаштування мереж1 на цшьових даних. Для цього CNN 9RCNN(x; R) об'еднуеться з додатко-вими шарами 9sftmx, щоб отримати предиктор для класiв об'ектiв C + 1. Попм нова CNN ysftmx ◦ pRCNN(x; R) [24, c.3] навчаеться в якостi кла-сифiкатора, зводячи до мiнiмуму його емтричний логiстичний ризик на навчальному наборi помiче-них областей. Це е аналопчним процедурi, викори-стовувано! для вивчення CNN, але зi зменшеною швидк1стю навчання та шшим набором тренувань, аналогiчним тому, який використовувався для навчання SVM. У цьому наборi даних репстру R, при-своюеться клас c(R; т+,т-) = c(R * ) найближчш iстиннiй областi R * = argmaxR Е Rgt(x) перекриваються (R, R), за умови, що пере-криття (R,R * ) > т +. Якщо замiсть цього пере-кривати (R,R* ) < т —, то область позначаеться як фон c(R; т+,т—) = 0, а iншi обласп - неодно-значнi. За замовчуванням т+, т- рiвнi 1/2, що приз-водить до бiльш проспшого набору тренувань, нiж для SVM. Оск1льки набiр даних сильно упереджено ставиться до фонових областей, шд час навчання в CNN вш ребалансуе шляхом вибiрки з 25%-ми iмовiрних областей, таких, що c(R) > 0 i з 75%-ма iмовiрних областей, що c(R) = 0.
1.2. Детектор SPP-CNN
1стотним недолжом R-CNN е необхiднiсть пе-рерахунку усю CNN з початку для кожного оцшюваного регiону; оск1льки це вщбуваеться ти-сячi разiв на зображення, метод повшьний. SPP-
CNN вирiшуe цю проблему, факторизацieю CNN <р = (pfc • фспрв двох частинах, де 9cnv мiстить так зваш 3ropTKOBi шари, тобто об'еднуе шфор-мацiю з локальних областей i де 9cnv повнiстю об'еднуе шформацш з зображення в цшому [17, с.5]. Оскiльки згортковi шари кодують локальну ш-формацiю, це може бути вибiрково об'еднано для кодування зовнiшнього вигляду субрегiону зображення R заметь всього зображення. Бшьш детально, нехай у = (pcnv(x) вихщш згортальш шари, що застосоваш до зображення x. Поле характеристик y е тензор H xW х Вз висотою H i шириною W, пропорцшний висоп i шириш входного зображення x та D каналiв функцiй. Нехай z = SP (у; R) - результат застосування оператора про-сторового об'еднання (SP) до y, що метиться в обласп R. Цей оператор буде визначено як:
zd = max((i,j): g(i,j) Е R) yijd.d = 1.....D (1)
де функщя g вщображае координати об'екта (i, j) назад в координати зображення g (i, j). Оператор SP розширюеться до пулу просторових шрамщ [15 c.45], роздшяючи область R на субрегюни R = RI U R2 U ...RK, застосовуючи оператор SP до кожного, а попм складаючи пiдсумковi функцп. На практицi SSP-CNN використовуе пiдроздiли К х К, де K вибираеться так, щоб вщповщати розмiру згорткового поля в вихщному CNN [25, c.6]. Таким чином, вихщ може бути об'еднаний з юнуючими FC-шарами: <pSPP(x; R) = (pfc • SPPQ; R) • çcnv(x). У порiвняннi з R-CNN перша частина об-числення розподiляеться мiж усiма регюнами R.
Потiм виводиться вщображення g, яке пере-творюе координати об'екпв назад в координати зображення, як того вимагае (1) [11 с.22]. Досить розглянути один просторовий розмiр. Питання в тому, який тксель x0(i0) вщповщае ознацi xL(iL) в L-у шарi CNN. Хоча немае единого визначення, ко-рисно, щоб i0 був центром чутливого поля функцп xL(iL), що визначаеться як набiр пiкселiв L(iL), як1 можуть впливати на xL(iL) як функцш зображення.
Висновки та пропозици
Найважливший висновок полягае в тому, що поточш CNN дiйсно мiстять достатню геометричну iнформацiю для точного виявлення об'ектiв, однак тiльки в згортальних, а не повнiстю пов'язаних шарах. Це вщкривае можливiсть створення сучасних детекторiв об'ектiв, як1 покладаються виключно на CNN, усуваючи схеми створення пропозицш для репошв, таш як вибiрковий пошук, i призводять до створення iнтегрованих, бiльш простих i швидких детекторiв.
SPP е одним з найважливших пунктiв для створення високоточно1 R-CNN, з можливютю runtime виконання [16, с.1-2]. Оск1льки R-CNN доводиться самостшно передавати велику к1льк1сть областей з SS через CNN, алгоритм дуже пов№ний. SPP дозволяе провести все зображення (а не його окремi регiони) через згортковий шар тшьки один раз. Це економить багато часу, тому що один i той же патч може належати кшьком регюнам, i згортки
на них не обчислюються багаторазово, як це зроб-лено в RCNN, тим самим забезпечуючи спiльне об-числення шарiв серед регiонiв. Оск1льки основний шматок часу (~ 90%) витрачаеться на згортковi шари, вiн pi3TO скорочуе час обчислень.
Список лггератури:
1. B. Alexe, T. Deselaers, and V. Ferrari. What is an object? In Proc. CVPR, 2010.
2. P. Arbel'aez, J. Pont-Tuset, J. T. Barron, F. Marques, and J. Malik. Multiscale combinatorial grouping. In Proc. CVPR, 2014.
3. J. Carreira and C. Sminchisescu. Cpmc: Automatic object segmentation using constrained parametric min-cuts. In PAMI, 2012.
4. N. Dalal and B. Triggs. Histograms of oriented gradients for human detection. In Proc. CVPR, 2005.
5. J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei. ImageNet: A Large-Scale Hierarchical Image Database. In Proc. CVPR, 2009.
6. M. Everingham, A. Zisserman, C. Williams, and L. V. Gool. The PASCAL visual obiect classes challenge 2007 (V0C2007) results. Technical report, Pascal Challenge, 2007.
7. P. F. Felzenszwalb, D. McAllester, and D. Ra-manan.A discriminatively trained, multiscale, deform-able part model. In Proc. CVPR, 2008.
8. R. Girshick. Fast RCNN. In arXiv, number arXiv:1504.08083, 2015.
9. R. B. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies for accurate object detection and semantic segmentation. In Proc. CVPR, 2014.
10. Y. Gong, L. Wang, R. Guo, and S. Lazebnik. Multi-scale orderless pooling of deep convolutional activation features. In Proc. ECCV, 2014.
11. K. He, X. Zhang, S. Ren, and J. Sun. Spatial pyramid pooling in deep convolutional networks for visual recognition. In Proc. ECCV, 2014.
12. X. He, R. Zemel, and M. C.-P. nan. Multiscale conditional random fields for image labeling. In Proc. CVPR, 2004.
13. J. Hosang, R. Beneson, P. Dollar, and B. Schiele. What makes for effective detection proposals? arXiv:1502.05082, 2015.
14. A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In Proc. NIPS, 2012.
15. S. Lazebnik, C. Schmid, and J. Ponce. Beyond bag of features: Spatial pyramid matching for recognizing natural scene categories. In Proc. CVPR, 2006.
16. K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. CoRR, abs/1409.1556, 2014.
17. J. Sivic, B. C. Russel, A. A. Efros, A. Zisserman, and W. T. Freeman. Discovering objects and their location in images. In Proc. ICCV, 2005.
18. J. Uijlings, K. van de Sande, T. Gevers, and A. Smeulders. Selective search for object recognition. IJCV, 2013.
19. A. Vedaldi, V. Gulshan, M. Varma, and A. Zisserman. Multiple kernels for object detection. In Proc. ICCV, 2009.
20. P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In Proc. CVPR, 2001.
21. M. D. Zeiler and R. Fergus. Visualizing and understanding convolutional networks. In Proc ECCV, 2014.
22. Q. Zhao and Z. L. an B. Yin. Cracking bing and beyond. In Proc. BMVC, 2014.
23. C. Zitnick and P. Doll'ar. Edge boxes: Locating object proposals from edges. In Proc. ECCV, 2014.
T. Overchenko, O. Ivanenko, T. Krisenko, N. Kozakevich, A. Kniovec
Розроблено новий клас imi6imopie Kopo3iï Memanie, що за своею ефективтстю не поступаються
фосфоновим кислотам.
Оверченко Т.А., 1ваненко О.1., Крисенко Т.В., Козакевич Н., Кньовець А.
Нацюнальний техтчний ymiверситет Украши «Кшвський полтехтчний тститут
iмeнi 1горя Сжорського»
ОЦ1НКА ЕФЕКТИВНОСТ1 1НГ1Б1ТОР1В КОРОЗП МЕТАЛ1В ДЛЯ ВОДООБОРОТНИХ
СИСТЕМ В ПРОМИСЛОВОСТ1, ЕНЕРГЕТИЦ1 ТА КОМУНАЛЬНОМУ ГОСПОДАРСТВ1 EVALUATION OF THE EFFECTIVENESS OF METAL CORROSION INHIBITORS FOR WATER CIRCULATION SYSTEMS IN INDUSTRY, POWER AND MUNICIPAL HOUSEHOLDS
Проведено оцшку шпбггорш корозп металiв. Показано, що фосфонати, фосфшати, полiфосфати та метиленсульфонати е ефективними шпбггорами корозп металiв у прюних водах в умовах штенсивно! ае-рацп. Ефектившстъ захисту тдвищуетъся в присутносп юшв цинку.
A new class of metal corrosion inhibitors has been developed, which, in their effectiveness, are not inferior to phosphonic acids.
The evaluation of corrosion inhibitors of metals was carried out. It has been shown that phosphonates, phos-phinates, polyphosphates and methylene sulphonates are effective inhibitors of corrosion of metals in fresh water under intense aeration conditions. The effectiveness of protection increases in the presence of zinc ions.
Ключовi слова: шпбггори корозп металiв, стутнъ захисту, водо- циркуляцшш системи.
Key words: Corrosion inhibitor, degree of protection, water circulation systems.
ПОСТАНОВКА ПРОБЛЕМИ корозп у водних середовищах. При корозп трубоп-
На съогодтшнш день гостро стоиъ проблема роводiв та шшого обладнання вщбуваетъся не
