Анализ эффективности обучения CNN по принципу "учитель-ученик" с использованием неподготовленных Image-Dataset Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.932.1 DOI: 10.20998/2411-0558.2018.42.10

Д. О. ЗУБАРСВ, мапстр, СНУ iM. В. Даля, Северодонецьк, I. С. СКАРГА-БАНДУРОВА, д-р техн. наук, доц., зав.каф., СНУ iM. В. Даля, Северодонецьк

АНАЛ1З ЕФЕКТИВНОСТ1 НАВЧАННЯ CNN ЗА ПРИНЦИПОМ "ВЧИТЕЛЬ-УЧЕНЬ" З ВИКОРИСТАННЯМ НЕШДГОТОВЛЕНОГО IMAGE-DATASET

ШтучнГ нейроннГ мереж1 з кожним роком розширюють спектр Гснуючих та потенцГйних сфер використання. Як1сть навчання штучних нейронних мереж е основою якостГ ix подальшого функцГонування. Стаття присвячена аналГзу ефективностГ навчання штучних нейронних мереж класу CNN для розпГзнавання непГдготовленого набору зображень (Image-Dataset) за принципом "вчитель-учень", де у ролГ вчителя виступае попередньо навчена дГюча штучна нейронна мережа CNN-1, що завдае алгоритм навчання, а учнем е непГдготовлена штучна нейронна система CNN-2. Доведено, що CNN-1 е бГльш ефективною для пошуку великого спектра об'ектГв на зображеннях, а CNN-2 найкраще працюе для вузько направлених надточних пошук1в завданих об'ектгв. 1л.: 7. БГблГогр.: 22 назв.

Ключовi слова: штучна нейронна мережа; CNN; зображення; Image-Dataset.

Опис проблеми. Штучш нейронш мережi та мережi нервових клГтин живого органiзму - це обчислювальш системи з надвеликою кiлькiстю паралельно функцюнуючих процесорiв з певною множиною зв'язкiв. Штучний аналог бiологiчниx нейронних мереж е значно проспшим, але здатен переймати деяю важливi ознаки функцюнування мозку живо'1' iстоти: навчатися згщно з досвiдом, знаходити корисш данi з надлишково'1' шформаци, робити узагальнення, тощо. Сфери використання штучних нейронних мереж рiзноманiтнi: розтзнавання рукописних текспв, розпiзнавання мовних команд, мовне введення тексту в комп'ютер, розтзнавання оаб, iдентифiкацiя осiб за вщбитками пальцiв, розпiзнавання автомобiльниx номерiв, асощативний пошук iнформацГi, фiльтрацiя i блокування спаму, розтзнавання captcha, оптимiзацiя режимiв виробничого процесу та ГншГ. Штучш нейронш мережГ з ix здатнютю розпiзнавати рацiональне ядро Гз масиву ускладнених або недостовГрних даних, можуть використовуватися для пошуку моделей та виявлення тенденцш, що занадто складш, щоб бути одразу помГченими людьми або комп'ютерною технГкою. ПГдготовлену, тобто навчену, штучну нейронну мережу можна розглядати у якосп

© Д.О. Зубарев, 1.С. Скарга-Бандурова, 2018

"експерта" по тим категорiям шформаци, що були ш наданi для аналiзу. Така штучна нейронна мережа потсм може бути використана для вивчення нових ситуацш, щоб вiдповiсти на питання "що-якщо" при моделюваннi тих чи шших теоретичних та прикладних гшотез [1]. Властивiстю нейронних мереж також е те, що вони можуть змшювати поведiнку в залежносп вiд навколишнього середовища. Навчена нейронна мережа е бшьш стiйкою до деяких викривлень вхщних даних, що дае можливють коректно розпiзнавати образи та закономiрностi.

Попри широке застосування, штучш нейроннi мережi поки що не можуть гарантувати абсолютну точнють, навiть при 1'х вiрному функщонуванш [2]. 1нша iснуюча проблема полягае в тому, що штучш мережi часто дуже велию за глибиною i шириною i мiстять велику кшькють параметрiв [3]. Окрiм того, шхто не спроможний пояснити, яким саме чином вони виршують задачi [2, 4]. Оскiльки штучнi нейронш мережi е дуже складними моделями, що враховують надзвичайно велику кшькють рiзноманiтних параметрiв для моделювання складних вщносин, котрi мiстяться у надвеликих об'емах даних, здебшьшого внутрiшнi представлення результат е настiльки складними, що 1'х навiть неможливо проаналiзувати, о^м деяких найлегших задач, але аналiз таких даних немае великого сенсу. Це призвело до швидкозростаючо'1' обласп дослiджень з пошуку бiльш компактних та ефективних моделей.

Анал1з лггератури. Згiдно з [5] значне полшшення продуктивностi може бути досягнуте рiзними способами. Так, автори [6] пропонують збiльшення тренувальних даних з рiзними типами варiацiй - наприклад, з кшькома видами шумiв на рiзних рiвнях штучно'1' мережi замiсть використання попередньо очищених даних для навчання моделей. Для покращення роботи мереж, що використовуються для аналiзу зображень та вщео, ефективними способами покращення продуктивносп е кластеризацiя [7] та сегментащя [8, 9]. В робо^ [5] запропоновано компактнi моделi що формуються шляхом дистиляцii знань або стиснення моделей. Технологи поеднання рiзних функцш на входах, 1'х спшьне використання та об'еднання рiзних архггектур розглядалися в роботi [10]. Компактш моделi або мережi учнiв навчаються на виходах вчителiв, використовуючи критерп навчання, що мiнiмiзують рiзницю мiж розподiлами учнiв та вчителiв. Ця технологiя показала гарнi результати в рiзних умовах - повнiстю керованому середовищi [11], напiвкерованому середовищi [12], послщовному тренiнгу [13], дозволяючи навчати мережi учнiв працювати краще, шж в умовах, коли аналогiчнi моделi тренувалися з нуля. Разом з тим, варто вщзначити, що хоча щ методики ефективно використовуються для навчання, часто трапляеться, що вони не можуть бути розгорну^ для обробки поточних

даних у режимi реального часу через обмеження, яю вони становлять в термшах затримки та обчислень, особливо для нетдготовлених систем [14]. Таким чином, з огляду на те, що якють тдготовки штучних нейронних мереж е основою ïx подальшого функщонування, удосконалення юнуючих та пошук нових методик бiльш ефективного процесу ïx навчання залишаеться досить актуальним завданням.

Мета. Аналiз ефективностi навчання штучних нейронних мереж класу CNN розтзнаванню нетдготовленого Image-Dataset за допомогою принципу "вчитель-учень", де у ролi вчителя виступае вже навчена дшча штучна нейронна мережа, що завдае алгоритм навчання, а учнем е непiдготовлена штучна нейронна система.

Матер1али i результати досл1дження. 1снуе велика кшькють рiзниx типiв штучних нейронних мереж, котрi вiдрiзняються принципами функщонування, в залежносп вiд яких штучш нейронш мережi вирiшують певну окреслену низку задач та проблем. Не вдаючись у типолопзащю, для нашого дослiдження вiзьмемо згорткову нейронну мережу (Convolutional Neural Network, або CNN), що використовуеться для ефективного розтзнавання зображень. Згорткова нейронна мережа -це спещальна арxiтектура штучних нейронних мереж, яка використовуе рiзновид багатошарових перцептронiв, створений так, щоб вимагати використання мЫмального обсягу попередньоï обробки. Вона складаеться з шарiв входу та виходу, а також з кшькох прихованих шарiв. Приxованi шари складаються зi згорткових шарiв, шарiв нормалiзащï, повноз'еднаних шарiв та агрегувальних шарiв [6].

Перед початком практичного використання штучно!.' нейронноï мережi потрiбно ïï навчити. Безпосередньо сам процес навчання полягае у налаштуванш ïï внутршшх параметрiв пiд конкретне завдання. Процес навчання здшснюеться на навчальнш вибiрцi. Навчальна вибiрка включае вxiднi значення i вiдповiднi 1м виxiднi значення Dataset. В xодi навчання нейронна мережа знаходить певш залежностi виxiдниx полiв вiд вхщних. Оскшьки алгоритм роботи штучной нейронной системи е iтеративним, тобто таким, що повторюеться, його кроки називаються епохами або циклами. Епоха - це одна ггеращя в процес навчання, що включае пред'явлення вах прикладiв з навчальноï множини i, можливо, перевiрку якостi навчання на контрольному Dataset [15].

1нструментарш. В дослщженнях використовувалась мова програмування Python iз залученням наступних модулiв: os, re, argparse, cv2, numpy, time, math та бiблiотека Keras [16]. Для визначення об'ектiв на зображенш ми використовували наступнi технолог^: OpenCV 3.4.3 [17], Deep neural network (DNN) module from OpenCV, Caffe prototxt file,

MobileNet SSD [18], Python script for downloads images from Google [19], Keras CNN.

Характеристики CNN-''вчитель" (далi CNN-1). В якосп CNN-1 обрано глибоку нейронну мережу DNN з opencv. Надалi до не! було тд'еднано вже навчену модель Caffe model вiд Tensorflow, яка визначае до 20 запрограмованих об'ектiв на вхщному зображеннi. Для виявлення об'екпв на зображеннi, було об'еднано мереживну архитектуру MobileNet i структуру единого детектора (SSD), внаслщок чого отримано швидкий i ефективний метод глибокого навчання для виявлення об'екпв.

Характеристики CNN-''учень" (далi CNN-2). Для створення CNN-2 була використана бiблiотека Keras. Процес побудови згортково! нейронно! мережi вiдбуваеться в чотири етапи: згортка, об'еднання, оптимiзацiя, повне об'еднання. Формула згортки (конволюцГ!), що демонструе "рух" ядра w1 по вхiдному зображенню або картi ознак у1-1 для CNN-2 виглядае наступним чином [20]:

xij = Е Z mab • y(i-s-a)( js-b) + b , a=-¥b=-¥

"i e (0,...N),"j e (0,...,M),

де пiдрядковi iндекси i, j, a, b - це iндекси елементiв в матрицях; s -величина кроку конволюцГ!; I та I - 1 - шдекси шарiв мережi; х1-1 - вихщ певно! попередньо! функцп або вхщне зображення мережi; у1-1 - це х1-1 пГсля проходження функцп активацГ!; w1 - ядро згортання; bl - змiщення; X - результат операцГ! конволюцГ!. ОперацГ! проходять роздГльно для кожного елемента i, j матрицi мережi x розмгрнгсть яко! N, M.

Графiчне вiдображення побудовано! CNN-2 представлено на рис. 1.

Вхщш даш для створення Image-Dataset:

- keyword - обов'язковий параметр. Ключове слово, за яким вщбуваеться створення Image-Dataset та навчання CNN-2. Keyword мае входити в дiапазон допустимих елементГв, тобто тих, що вмiе розпiзнавати CNN-1;

- limit - максимальна кшькють результатiв пошуку зображень;

- confidence - межа мшГмального вщсоткового вiдношення, при якому CNN-1 буде визначати - навчати чи нГ CNN-2.

Формування Image-Dataset. Навчальна вибГрка була подГлена на два не тотожних типи Image-Dataset:

1) навчальний Img-Dataset-L1 та навчальний Img-Dataset-L2;

2) тестовий Img-Dataset-T, за допомогою яких вГдбувалося безпосередне навчання CNN-2 та перевГрка !! адекватностГ.

До вибiрки Image-Dataset-L1 увшшли ввдбраш CNN-1 та o6pi3arn нею за допомогою сегментаци, згiдно з вказаними параметрами, зображення потрiбного елементу у формат .jpg у кiлькостi 100 файлiв, з яких перед початком навчання видалялись пошкоджеш В процесi сегментаци зображення, що обробляеться, роздiляeться на фрагменти за допомогою змшно'1 маски, що може рухатися з довшьним кроком вщ 1 пiкселя до 32, в результат чого пщсумковий набiр може мiстити рiзну кшькють фрагментiв [8, 21]. Кожен з отриманих фрагменпв е зображенням, яке CNN може вщнести до того чи шшого класу. Пiдсумкове зображення може бути перефарбоване вщповщно до результат розпiзнавання, як показано на рис. 2. Як правило, якють сегментаци залежить вщ якостi навчання мережг

convolution layer

I

pooling layer

I

convolution layer

I

pooling layer

I

flattening layer

I

full connection layer

I

output layer

Рис. 1. Архггектура CNN-2

Сегментащя завданого елемента вщбувалася за допомогою алгоритму семантично! сегментаци [21]. До виб1рки Image-Dataset-L2 увшшли вщ1браш CNN-1 не обр1заш зображення, що мютили потр1бний елемент, у формат! .jpg у кшькосп 100 файшв.

Кшькють початкових зображень Image-Dataset-T у формат .png становила 100. Пошкоджених та обр1заних файшв у цш виб1рщ не було. Кшькють зображень з потр1бним елементом становила 5.

б

Рис. 2 (а) - Початкове зображення, (б) - Резyльтат сегментацп зображення штучною нейронною мережею

Навчання CNN-2 за дoпoмoгoю CNN-1 з викoристанням Image-Dataset-L1 та Image-Dataset-L2

Як 6уло вказано вище, одна епоха являе собою один крок в навчанш штучно! нейронно'1 мереж! Тобто, коли CNN навчаеться на вах навчальних зразках за один прохщ, це означае, що одну епоху закшчено. Для отримання показових результат процес навчання повинен складатися з кшькох епох. Для навчання CNN-2 було обрано 25 епох в обох випадках. У результат навчання CNN-2 за допомогою CNN-1 отримано настyпнi результати (рис. 3).

За 25 епох навчання CNN-2 з використанням Image-Dataset-L1 тpивалiсть кожно'1 коливалася вiд 111 до 160 секунд, при тривалосп одного кроку 1 - 2 секунди; сума помилок, що розраховувалася згщно

[22], для кожного циклу становила вщ 0,2250 до 0,0406 на оcтанньомy циклц точнють розтзнавання коливалаcя вщ 93,41% на першому циклi до 99,16% на останньому циклi: Графiчне предcтавлення резyльтатiв навчання CNN-2 з використанням Image-Dataset-Ll надано на рис 4 та риc. 5.

Epoch 1/25

82/82 -------------------126 s 2s/stap - loss: С. 2250 - ьсс: 0.9341

Epoch 2/2S

'32/82 ------------------- 124s 2s/stap - loss: С. 2132 - ьсс: 0.9421

Epoch 3/25

32/82 -------------------122s Is/step - loss: 0.1788 - acc: 0 9398

Epoch 4/25

32/82 ------------------- 121s Is/step - loss: 0.1528 - acc: 0 9478

Epoch 5/25

32/82 ------------------- 119s Is/step - loss: 0.1383 - acc: 0 9428

Epoch 6/25

32/82 ------------------- 117s Is/step - loss: 0.1224 - acc: 0 9612

Epoch 7/25

32/82 ------------------- 118s Is/step - loss: 0.1367 - acc: 0 9E20

Epoch 8/25

32/82 ------------------- 120s Is/step - loss: 0.0972 - acc: 0 9607

Eboc±l 9/25

32/82 -------------------- 122s Is/step - loss: 0. 1047 - acc: 0.9619

Eboc±l 10/11

32/82 ------------------- 123s ls/step - loss: 0.0960 - acc: 0.9663

Eboc±l 11/25

32/82 ------------------- 120s ls/step - loss: 0.0926 - acc: 0.9680

Eboc±l 12/25

32/82 ------------------- 123s ls/step - loss: 0.0849 - acc: 0.9666

Eboc±l 13/25

32/82 ------------------- 126s 2s/step - loss: 0.0687 - acc: 0.9767

eboc±l ¡14/25

32/82 ------------------- 122s Is/step - loss: 0.0704 - acc: 0.9748

Epoch IE/25

82/82 --------------------121s Is/step ■■■ loss: 0.0766 - acc: 0.9783

Epoch 16/25

82/82 -------------------- 126s 2s/step ■■■ loss: 0.0581 - acc: 0.9832

Epoch 17/25

32/82 ------------------- 131s 2s/step ■■■ loss: 0.0616 - acc: 0.9802

Epoch 18/25

32/82 ------------------- 129s 2s/step - loss: 0.0539 - acc: 0.9844

Epoch 19/25

32/82 ------------------- 141s 2s/step ■■■ loss: 0.0552 - acc: 0.9855

Epoch 20/25

32/82 ------------------- 131s 2s/step ■■■ loss: 0.0444 - acc: 0.9878

Epoch 21/25

32/82 -------------------148s 2s/step - loss: 0.0506 - acc: 0.9870

Epoch 22/25

32/82 ------------------- 160s 2s/step - loss: 0.0561 - acc: 0.9859

Epoch 23/25

32/82 ------------------- 160s 2s/step - loss: 0.0425 - acc: 0.9897

Epoch 24/25

32/82 ------------------- 157s 2s/step - loss: 0.0420 - acc: 0.9916

Epoch 25/25

32/82 ------------------- 130s 2s/step - loss: 0.0406 - acc: 0.9916

Phc. 3. Результаты навчання CNN-2 з використанням Image-Dataset-Ll

Model loss

Epoch

Рис. 4. Сума помилок для кожно! епохи навчання з використанням Image-

Dataset-Ll

Model accuracy

Epoch

Рис. 5. Точнють розтзнавання заданого об'екта для кожно! епохи з використанням Image-Dataset-L1

Навчання CNN-2 з використанням множини Image-Dataset-L2 пройшло з пршими результатами за навчання з використанням множини Image-Dataset-L1, що видно з графшв на рис. 6 та рис. 7. Точнють розтзнавання склала 71.39 % проти 99.16% у першому випадку.

Model loss

0 5 10 15 20 25

Epoch

Рис. 6. Сума помилок для кожно! епохи навчання з використанням Image-

Dataset-L2

Model accuracy

О 5 10 15 20 25

Fnorh

Рис. 7. Точнють розтзнавання заданого об'екта для кожно! епохи з використанням Image-Dataset-L2

Тестування на адекватшсть роботи CNN-2 за допомогою Image-Dataset-T.

Заключним етапом дослщження було тестування навчено! CNN-2 для випадюв Image-Dataset-L1 та Image-Dataset-L2 за допомогою единого

для обох випадюв Image-Dataset-T. Для випадку Image-Dataset-L1 навчена CNN-2 показала наступний результат:

File name: 2.jpg. Result: Chair

File name: sl~9UJnvW0xj9VJGSkqlz3Q.png. Result: Chair File name: trynmo-l-ev erest.jpg. Re suit: Chair File name: 3_jpeg. Result:Chair

File name: shkaf-3-h-dvemij-nensi-roza.jpg. Result: Chair

File name: dakas-tiymo-viktoriya_l-640x480.jpg. Resuit:Chair

File name: фв jpg; Result:Chair

File name: 4.JPG. Result:Chair

Count chairs: S

Count not chairs: 92

Тобто, CNN-2 визначила Biprn п'ять зображень завданого елементу, проте зображення ще на трьох фото також класифшувала, як завданий елемент.

Для випадку Image-Dataset-L2 навчена CNN-2 показала наступний тестовий результат:

True elements: 44 False elements: 56

Незважаючи на те, що через надмiрну кшькють змiнних параметрiв мережi не можливо побачити внутршнш процес отримання остаточного результату, варто зазначити, що значний вплив на похибки справив невеликий обсяг Image-Dataset.

Висновки. У результат проведених експериментсв в рамках заявлено! тематики було доведено, що CNN-1 е бшьш ефективною для пошуку великого спектру об'екпв на зображеннях, CNN-2 е ефективною для вузько направлених надточних пошуюв завданих об'екпв. При подальшш розробцi варто перевiрити, якi тестовi результати видасть CNN-2, навчена з використанням Image-Dataset з великим об'емом, а також спробувати синхронно навчити CNN-3, CNN-4 etc. за шшими не тотожними параметрами.

Список лiтератури:

1. Raghava Sh. Neural Network / Sh. Raghava, Amazon Digital Services LLC, 2016. - 105 p.

2. Aggarwal, C. C. Neural Networks and Deep Learning / C. C. Aggarwal. - Springer International Publishing, 2018. - 512 p.

3. He K. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, 2016. - P. 770-778.

4. Keinert J. Design of Image Processing Embedded Systems Using Multidimensional Data Flow / J. Keinert, J. Teich, Springer, 2011. - 337 p.

ISSN 2079-0031 (Print) ISSN 2411-0558 (Online)

5. Fukuda T. Efficient Knowledge Distillation from an Ensemble of Teachers / T. Fukuda, M. Suzuki, G. Kurata, S. Thomas, J. Cui, B. Ramabhadran // Proc. Interspeech 2017, August 20-24, Stockholm, Sweden, 2017. - P. 3697-3701.

6. Aghdam H.H. Guide to Convolutional Neural Networks: A Practical Application to Traffic-Sign Detection and Classification / H.H. Aghdam, E.J. Heravi, New York: Springer, USA, 2017. - 299 p.

7. Madasamy B. Improving classification Accuracy of Neural Network through Clustering Algorithms / B. Madasamy, J. Tamilselvi // International Journal of Computer Trends and Technology (IJCTT). - 2013. - Vol. 4, Issue 9. - Режим доступу: www. URL: http://www.ijcttjournal.org/Volume4/issue-9/IJCTT-V4I9P151.pdf, (accessed 15.10.2018).

8. Advances in Image and Video Segmentation / Zhang, Y.-J. (Ed.), IRM Press, 2006. -473 p.

9. Ngan K.N. Video Segmentation and Its Applications / K.N. Ngan, H. Li (Eds.), Springer, 2011. - 179 p.

10. Howard A.G. Mobilenets: Efficient convolutional neural networks for mobile vision applications / A.G. Howard, M. Zhu, Bo Chen, D. Kalenichenko, W. Wang, T.Weyand, M. Andreetto, andH. Adam // arXiv: 1704.04861, 2017, (accessed 15.12.2018).

11. Geras K.J. Blending LSTMs into CNNs / K.J. Geras, A.-R. Mohamed, R. Caruana, et al // ICLR Workshop, 2016.

12. Li J. Learning small-size DNN with output-distribution-based criteria / J. Li, R. Zhao, J.-T. Huang, and Y. Gong // Proc. Interspeech. - 2014. - P. 1910-1914.

13. Wong J.H.M. Sequence student-teacher training of deep neural networks / J.H.M Wong andM.J.F. Gales // Proc. Interspeech. - 2016. - P. 2761-2765.

14. Zhang C. Understanding deep learning requires rethinking generalization / C. Zhang, S. Bengio, M. Hardt, B. Recht and O. Vinyals // Proc. of International Conference on Learning Representations. - 2017.

15. Sewak M. Practical Convolutional Neural Networks / M. Sewak, K. Rezaul and P. Pujari, Packt Publishing, 2018. - 218 p.

16. Keras Documentation [Електронний ресурс] - Режим доступу: www. URL: https://keras.io/preprocessing/image/, accessed 21.09.2018, (accessed 21.09.2018).

17. Opensv [Електронний ресурс] - Режим доступу: URL: https://github.com/ opencv/opencv/tree/master/samples/dnn, (accessed 21.09.2018).

18. MobileNet SSD [Електронний ресурс] - Режим доступу: www. URL: https://github.com/chuanqi305/MobileNet-SSD, (accessed 15.10.2018).

19. Python Script to download hundreds of images from 'Google Images' [Електронний ресурс] - Режим доступу: www. URL: https://github.com/hardikvasa/google-images-download, (accessed 21.09.2018).

20. Калинин С. Сверточная сеть на Python [Електронний ресурс] / C. Калинин. - Режим доступу: www. URL: https://habr.com/company/ods/blog/344008/, (accessed 21.09.2018).

21. Advances in Image Segmentation / P.-G.P. Ho (Ed.), InTech. - 2012. - 126 p.

22. Changhau I. Loss Functions in Neural Networks [Електронний ресурс] / I. Changhau -Режим доступу: www. URL: https://isaacchanghau.github.io/post/loss_fhnctions/, (accessed 21.09.2018).

References:

1. Raghava, Sh. (2016), Neural Network, Amazon Digital Services LLC, 105 p.

2. Aggarwal, C.C. (2018), Neural Networks and Deep Learning, Springer International Publishing, 512 p.

3. He, K., Zhang, X., Ren, S. and Sun J. (2016), "Deep residual learning for image recognition", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, P. 770-778.

4. Keinert, J., and Teich, J. (2011), Design of Image Processing Embedded Systems Using Multidimensional Data Flow, Springer, 337 p.

5. Fukuda, T., Suzuki, M., Kurata, G., Thomas, S., Cui, J. and Ramabhadran, B. (2017), "Efficient Knowledge Distillation from an Ensemble of Teachers", Proc. Interspeech 2017, August 20-24, Stockholm, Sweden, pp. 3697-3701.

6. Aghdam, H.H., and Heravi, E.J. (2017), Guide to Convolutional Neural Networks: A Practical Application to Traffic-Sign Detection and Classification, Springer, New York, USA, 299 p.

7. Madasamy, B., and Tamilselvi, J. (2013), "Improving classification Accuracy of Neural Network through Clustering Algorithms", International Journal of Computer Trends and Technology (IJCTT), Vol. 4, Issue 9, available at: http://www.ijcttjournal.org/Volume4/issue-9/IJCTT-V4I9P151.pdf, (accessed 15 Oct 2018).

8. Zhang, Y.-J. (Ed.) (2006), Advances in Image and Video Segmentation, IRM Press, 473 p.

9. Ngan K.N., Li H. (Eds.) (2011), Video Segmentation and Its Applications, Springer, 179 p.

10. Howard, A.G., Zhu, M., Chen, Bo, Kalenichenko, D., Wang, W., Weyand, T., Andreetto, M. and Adam H. (2017), "Mobilenets: Efficient convolutional neural networks for mobile vision applications" arXiv: 1704.04861, (accessed 15 Oct 2018).

11. Geras, K.J., Mohammed, A.-R., Caruana, R., Urban, G., Wang, S., Aslan, O., Philipose, M., Richardson, M. and Sutton, C. (2016), "Blending LSTMs into CNNs", ICLR Workshop.

12. Li, J., Zhao, R., Huang, J.-T. and Gong, Y. (2014), "Learning small-size DNN with output-distribution-based criteria", Proc. Interspeech 2014, September, pp. 1910-1914.

13. Wong, J.H.M and Gales, M.J.F. (2016), "Sequence student-teacher training of deep neural networks", Proc. Interspeech, pp. 2761-2765.

14. Zhang, C., Bengio, S., Hardt, M., Recht, B. and Vinyals O. (2017), "Understanding deep learning requires rethinking generalization", Proc. of International Conference on Learning Representations.

15. Sewak, M., Rezaul, K. and Pujari, P. (2018), Practical Convolutional Neural Networks. Packt Publishing, 218 p.

16. Keras Documentation (2018), available at: https://keras.io/preprocessing/image/, (accessed 21 Oct 2018).

17. Opensv (2018), available at: https://github.com/opencv/opencv/tree/master/samples/dnn, (accessed 21 Sept 2018).

18. MobileNet SSD (2018), available at: https://github.com/chuanqi305/MobileNet-SSD, (Accessed 15 Oct 2018).

19. Python Script to download hundreds of images from 'Google Images' (2018), available at: https://github.com/hardikvasa/google-images-download, (accessed 21. Sept 2018).

20. Kalinin S. Svertochnaya set' na Python, available at: https://habr.com/company/ ods/blog/344008/ (accessed 21 Sept 2018).

21. Ho, P.-G.P. (Ed.) (2012), Advances in Image Segmentation, InTech, 126 p.

22. Changhau, I. (2017), "Loss Functions in Neural Networks", available at: https://isaacchanghau.github.io/post/loss_functions/ (accessed 21 Sept 2018).

Статтю представив д. т.н., проф. Нащонального техшчного ушверситету "Харювський полШехтчний тститут" О.П. Арсенева.

Надшшла (received) 16.11.2018

Zubarev Dmytro, master

Volodymyr Dahl East Ukrainian National University 59-a Central avenue, Severodonetsk, Luhansk region, Ukraine, 93400 tel./phone: (064) 522-89-97, e-mail: [email protected] ORCID ID: 0000-0003-2933-9457

Skarga-Bandurova Inna, Dr. Sci. Tech., Professor

Volodymyr Dahl East Ukrainian National University

59-a Central avenue, Severodonetsk, Luhansk region, Ukraine, 93400

tel./phone: (064) 522-89-97, e-mail: [email protected]

ORCID ID: 0000-0003-3458-8730

УДК 004.932.1

Аналiз ефективност навчання CNN за принципом "вчитель-учень" з використанням непвдготовленого Image-Dataset / Зубарев Д.О., Скарга-Бандурова 1.С.

// В1сник НТУ "ХП1". Сер1я: 1нформатика та моделювання. - Харк1в: НТУ "ХШ". - 2018.

- № 42 (1318). - С. 188 - 201.

Штучш нейронш мереж1 з кожним роком розширюють спектр 1снуючих та потенцшних сфер використання. Яюсть навчання штучних нейронних мереж е основою якост !х подальшого функцюнування. Стаття присвячена анал1зу ефективност навчання штучних нейронних мереж класу CNN для розтзнавання нетдготовленого набору зображень (Image-Dataset) за принципом "вчитель-учень", де у рол1 вчителя виступае попередньо навчена д1юча штучна нейронна мережа CNN-1, що завдае алгоритм навчання, а учнем е нетдготовлена штучна нейронна система CNN-2. Доведено, що CNN-1 е бшьш ефективною для пошуку великого спектра об'екпв на зображеннях, а CNN-2 найкраще працюе для вузько направлених надточних пошуюв завданих об'екпв. 1л.: 7. Б1блюгр.: 22 назв.

Ключовi слова: штучна нейронна мережа; CNN; зображення; Image-Dataset. УДК 004.932.1

Анализ эффективности обучения CNN по принципу "учитель-ученик" с использованием неподготовленных Image-Dataset / Зубарев Д. А., Скарга-Бандурова И.С. // Вестник НТУ "ХПИ". Серия: Информатика и моделирование. -Харьков: НТУ "ХПИ". - 2018. - № 42 (1318). - С. 188 - 201.

Искусственные нейронные сети с каждым годом расширяют спектр существующих и потенциальных сфер использования. Качество обучения искусственных нейронных сетей является основой качества их дальнейшего функционирования. Статья посвящена анализу эффективности обучения искусственных нейронных сетей класса CNN для распознавания неподготовленного набора изображений (Image-Dataset) по принципу "учитель-ученик", где в роли учителя выступает предварительно обученная искусственная нейронная сеть CNN-1, которая задает алгоритм обучения, а учеником является неподготовленная искусственная нейронная система CNN-2. Доказано, что CNN-1 является более эффективной для поиска большого спектра объектов на изображениях, а CNN-2 лучше всего работает для узко направленных сверхточных поисков заданных объектов. Ил.: 7. Библиогр .: 22 назв.

Ключевые слова: искусственная нейронная сеть; CNN; изображения; Image-Dataset.

UDC 004.932.1

Analysis of the Efficiency of CNN Learning Based on Teacher-Student Training with Untrained Image Dataset / Zubarev D.O., Skarga-Bandurova I.S. // Herald of the National Technical University "KhPI". Series of "Informatics and Modeling". - Kharkov: NTU "KhPI".

- 2018. - № 42 (1318). - P. 188 - 201.

Artificial neural networks expand the range of existing and potential spheres of use each year. The quality of training artificial neural networks is the basis of the quality of their further functioning. The article is devoted to the analysis of the effectiveness of the training of CNN class artificial neural networks for the recognition of an unprepared set of images (Image-Dataset) based on the principle of "teacher-student", in which the acting teacher of artificial neural network CNN-1 pre-trained, which causes the learning algorithm, and the pupil An untrained artificial neural system CNN-2. It is proved that CNN-1 is more effective to search for a large spectrum of objects in images, and CNN-2 works best for narrowly focused precise searches of objects. Figs.: 7. Refs.: 22 titles.

Keywords: artificial neural network; CNN; image; Image-Dataset.