НЕЙРОН ТAРМОҚНИ ЎҚИТИШНИ ТЕЗЛAШТИРИШДA MKL ПАРАЛЛЕЛЛАШТИРИШ КУТУБХОНAСИНИНГ ИМКОНИЯТИ Текст научной статьи по специальности «Компьютерные и информационные науки»

INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023

НЕЙРОН TAPMO^HH УЦИТИШНИ ТЕЗЛAШТИРИШДA MKL ПАРАЛЛЕЛЛАШТИРИШ КУTУБХOHAСИHИHГ ИМКОНИЯТИ Очилов Маннон Мусинович1, Жавлиев Шах,зод Алишер ^ли2

1 Мухаммад ал-Хорзамий номидаги Тошкент ахборот технологиялари университети, Сунъий интеллект кафедраси доценти, PhD.

2Мухаммад ал-Хорзамий номидаги Тошкент ахборот технологиялари университети

стажёр тадкикотчиси https://doi.org/10.5281/zenodo.7856100

Abstract. In this work, tools that allow saving time resources in the process of training a neural network based on artificial intelligence and information about their application are given. Here we consider how to speed up neural network training using the Intel Math Kernel Library (MKL) and present the comparative results obtained during the research.

Keywords: Artificial Intelligence, Machine Learning, Neural Network, CPU, GPU, Parallel Processing, MKL Parallelization Library

Технологияларнинг ривожланиши натижасида компьютерларнинг ишлаш тезлиги кундан-кунга тезлашиб бормокда. Ривожланиб бораёрган сунъий интеллект сохасида хам машинали укитиш жараёнларини амалга оширишда куп вакт талаб этиб бормокда. Сунги пайтларда хар кандай сохани ахборот технологияларисиз, сунъий интеллектсиз тасаввур килиш кийин. Сунъий интеллект ва машинали укитиш маълумотлар билан боглик булган деярли барча сохада жадал усиб бораётганини гувохи булишимиз мумкин [3]. Машинали укитиш (МУ) - бу сунъий интеллектнинг бир тури булиб, компьютерни дастурлашнинг янги йуналиши хамда дастурнинг маълумотларни укиб олиш ва шу маълумотлар асосида урганиш хусусиятига эга булиши, компьютер маълумотларини укиб олиш асосида хусусиятларни урганиш кобилиятидир. Машинали укитиш ва нейрон тармоклар бир-бири билан чамбарчас боглик тушунчалардир. Нейрон тармоклар (НТ) - бу инсон миясининг хатти-харакатларига таклид килиш учун мулжалланган машиналии укитиш моделининг бир туридир. Нейрон тармогида кириш маълумотлари катламларга ташкил этилган бир катор узаро богланган тугунлар ёки нейронлар оркали кайта ишланади. Х,ар бир нейрон бошка нейронлардан маълумот олади ва киритилган маълумотларнинг огирлаштирилган йигиндиси асосида чикиш кийматини хосил килади. Ушбу уланишларнинг огирликлари укув жараёнида оптималлаштириш алгоритми, масалан, градиент тушиши ёрдамида урганилади. Нейрон тармоклар тасвирларни таснифлаш, нуткни аниклаш ва табиий тилни кайта ишлаш каби турли хил машинали укитиш вазифаларида ажойиб самарадорликни курсатди. ^уйидаги 1-расмда тулик богланишли нейрон тармок архитектураси келтирилган.

INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023

Bias ^ийматлари (b) Bias ;ийматлари (b)

1-расм. Тулик богланишли нейрон тармок архитектураси

Нейрон тармокларнинг асосий афзалликларидан бири бу одамлар томонидан аник лойихдлашни талаб килмасдан, маълумотлар тасвирларини автоматик равишда урганиш кобилиятидир. Бу самарали моделларни ишлаб чикиш учун талаб килинадиган сохдга оид билимлар микдорини сезиларли даражада камайтирди, лекин нейрон тармокни укитишда хдмда мураккаб маълумотларни тах,лил килишда узок вакт ёки машаккатли х,исоблаш мех,натини талаб килади. Шу уринда машинали укитишда тасвир, видео, матн, нутк сигналлари, турли хил улчамдаги матрицалар устида х,исоблаш ишларини олиб бориш куп вактни талаб этади.

Х,озирги вактда турли сохдлар каторида нейрон тармокларни укитиш юкори унумдорликдаги параллел х,исоблаш воситаларини талаб этмокда [4,5]. Параллел ишлов бериш - бу компьютерда бир нечта процессорлар ёки ядроларда бир вактнинг узида бажариладиган иш тартиби х,исобланади. Одатда, жараёнлар уртасида алока урнатишда бироз кушимча юклама х,осил булади. Бу эса кичик хджмдаги вазифалар учун х,ам умумий вактни кискартириш урнига аксинча ошиб кетишига олиб келиши мумкин. Бу муаммони Intel Parallel Studio таркибига кирувчи кутубхоналардан бири MKL (Intel Math Kernel Library) кутубхонаси оркали х,ал килиш мумкин.

Intel Math Kernel Library (MKL) - бу Intel процессорларида нейрон тармок х,исоблашларини тезлаштириш учун ишлатилиши мумкин булган оптималлаштирилган математик амаллар кутубхонасидир. MKL нейрон тармокларни укитиш ва хулоса чикаришни тезлаштириш учун ишлатилиши мумкин булган бир катор параллел алгоритмларни уз ичига олади. Кутубхона уз ичига математик операциялари ва алгоритмларни оптималлаштирилган х,олда амалга ошириш имконини яратади ва нейрон тармогини х,исоблашда тез-тез ишлатиладиган асосий чизикли алгебра кичик дастурларнинг оптималлаштирилган иловаларини уз ичига олади. Буларга матрицаларни купайтириш, векторларни кушиш ва нейрон тармокларни х,исоблашда кенг кулланиладиган бошка чизикли алгебра операциялари учун амаллар киради. Масалан кириш катлами 2 та нейрондан, яширин катлам 3 та нейрондан ва чикувчи катлам эса 2 та нейрондан иборат куйидагича тармок берилган булсин (2-расм).

INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023

2-расм. Бир яширин катламли нейрон тармок архитектураси Бунда матрица устида амалга ошириладиган амалллар, кушиш ва купайтириш амалларидан фойдаланган х,олда кирувчи катлам нейронлари мос равишда уларнинг огирлик коэффицентларига (weights, wij) купайтирилади ва х,ар бир натижавий нейронга озод х,ад (bias, bij) кушилади (3-расм А ва B чизмалар).

—

— --><CW13 yvW^^^Qv W16 b13

W26

yi b21 У2 b22

ф

h1 W11 W12 bn

X1

h2 - W13 W14 * + b12

X2

hs W15 W16 b13

B

W11

.W16

W13

swis

У1 W21 W23 W25 h1 b21

— * h2 + b22

У2 W22 W24 W26

h3

W21

* W -►

(ъХ W23 ---_w24 ^X^ b21

b12 W25 W26 ЩуЛ- -►

b22

b13

3-расм. A) Яширин катлам кийматларини х,исоблаш, B) Чикувчи катлам кийматларини х,исоблаш Нейрон тармокни укитиш хдмда унда х,исоблаш жараёнларини куриб чикдик. Эндиликда биз ушбу укитилган нейрон тармокни х,исоблаш жараёнларини амалга оширишда тезкорликка эришиш йулларини ва унинг натижаларини куриб чикамиз. Йукорида таъкидлаб утилган нейрон тармокни х,исоблашда параллел ишлов бериш учун

13

INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023

мулжалланган кутубхоналардан бири Intel MKL кутубхонасидан фойдаландик. Юкорида таъкидлаб утилган MKL математик х,исоблаш ишларини оптималлашган х,олда амалга оширади. У векторлар ва матрицалар устида бажариладиган барча амалларни компьютер процессор ядроларида таксимлаган х,олда параллел х,исоблайди ва эффектлилиги бошка праллеллаштириш мух,итларидан бутунлай фарк килади [1]. Мисол учун икки матрицани купайтиришни куриб утадиган булсак умумдорлик юкори курсатгичга эришганини яккол куришимиз мумкин. MKL шунингдек, нейрон тармок учун оптималлаштирилган алгоритмларни уз ичига олади. Бу куплаб нейрон тармок архитектураларида, айникса тасвир ва видеоларни кайта ишлашда ишлатиладиган нейрон тармокларнинг асосий амалларини бажаришда кулланилади. MKL нинг ишлаш алгоритмлари куп ядроли процессорларда х,исоблашни тезлаштириш учун оким ва жараён даражасида параллелликдан фойдаланади [1,2]. MKL кутубхонаси чизикли алгебра вазифлари х,исобланган матрица ва векторлар устида амаллар бажаришда жуда юкори самара беради. Биз MKL кутубхонаси нейрон тармокнинг укитишни амалга оширишдаги самарадорлигини бах,олаб курдик. Тажрибаларимизда кулда ёзилган араб ракамларини синфлаштириш масаласи объект сифатида каралди. Нейрон тармокни укитишни MNIST датасетидан фойдаланиб амалга оширдик. Унга кура MNIST датасетида 10 та синф ва 60000 та намуна бор булиб х,ар бир намуна 28х28 улчамда ифодаланган. Тажрибаларимизда куриб утган нейрон тармокда кирувчи катламдаги нейронлар сони 784 та ва чикувчи катламдаги нейронлар сони 10 та. Яширин катламлардаги тугунлар сонини 512 этиб белгилаб олдик ва яширин катламлар сони узгартирилгандаги MKL кутубхонасининг самарадорлигини бах,оладик. Укитиш кадамларини сони 50 та. Унумдорлик курсаткичларини мос равишда куйида келтирилган 1-жадвал ва 5-расмда куришимиз мумкин. Изох,: Ишда нейрон тармокнинг аниклик курсатгичига эътибор каратилмаган ва асосий максад укитиш вактини кискартирш деб каралган.

1-жадвал.

MKL параллеллаштириш мух,итида процессорлар унумдорлиги

Яширин катламлар сони 1 Core 4 Core 8 Core

Вакт (сек) Вакт (сек) Тезкорлик (марта) Вакт (сек) Тезкорлик (марта)

1 123,2 150,1 0,821 111,1 1,109

2 167,3 140,5 1,191 89,4 1,872

3 210,8 142,0 1,485 138,6 1,921

4 233,2 113,6 2,053 61,7 3,777

5 261,5 72,4 3,611 54,0 5,843

6 338,4 73,6 4,596 45,0 7,520

Ушбу жадвалда келтирилган маълумотларга Караганда, компьютеримизнинг процессорлар сони ортиб борган сари нейрон тармокни укитишда тезкорлигимиз йукори самарадорликка эришишилганини куришимиз мумкин. Шунингдек, нейрон тармокда х,исоблаш хджми канча ошса параллеллаштириш кутубхонасининг самарадорлиги юкори булади. Нейрон тармок яширин катламлари сони ва CPU ядролари сонига мос самарадорликнинг узгариши куйидаги 5-расмда келтирилган.

INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023

5-расм. MKL параллеллаштириш кутубхонасининг самарадорлиги Хулоса сифатида шуни таъкидлаб утиш жоизки, нейрон тармоклар машинали укитиш сохдсидаги асосий восита булиб, маълумотлардан урганиш ва янги, куринмас мисолларга умумлаштириш мумкин булган кучли моделларни ишлаб чикишга имкон берди. MKL нинг оптималлаштирилган параллел алгоритмларидан фойдаланган х,олда, ишлаб чикувчилар Интел процессорларида нейрон тармокда буладиган х,исоблашларини сезиларли даражада тезлаштириши мумкин. Бу айникса, катта хджмдаги нейрон тармок моделлари учун мух,им булиши мумкин, уларни укитиш узок вакт талаб килиши ва мух,им х,исоблаш ресурсларини талаб килиши мумкин.

REFERENCES

1. A. Kalinkin, A. Anders, and R. Anders. "Intel Math Kernel Library PARDISO for Intel Xeon Phi TM Manycore Coprocessor". In: Applied Mathematics 6.08 (2015), p. 1276

2. Khujayarov Ilyos Shiraliyevich, Islomov Shahboz Zokir ugli, Nuriev Sirojiddin Abduraxmonovich, Ochilov Mannon Musinovich. "Parallel Solving Tasks of Digital Image Processing". International Journal on Recent and Innovation Trends in Computing and Communication, vol. 4, no. 6, June 2016, pp. 335-9, doi:10.17762/ijritcc.v4i6.2318.

3. Mekhriddin Rakhimov, Ravshanjon Akhmadjonov, Shahzod Javliev, "Artificial Intelligence in Medicine for Chronic Disease Classification Using Machine Learning", 2022 IEEE 16th International Conference on Application of Information and Communication Technologies (AICT), 2022, pp. 1-6, DOI: 10.1109/AICT55583.2022.10013587.

4. M. Rakhimov, J. Elov, U. Khamdamov, S. Aminov and S. Javliev, "Parallel Implementation of Real-Time Object Detection using OpenMP," 2021 International Conference on Information Science and Communications Technologies (ICISCT), 2021, pp. 1-4, doi: 10.1109/ICISCT52966.2021.9670146.

5. M. Musaev and M. Rakhimov, "Accelerated Training for Convolutional Neural Networks," 2020 International Conference on Information Science and Communications Technologies (ICISCT), Tashkent, Uzbekistan, 2020, pp. 1-5, doi: 10.1109/ICISCT50599.2020.9351371.