CC BY
72INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
MATNLI MA'LUMOTLARNI QAYTA ISHLASH VA TASNIFLASH MODELLARI
TAHLILI
B.LOtaxonova1, R.I. Sattarov2, B.SH.Abdushukurov3, O.O.Olimjonov4
1Muhammad al-Xorazmiy nomadigi TATU, ATDT kafedrasi dotsenti, 2'3Muhammad al-Xorazmiy nomidagi TATU magistranti, 4Muhammad al-Xorazmiy nomadigi TATU talabasi
https://doi.org/10.5281/zenodo.7856166
Abstract. Today, there are many text data processing and classification models available, and the demandfor advanced deep learning methods is increasing. This work presents an analysis of CNN, RNN, and Transformer models based on neural networks for text data processing and classification, which are popular models of natural language processing (NLP) technologies.
Keywords: CNN, RNN, Transformer, NLP, artificial intelligence, deep learning
Tabiiy tilni qayta ishlash (NLP) kompyuter vositalari yordamida katta hajmdagi ma'lumotlarni o'qish, tushunish va tahlil qilish usulidir. Hozirgi kundagi katta hajmdagi axborotlarni inson omili yordamida o'qib chiqish va uni tahlil qilish juda murakkab vazifa va juda katta vaqt masalasidir. Tabiiy tilni qayta ishlash va katta hajmdagi matnlarni kompyuter vositalari yordamida tahlil qilish bu muammoni yechish uchun juda yaxshi yechim hisoblanadi. U katta hajmdagi tabiiy til ma'lumotlarini qayta ishlovachi va tahlil qilish bilan shug'ullanuvchi tilshunoslik, informatika va sun'iy intellektning fanlararo sohasidir. Kompyuter tizimlarini turli vazifalarni bajarish uchun tabiiy tillarni tushunish va tahlil qilish imkonni beradigan vositalar va usullarni ishlab chiqishni amalga oshiradi. Tabiiy tilni qayta ishlashdagi qiyinchiliklar ko'pincha nutqni aniqlash, tabiiy tilni tushunish va tabiiy tilni yaratishni o'z ichiga oladi [1, 6].
Tabiiy tilni qayta ishlashda chuqur o'qitishga asoslanga neyron tarmoqlari sun'iy intellekt usuli bo'lib, u ma'lumotlarni qayta ishlashga mo'ljallangan. Ushbu ishda neyron tarmoqlarining quyidagi modellarini tahlili keltirilgan [2, 7].
Transformer neyron tarmoqining asosiy maqsadi, matnni boshqa matnga o'girish va matnni tahlil qilishni avtomatlashtirishdir. Bu algoritma, 2017 yilida Google tomonidan tanlagan va matn ma'lumotlarini o'rgatishning muhim yo'nalishlaridan biri hispblanadi.
Transformer neyron tarmoqi, RNN va CNN kabi klassik neyron tarmoqlaridan farqli ravishda, paralel ishlaydigan vaqt qadami (time-step) ishlatmaydi. Uning asosiy tuzilishi, matnni bir nechta qadamda (layers) tahlil qilish va aloqalarini aniqlash uchun bir nechta self-attention mehanizmlarini (o'ziga aloqa mehanizmlari) ishlatishga asoslangan. Bu self-attention mehanizmi, har bir so'zni boshqalariga qaraganda o'ziga ko'ra so'zni qanday aloqada ekanligini aniqlashni amalga oshiradi. Bunda matndagi har bir so'zning o'zining kontekstida bo'lishi va barcha so'zlarning aloqalarini hisobga olgan xolatda, eng muhim ma'lumotlarni aniqlash uchun foydalaniladi [3, 8].
RNN (Recurrent Neural Network) - bu klassik neyron tarmoqi, matnni kronologik tartibda yoki boshqa tartibda, bir-biriga bog'liq bo'lgan o'zaro aloqa tizimi orqali tahlil qilish uchun ishlatiladi. Bunda, har bir vaqt qadami (time-step) uchun o'z aloqasi mavjud bo'ladi va bu aloqalar, bir-biriga bog'liq bo'lgan ma'lumotlar bilan birlashtiriladi. Bunda aloqalar, har bir qadamdan (layer) keyingi qadamlarga (layers) uzatiladi va bunday tarmoq RNN-ni o'qitish imkonini beradi. Bunga sabab, RNN-da aloqalar o'z-o'zidan o'rnatilgan o'zaro aloqa mekanizmini yoki "memory"ni (xotira) saqlaydi. Bunday aloqa mekanizmi, avvalgi vaqt qadami (time-steps) bo'ylab
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
tahlil qilingan ma'lumotlar bilan joriy vaqt qadami ma'lumotlar o'rtasidagi aloqalarni aniqlash uchun qo'llaniladi.
RNN, matnni tahlil qilishda ko'p qo'llaniladigan algoritmalardan biridir, masalan, so'z qatorlarini tahlil qilish, tarjima qilish, ma'lumotlar tahlil qilish va boshqa amaliyotlar uchun ham qo'llaniladi. Lekin RNN-da matn uzunligi ortib borishi oqibatida, ma'lumotlar uzun muddatli aloqalarni eslab qolishi mumkinligi sababli, bu jarayon ma'lumotlarda keng tarqalgan "vanishing gradient" muammolari paydo bo'ladi. Shuningdek, RNN-da o'zaro aloqalar, yolg'iz matnli ma'lumotlariga bog'liq bo'lgan bu muammolarni yechish imkoniyati kamayib boradi. Bundan tashqari, RNN, matnni tahlil qilish uchun vaqtni zarur bo'lishi mumkinligi sababli, katta matnli ma'lumotlarini tahlil qilish uchun imkoniyati yuqori kompyuterlar talab qiladi [4, 9].
CNN (Convolutional Neural Network) - bu ma'lumotlar tahlilini amalga oshiruvchi neyron tarmog'i hisoblanadi. Matnlar, tasvirli ma'lumotlar, audio va boshqa ma'lumotlarni tahlil qilishda foydalaniladi. CNN, ma'lumotlarni tahlil qilishda "convolution" operatsiyasidan foydalanadi. Bu operatsiya orqali, ma'lumotlarda belgilangan "feature"larni aniqlash uchun ma'lumotlar ustida "sliding window" (o'tkazib yuruvchi oyna) ishlatiladi. "Sliding window" ma'lumotlarda belgilangan qatnashchilarning (filters) har biri orqali qatnashuvchi elementlar (weights) aniqlanadi. Shuningdek yuqori darajadagi qatlarda, ma'lumotlarni tahlil qilish uchun qo'llanadigan qatorlar bor. Ushbu qatorlarda, har bir qatnashuvchining aniqlangan elementlari yuzaga keltiriladi va boshqa qatnashuvchilar bilan hamkorlik qilinadi [5, 10].
Yuqoridagi neyron tarmoq modellarini o'zbek tilidagi matnli ma'lumotlar bazasidan foydalanib tahlil qilish natijasida quyidagi solishtirma jadvaldagi natijalar olindi.
1-jadval
Solishtirma tahlil natijalar jadvali
Texnologiya nomi Afzalliklari Kamchiliklari Samara-dorlik ko'rsat-kichi
(RNN)- Takrorlanuvchi neyron tarmoq Yozuvlar (vaqt) qadamini modellashtirishi mumkin; O'zgaruvchan uzunlikdagi ma'lumotlarni kiritishni qayta ishlash imkoniyati mavjud; Vaqtinchalik bog'liqliklarni modellashtirish imkoniyati mavjud; Yo'qolgan ma'lumotlarni tiklash imkoniyati mavjud. Uzoq muddatli qaramlik muammosi mavjud Ketma-ket hisoblash parallellashtirishga to'sqinlik qiladi Uzoq va qisqa masofaga bog'liqliklarning modellanishi mavjud emas Pozitsiyalar orasidagi "masofa" chiziqli keltirilgan 89,5%
(CNN)Konvolyutsio n neyron tarmoqlari Tasvirni aniqlash va tasniflashda aniq natija olish imkoniyati mavjud; Og'irlikni aniq taqsimlash imkoniyatini beradi. CNN samarali bo'lishi uchun juda ko'p o'quv ma'lumotlari zarur bo'ladi; ob'ektlarning joylashuvi va yo'nalishini kodlash imkoniyati mavjud emas. 78,68 -86,50%
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
Transformer Transformer bir-biridan uzoqda joylashgan ketma-ket elementlar o'rtasidagi munosabatni tushunish imkoniyatiga ega; Natijani aniqlik darajasi yuqori; Ketma-ketlikdagi barcha elementlarga bir xil ishlov beradi; Transformer qisqa vaqt ichida ko'proq ma'lumotlarni qayta ishlashlari va o'qitishimkoniyati mavjud. Transformerlarning e'tiborini nazorat qilish imkoniyati murakkab; Matn tizimga kiritilishidan oldin ma'lum miqdordagi segmentlar yoki bo'laklarga bo'linishi kerak; Matnning bo'linishi kontekstning parchalanishiga olib keladi. 93-99%
Xulosa qilib aytadigan bo'lsak CNN va RN N modellarida mavjud kamc hiliklarni
transformer modeli yordamida bartaraf etish mumkin. Transformer ma'lumotlarni tahlil qilishda yuqori natijalarni olish uchun qo'llaniladigan bir nechta qadamni (layer) yordamida ishlaydi. Bunda har bir qadam o'z o'zida, bitta self-attention mehanizmini va bitta muzlatilgan (feedforward) tarmog'ini o'z ichiga oladi. Shu bilan birga har qadamdan keyin, ma'lumotlar ortib boradi va qadam soni ortiqcha ma'lumotlar qancha o'rganganligini ko'rsatadi. Yuqorida keltirilgan jadvalda matnlarni qayta ishlash tezligini va samarasini oshirish uchun transformer modelidan foydalanish har tomonlama yuqori natija berayotganini ko'rishimiz mumkin.
REFERENCES
1. P. Liu, X. Qiu, and X. Huang, "Recurrent neural network for text classification with multi-tasklearning," arXiv preprint arXiv:1605.05101, 2016.
2. Sh.Minaee, N.Kalchbrenner, E.Cambria, N.Nikzad, M.Chenaghlu, J.Gao, "Deep Learning Based Text Classification: A Comprehensive Review" arXiv:2004.03705v3 [cs.CL] 4 Jan 2021.
3. Recurrent Neural Networks with Python Quick Start Guide. Sequential learning and language modeling with TensorFlow. Simeon Kostadinov. 2018
4. Neural Network Methods in Natural Language Processing. Yoav Goldberg, Graeme Hirst. 2017
5. Natural Language Processing with Transformers - by Lewis Tunstall, Leandro von Werra, Thomas Wolf. 2022
6. https://builtin.com/artificial-intelligence/transformer-neural-network
7. https://en.wikipedia.org/wiki/Convolutional_neural_network
8. https://ec.europa.eu/eip/agriculture/en/about/thematic-networks-%E2%80%93-closing-research-and
9. https://www.tandfonline.com/doi/abs/10.1080/13645579.2011.625764
10. https://www.quora.com/Which-are-the-weaknesses-of-transformers-in-deep-learning
