CC BY
84INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
BIG DATA TEXNOLOGIYASINING FUNKSIYALARI VA VAZIFALARI Maxmudova Guljaxon Nematdjonovna1, Gulomova Nigora Farxod qizi2
1i.f.d., dots. O'zMU Iqtisodiyot nazariyasi kafedrasi professori v.b.
2PhD, Muhammad al-Xorazmiy nomidagi Toshkent axborot texnologiyalari universiteti "Menejment va marketing" kafedrasi dosenti v.b. https://doi.org/10.5281/zenodo.7856381
Abstract. This article discusses the content, scope, models, methods, advantages and challenges of big data and highlights the functions and tasks of big data covering its specific characteristics.
Keywords: Big Data, Big Data analysis, 3V rule, Data mining, Machine learning, big data in marketing
Raqamli iqtisodiyotni jadal rivojlantirishda raqamli texnologiyalar muhim ahamiyat kasb etadi[1]. Ayniqsa, COVID-19 pandemiyasi raqamli texnologiyalarni qo'llash amaliyotini jadallashtirdi [2]. Raqamli iqtisodiyotni rag'batlantirish uchun unga to'sqinlik qiluvchi omillarni bartaraf etish zarur[3]. Bu esa iqtisodiyotning tarmoq va sohalarida katta hajmli ma'lumotlar, bulutli texnologiyalar kabilarni qo'llash ko'lamini oshirishni taqozo etadi.
Katta hajmli ma'lumotlar (Big Data) katta hajmdagi va xilma-xil tartiblangan va tartiblanmagan ma'lumotlar, shuningdek ularni qayta ishlash usullari bo'lib, ular ma'lumotlarni taqsimlangan usulda tahlil qilishga imkon beradi[4].
Big Data atamasi 2008 yilda paydo bo'lgan. Birinchi marta u "Nature" jurnalining muharriri - Clifford Linch tomonidan qo'llanilgan. U jahon ma'lumotlari hajmining keskin o'sishi haqida gapirib, yangi vositalar va ilg'or texnologiyalar ularni o'zlashtirishga yordam berishini ta'kidlagan.
Oddiy qilib aytganda, katta hajmli ma'lumotlar katta ma'lumotlar to'plamlari va ularni qayta ishlash usullari uchun umumiy nomdir. Ushbu ma'lumotlarga 2000-yillarning oxirida an'anaviy ma'lumotlar bazalari va Business Intelligence yechimlariga muqobil sifatida paydo bo'lgan kengaytirilgan dasturiy vositalar yordamida samarali ishlov beriladi.
Katta hajmli ma'lumotni tahlil qilish yangi, ilgari noma'lum bo'lgan axborotlarni olish uchun o'tkaziladi. Bunday kashfiyotlar insayt deb atalib, to'satdan tushunishni anglatadi. Big Data tahlillari an'anaviyga qaraganda samaralidir.
1-jadval
Yondashuvlarning farqlanishi
An'anaviy tahlil Big Data tahlillari
Kichik ma'lumotlar paketlarini bosqichma-bosqich tahlil qilish Bir vaqtning o'zida mavjud bo'lgan ma'lumotlarning butun massivini qayta ishlash
Ma'lumotlarni qayta ishlashdan oldin ma'lumotlarni tahrirlash va saralash Ma'lumotlar asl shaklida qayta ishlanadi
Gipotezadan boshlanib, uni ma'lumotlarga nisbatan sinab ko'rish Kerakli ma'lumot olinguncha barcha ma'lumotlar orasidagi o'zaro korrelyasion bog'liqlik qidiriladi
Ma'lumotlar yig'iladi, qayta ishlanadi, saqlanadi va shundan keyingina tahlil qilinadi Ma'lumotlarni real vaqt rejimida kelib tushishi bilan qayta ishlash mumkin bo'ladi
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
Katta hajmli ma'lumotlar amaliyotda qator funksiya va vazifalarni bajaradi.
Big Data haqida gapirganda, 3V (VVV) qoidasini esga olish o'rinli - katta hajmli ma'lumotlar ega bo'lishi kerak bo'lgan uchta belgi yoki xususiyatlar: [5]
1. Volume (Hajm) - hajm (ma'lumotlar hujjatlaming fizik hajmi bilan o'lchanadi).
2. Velocity (Tezlik) - ma'lumotlar doimiy ravishda yangilanadi, bu esa doimiy ishlov berishni talab qiladi.
3. Variety (Xilma-xillik) - xilma xil ma'lumotlar turli xil formatlarga ega bo'lishi mumkin, tizimlangan yoki tizimlanmagan bo'ladi.
Big Data faqatgina tadqiqot ob'yekti emas, shuningdek, qayta ishlash texnologiyalarini ham anglatadi.
Big data o'z mohiyatidan kelib chiqqan holda bir qator funktsiya va vazifalarni bajaradi.(2-
jadval)
2-jadval
Big Dataning funksiyalari va vazifalari
Funksiyalari Vazifalari
Big Data - qayta ishlanmagan ma'lumotlar to'plami Doimiy ravishda yangilanib turadigan katta hajmdagi ma'lumotlarni saqlash va boshqarish
Data mining - ma'lumotlarni qayta ishlash va tizimlashtirish jarayoni, qoniniyatlarni aniqlash uchun tahlil bosqichi Umumiy mahrajga kelish uchun turli xil ma'lumotlarning tizimlashtirish, yashirin va noaniq bog'liqliklarni qidirish
Machine learning - tahlil jarayonida aniqlangan bog'liqlik asosida mashinali o'qish jarayoni Qayta ishlangan va tizimlashtirilgan ma'lumotlarga asoslanib tahlil qilish va prognozlash
2007 yilda mashinali o'qishning yangi turi - "Deep learning" (chuqurlashtirilgan o'qish) ommalashib ketdi. Bu neyron tarmoqlarini cheklangan sun'iy ong darajasiga ko'tarish imkonini berdi. An'anaviy mashinali o'qish jarayonida kompyuter dasturchilarning misollari orqali tajribani o'rgangan bo'lsa, "Deep Learning"da tizim o'zi ko'p bosqichli hisob -kitoblarni yaratadi va xulosalar chiqaradi.
Katta hajmli ma'lumot manbalariga quyidagilar kiradi:
> Internet - ijtimoiy tarmoqlar, bloglar, OAV, forumlar, saytlar, buyumlar Interneti
(IoT).
> Korporativ ma'lumotlar - tranzaktsion biznes ma'lumotlar, arxivlar, ma'lumotlar bazalari.
> Qurilmalardan o'qishlar - datchiklar, asboblar, shuningdek, meteorologik ma'lumotlar, uyali aloqa ma'lumotlari va boshqalar.
Shu bilan birga, katta hajmli ma'lumotlarning yangi, ilgari mavjud bo'lmagan ma'lumotlarni birlashtiradigan va takrorlanuvchilarini chiqarib tashlaydigan alohida turlari mavjud.
To'g'ri ishlashi uchun katta hajmli ma'lumotlar tizimi muayyan printsiplarga asoslanishi
kerak:
> Gorizontal kengaytirilishi - katta ma'lumotlarni qayta ishlaydigan har qanday tizim kengaytirilishi kerak. Agar ma'lumotlar hajmi ikki baravar ko'paysa, unda klasterdagi serverlar soni ham ikki baravar ko'paytirilishi kerak.
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
> Kamchiliklarga bardoshlilik - bu muqarrar ravishda ishdan chiqadigan ko'plab mashinalarning majburiy shartidir.
> Ma'lumotlar joylashuvi - xarajatlarni kamaytirish uchun ma'lumotlar saqlanadigan serverning o'zida qayta ishlanishi kerak.
Katta hajmli ma'lumotlar moliya va tibbiyot sohalarida, yuqori texnologiyali va Internet kompaniyalarida, shuningdek, davlat sektorida faol qo'llaniladi.
Katta hajmli ma'lumotlar bilan shug'ullanadiganlarni shartli ravishda bir necha guruhga bo'lish mumkin:
> Infratuzilma ta'minotchilari - ular ma'lumotlarni saqlash va qayta ishlash muammolarini hal qilishadi. Masalan: IBM, Microsoft, Oracle, Sap va boshqalar.
> Ma'lumot tarqatuvchilar (Datamaynerlar) mijozlarga qimmatli ma'lumotlarni olishga yordam beradigan algoritm ishlab chiquvchilardir. Ular orasida: Yandex Data Factory, "Algomost", Glowbyte Consulting, CleverData va boshqalar bor.
> Tizim integratorlari - mijoz tomonidan katta hajmli ma'lumotlarni tahlil qilish tizimlarini amalga oshiradigan kompaniyalar. Masalan: "Force", "Croc" va boshqalar.
> Iste'molchilar - dasturiy va apparat qurilmalarini sotib oladigan va maslahatchilarga algoritmlarni buyurtma qiladigan kompaniyalar. Bularga Rossiyada Sberbank, Gazprom, MTS, Megafon va boshqa moliya, telekommunikatsiya sohalardagi kompaniyalar kiradi.
> Tayyor xizmatlarni ishlab chiquvchilar - katta hajmli ma'lumotlarga kirish asosida tayyor yechimlarni taklif qilishadi. Ular keng foydalanuvchilar uchun Big Data imkoniyatlarini ochib beradi.
Yirik ma'lumotlarning asosiy yetkazib beruvchilari qidiruv tizimlari hisoblanadi. Ular juda katta miqdordagi ma'lumotlarga kirish imkoniyatiga va qo'shimcha ravishda yangi xizmatlarni yaratish uchun yetarli texnologik bazaga ega.
2012 yilda kompaniya Google paytdan boshlab, real vaqt rejimida Big Datani tahlil qilish uchun BigQuery bulutli xizmatni ishga tushirgan. Bir yil o'tgach, u hisoblagichning pulli versiyasi bo'lgan Google Analytics Premiumga qo'shildi. Keyinroq, Google kengaytiriladi gan, bulutga asoslangan ma'lumotlar bazasi xizmati - Cloud Bigtable dasturini taqdim etdi.
Yandeks
Kompaniyaning aksariyat xizmatlari katta hajmli ma'lumotlarni tahlil qilishga asoslangan. Jumladan, "Paleks" neyron tarmoqlariga asoslangan qidiruv algoritmi, mashinali tarjima qilish, spam-filtrlash, kontekstli reklama maqsadlarida targeting, tirbandlik va ob-havoni prognoz qilish, nutq va tasvirni aniqlash, haydovchisiz avtomashinani boshqarish kabilarni misol keltirish mumkin.
Bir muncha vaqt davomida Yandexda alohida kompaniyalar - Yandex Data Factory mavjud bo'lib, u yirik kompaniyalarga konsalting xizmatlarini ko'rsatgan. Ammo keyinchalik ushbu tuzilma qidiruv bo'limi tarkibiga kiritildi.
Mail.Ru group
"Mail.ru Reyting" veb-tahlil tizimi kata hajmli ma'lumotlarni qayta ishlash texnologiyalaridan foydalangan birinchi loyihadir. Endilikda Big Data kompaniyaning deyarli
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
barcha xizmatlarida qo'llaniladi - Target.Mail.ru, "Mail.ru" pochta, "Odnoklassniki", "Moy Mir", "Mail.ru" qidiruv tizimi va boshqalar.
Katta hajmli ma'lumotlar tahlilidan foydalanib, Mail.ru reklamalarni targetlaydi, qidiruvlarni optimallashtiradi, texnik yordamni tezlashtiradi, spamni filtrlaydi, foydalanuvchi xatti-harakatlarini o'rganadi va hokazo. Rambler
Dastlab, media-xolding katta hajmli ma'lumotlarni faqat qidirish uchun ishlatgan bo'lsa, keyinchalik kompaniyada datamayning yo'nalishi paydo bo'ldi. Rambler tarkibni shaxsiylashtirish, botlar va spamlarni blokirovka qilish va tabiiy tilni qayta ishlash uchun Big data texnologiyalaridan foydalanadi.
Biznesda Big Data texnologiyasidan foydalanishning afzalliklari [6]
> Rejalashtirish soddalashtiriladi;
> Yangi loyihalarni ishga tushirish tezligi ortadi;
> Loyihaning talabgirligi ortadi;
> Foydalanuvchilarning qoniqish darajasini baholash imkoniyati paydo bo'ladi;
> Maqsadli auditoriyangizni topish va jalb qilish osonroq;
> Mijozlar va pudratchilar bilan o'zaro munosabatlar tezlashadi;
> Ta'minot zanjiridagi integratsiyalar optimallashadi;
> Mijozlarga xizmat ko'rsatish sifati va o'zaro ta'sir tezligi oshib boradi;
> Joriy mijozlarning sodiqligi ortib boradi.
Hozirda MDHda katta hajmli ma'lumot texnologiyalariga qiziqish o'sib bormoqda, ammo Big Data ham drayverlariga, ham cheklovlarga ega.
3-jadval
Drayverlar Cheklovlar
Texnologiyalar imkoniyatidan foydalanib, raqobatbardoshlikni oshirish uchun Big Dataga bo'lgan yuqori talab Ma'lumot xavfsizligi va maxfiyligini ta'minlash zarurati
Jahon miqyosida mediyafayllarga ishlov berish usullarini rivojlanishi Malakali kadrlarning yetishmasligi
Import o'rnini qoplovchi dasturiy ta'minot bo'yicha tarmoq rejasini amalga oshirish Aksariyat kompaniyalarda to'plangan axborot resurslari hajmi Big Data darajasiga yetib bormasligi
Milliy provayderlar va tizim integratorlarining xizmatlaridan foydalanishdagi trendlar Yangi texnologiyalarni kompaniyaning o'rnatilgan axborot tizimlarida joriy etish qiyinligi
Axborot texnologiyalarini rivojlantirishga yordam beradigan texnoparklarni yaratish Texnologiyalarning yuqori narxi
Tarmoq tizimlarini joriy etish bo'yicha davlat dasturi - klasterlar bo'ylab tarqatiladigan va tarmoq bilan bog'langan virtual superkompyuterlar Milliy iqtisodiyotdagi investitsiya loyihalarini muzlatish va chet el kapitalining chiqib ketishi
Shaxsiy ma'lumotlarni qayta ishlaydigan serverlarni mamlakat hududiga ko'chirish Import qilingan mahsulotlar narxining ko'tarilishi
Marketingda katta hajmli ma'lumotlardan foydalanish kompaniya haqidagi ma'lumotlar to'plamini tahlil qilishda yangi imkoniyatlarni ochib beradi:
> Biznes qanday qilib raqamlarda ishlashini tushunish;
355
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 2T-28, 2G23
> Raqobatchilarni o'rganish;
> O'z mijozlarini tanib olish.
Umuman olganda, marketingda xarajatlarni kamaytirib, sotish hajmini ko'paytiradigan tahlilning yangi darajasiga erishishi mumkin.
Marketingda texnologiyadan foydalanishning afzalliklari:
> Maqsadli iste'molchilarning aniq portretlarini yaratish;
> Marketing xabarlariga iste'molchining munosabatini oldindan aytib berish;
> Reklama xabarlarini maksimal darajada shaxsiylashtirish;
> Kross-sotish, takroriy sotuv, qayta sotishni oshirish;
> Ommalashgan tovarlar va mahsulotlarning mashhurligi sabablarini izlash va aniqlash;
> Mahsulotlar va xizmatlarni takomillashtirish, mijozlarning sodiqligini oshirish;
> Xizmat ko'rsatish sifatini oshirish;
> Firibgarlikning oldini olish;
> Ta'minlovchilar va mij ozlar bilan ishlashda xarajatlarni kamaytirish.
Katta hajmli ma'lumotlar texnologiyalarining maxsus xizmatlari tufayli Big Data marketingning har qanday bo'limida, shu jumladan o'rta va kichik biznesda ishlatilishi mumkin. Mazkur texnologiya qimmatbaho jihozlarni o'rnatish va texnik xizmat ko'rsatish mutaxassislariga ehtiyoj qoldirmaydi.
Big Data texnologiyalari odatiy holga aylanib ulgurdi - ko'plab kompaniyalar ularni avtomatlashtirish va CRM bilan bir qatorda o'zlarining biznes muammolarini hal qilishda ishlatmoqdalar. Katta hajmli ma'lumotlarning kelajagi - blokcheyn texnologiyalaridan foydalanish, sun'iy intellektni keng joriy etish, mustaqil ishlash uchun bulutli xizmatlarga va platformalarga jadal o'tish, shuningdek, Dark Data-ni tahlil qilish - kompaniya haqidagi barcha raqamli bo'lmagan ma'lumotlarni raqamlashtirishda ko'rinadi [7].
REFERENCES
1. Махмудова Г.Н., Ашуров З. А., Гуломова Н.Ф. Факторы и проблемы цифровой трансформации в условиях усиления конкурентоспособности национальной экономики Узбекистана//Управление устойчивым развитием экономических систем в цифровую эпоху / под. ред. д-ра экон. наук, проф. А.В.Бабкина. - СПб.: ПОЛИТЕХ-ПРЕСС, 2022. - C. 49-77.
2. Махмудова Г.Н., Разакова Б.С Практическое значение цифровой платформы единого портала интерактивных государственных услуг // Индустрия 5.0, цифровая экономика и интеллектуальные экосистемы (ЭК0ПР0М-2021) Сборник трудов научно-практической конференции зарубежным участием 18-20 ноября 2021 года. г.Санкт Петербург С. 169-172
3. Makhmudova G. N., Ashurov Z. A., Razakova B. S. Development of digital ecosystem and formation of digital platforms in Uzbekistan //n-Economy. - 2022. - Т. 15. - №. 2.
4. Preimesberger, Chris Hadoop, Yahoo, 'Big Data' Brighten BI Future (англ.). EWeek
5. Doug Laney. 3D Data Management: Controlling Data Volume, Velocity, and Variety (ing.). Meta Group, 2001
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
6. Гуломова Н.Ф. Предпосылки развития цифровизации в области экономических отношений в странах ЕАЭС - Цифровая трансформация экономических систем: теория и практика, 2022 - C.34-57
7. Maxmudova G.N. Raqamli iqtisodiyot. Darslik. -Т.: "Universitet", 2022. 380 bet.
