CC BY
15SCIENTIFIC PROGRESS VOLUME 4 I ISSUE 5 I 2023 _ISSN: 2181-1601
Scientific Journal Impact Factor (SJIF 2022=5.016) Passport: http://sjifactor.com/passport.php?id=22257
BIR KOMPYUTERDA KATTA MALUMOTLAR BILAN ISHLASH
Guljahon Ulug'bek qizi Abdurasulova
Farg'ona davlat universiteti talabasi
ANNOTATSIYA
Maqolada katta ma'lumotlar va ularning inson hayotidagi tutgan o'rni, bugungi rivojlanib borayotgan raqamli iqtisodiyot va axborot taxnologiyalari ma'lumotlar bazasi orqali taraqqiy etishi, bu sohadagi tub islohotlar, fanga bo'lgan ehtiyoj hamda fanning kelajak hayotimizda tutgan o'rni haqida batafsil yoritilgan.
Kalit so'zlar: Katta ma'lumotlar, ma'lumotlar bazasi, baza.
1.Kirish
Hozirgi kunda xar xil turdagi ma'lumotlar oqimi ko'paygani sababli katta hajmdagi ma'lumotlar paydo bo'la boshlamoqda. Ushbu ma'lumotlarni qayta ishlash, tahlil qilish va oldindan bashorat qilish qiyin hisoblanadi. Maqolada katta hajmdagi malumotlarini qayta ishlash uchun qulay bo'lgan vositalar va texnologiyalar keltirilgan: Apache Hadoop, Atlas.ti, HPCC, Storm, Qubole Data, Apache Cassandra, Stats iQ by Qualtrics, CouchDB, Pentaho, Apache Flink, Cloudera, Open Refine, RapidMiner, DataCleaner, Kanggle, Hive.
2.Adabiyotlar sharhi.
Ushbu tadqiqot mavzusi doirasida juda ham ko'plab hozirgi kunda ushbu yo'nalishda mutaxassislar samarali izlanishlar olib borishmoqda. Jumladan, A. Kemper, M. Wallrath o'zining "An Analysis of Geometric Modeling in Database Systems" kitobida aloxida to'xtalib o'tgan. Ali K. Kamrani, Emad Abouel Nasr, Ian Stroud, M. M. M. Sarcar, K. Mallikarjuna Rao, K. Lalit Narayan mavzuga doir amalga oshirilgan samarali ishlar o'rganildi.
3. Tadqiqot metodologiyasi.
Mazkur tadqiqotni yoritishda dasturchilar va mutaxassis olimlarlarning mavzuga doir amalga oshirilgan samarali ishlar o'rganildi, yaratgan o'quv adabiyotlari tizimli o'rganilgan. Ularning xulosa va fikrlari qiyosiy tahlil etilib, ma'lumotlarni qayta ishlandi.
4. Tahlil va natijalar.
Katta ma'lumotlar ( inglizcha big data , [ 'big 'deits ]) - bu 2000- yillarning oxirida paydo bo'lgan va an'anaviy ma'lumotlar bazasini boshqarish tizimlariga muqobil bo'lgan gorizontal ravishda kengaytiriladigan dasturiy vositalar tomonidan samarali qayta ishlanadigan katta hajmli va sezilarli xilma- xillikdagi tuzilgan va tuzilmagan ma'lumotlarning belgisi.
SCIENTIFIC PROGRESS VOLUME 4 I ISSUE 5 I 2023 _ISSN: 2181-1601
Scientific Journal Impact Factor (SJIF 2022=5.016) Passport: http://sjifactor.com/passport.php?id=22257
"Katta ma'lumotlar" faqat katta hajmdagi ma'lumotlarni tahlil qilishni o'z ichiga olmaydi. Muammo tashkilotlarning katta hajmdagi ma'lumotni yaratishda emas, balki ularning ko'p qismi veb -bloglar, videolar, matnli hujjatlar, mashina kodlari kabi an'anaviy tuzilgan ma'lumotlar bazasi formatiga mos kelmaydigan formatda taqdim etilishida. , geografik ma'lumotlar. ... Bularning barchasi turli xil omborlarda, ba'zida hatto tashkilot tashqarisida saqlanadi. Natijada, korporatsiyalar o'z ma'lumotlarining katta miqdoriga ega bo'lishlari mumkin va bo'lmasligi mumkin zarur vositalar bu ma'lumotlar o'rtasida munosabatlar o'rnatish va ulardan mazmunli xulosalar chiqarish. Bunga ma'lumotlarning tez -tez yangilanib borayotganini qo'shing va siz ma'lumotni tahlil qilishning an'anaviy usullari katta hajmdagi doimiy yangilanib tura olmaydigan vaziyatga duch kelasiz, natijada texnologiyaga yo'l ochiladi.
Aslida, kontseptsiya katta ma'lumotlar ishning samaradorligini oshirish, yangi mahsulotlarni yaratish va raqobatbardoshligini oshirish maqsadida juda tez -tez yangilanadigan va turli manbalarda joylashgan katta hajmli va har xil tarkibli ma'lumotlar bilan ishlashni anglatadi.
Katta ma'lumotlar qabul qilinadigan va o'zgaruvchan ma'lumotlarni qayta ishlashga mo'ljallangan, bu chuqur o'rganish va interaktivlikni anglatadi. Ba'zi hollarda natijalar veb -sahifa yuklanishiga qaraganda tezroq hosil bo'ladi.
Katta ma'lumotlar tuzilmagan ma'lumotlarni qayta ishlashga mo'ljallangan bo'lib, biz ularni yig'ish va saqlash imkoniyatiga ega bo'lganimizdan keyingina o'rganishni boshlaymiz va bizga algoritmlar va ushbu massivlar tarkibidagi tendentsiyalarni qidirishni osonlashtirish uchun muloqot qilish qobiliyati kerak.
Ma'lumotlar to'plamini tahlil qilishning turli xil usullari mavjud bo'lib, ular statistikadan va informatikadan olingan asboblarga asoslangan (masalan, mashinasozlik). Shu bilan birga, tadqiqotchilar yangi texnika yaratish va mavjudlarini takomillashtirish ustida ishlashda davom etishini tushunish kerak. Bundan tashqari, yuqorida sanab o'tilgan usullarning ba'zilari faqat katta ma'lumotlarga taalluqli emas va ularni kichikroq massivlar uchun muvaffaqiyatli ishlatish mumkin. Albatta, massiv qanchalik katta va xilma -xil tahlil qilinsa, chiqishda shunchalik aniq va tegishli ma'lumotlarni olish mumkin.
Tasniflash... Muayyan bozor segmentida iste'molchilarning xatti -harakatlarini bashorat qilish imkonini beradigan texnikalar to'plami (sotib olish, chiqib ketish, iste'mol qilish va boshqalar to'g'risida qaror qabul qilish). Yilda ishlatilgan ma'lumotlarni qazib olish.
Klasterlar tahlili... Oldin noma'lum bo'lgan umumiy xususiyatlarni aniqlash orqali ob'ektlarni guruhlarga ajratishning statistik usuli. Yilda ishlatilgan ma'lumotlarni qazib olish.
Crowdsourcing... Ko'p sonli manbalardan ma'lumotlarni yig'ish metodologiyasi. Uzbekistan www.scientificprogress.uz Page 25
SCIENTIFIC PROGRESS VOLUME 4 I ISSUE 5 I 2023 _ISSN: 2181-1601
Scientific Journal Impact Factor (SJIF 2022=5.016) Passport: http://sjifactor.com/passport.php?id=222ff7
Ma'lumotlarni birlashtirish va ma'lumotlarni birlashtirish... Ijtimoiy tarmoqlar foydalanuvchilarining sharhlarini tahlil qilish va real vaqtda sotish natijalari bilan taqqoslash imkonini beradigan texnikalar to'plami.
Ma'lumotlarni qazib olish... Targ'ib qilinayotgan mahsulot yoki xizmatni eng yaxshi qabul qiladigan iste'molchilar toifalarini aniqlash, eng muvaffaqiyatli xodimlarning xususiyatlarini aniqlash va iste'molchilarning xulq -atvor modelini bashorat qilish imkonini beradigan usullar to'plami.
Ansamblni o'rganish... Bu usulda turli xil bashoratli modellardan foydalaniladi va shu bilan bashoratlar sifati yaxshilanadi.
Genetika algoritmlari... Ushbu texnikada mumkin bo'lgan echimlar "xromosomalar" shaklida taqdim etiladi, ular birlashishi va mutatsiyaga uchrashi mumkin. Tabiiy evolyutsiya jarayonida bo'lgani kabi, eng munosiblari ham omon qoladi.
Mashinani o'rganish... Informatika yo'nalishi (tarixan unga "sun'iy intellekt" nomi berilgan), u empirik ma'lumotlarni tahlil qilish asosida o'z-o'zini o'rganish algoritmlarini yaratishga qaratilgan.
Tabiiy tilni qayta ishlash (NLP). Informatika va tilshunoslikdan qarz olgan odamning tabiiy tilini tanib olish texnikasi.
Tarmoq tahlili... Tarmoqdagi tugunlar orasidagi aloqalarni tahlil qilish texnikasi. Ijtimoiy tarmoqlarda qo'llanilishi sizga individual foydalanuvchilar, kompaniyalar, jamoalar va boshqalar o'rtasidagi munosabatlarni tahlil qilishga imkon beradi.
Optimallashtirish... Bir yoki bir nechta ko'rsatkichlarni takomillashtirish uchun murakkab tizimlar va jarayonlarni qayta loyihalashning raqamli usullari to'plami. Strategik qarorlar qabul qilishda yordam beradi, masalan, bozorga chiqariladigan mahsulot turining tarkibi, investitsiya tahlilini o'tkazish va h.k.
Bashoratli modellashtirish... Voqealar rivojlanishi uchun oldindan taxmin qilingan ssenariyning matematik modelini yaratishga imkon beradigan usullar to'plami. Masalan, CRM tizimining ma'lumotlar bazasini abonentlarni provayderni o'zgartirishga majbur qiladigan mumkin bo'lgan sharoitlar uchun tahlil qilish.
Regressiya... Bog'liq o'zgaruvchining o'zgarishi va bir yoki bir nechta mustaqil o'zgarishi o'rtasidagi qonuniyatlarni aniqlash uchun statistik usullar to'plami. Ko'pincha bashorat qilish va bashorat qilish uchun ishlatiladi. Ma'lumotlarni qidirishda ishlatiladi.
Hissiy tahlil... Iste'molchilarning his -tuyg'ularini baholash usullari insonning tabiiy tilini tanib olish texnologiyalariga asoslangan. Ular sizga qiziqish mavzusiga tegishli xabarlarni (masalan, iste'molchi mahsuloti) umumiy axborot oqimidan ajratishga imkon beradi. Keyinchalik, hukmning qutbliligini (ijobiy yoki salbiy), hissiylik darajasini va boshqalarni baholang.
SCIENTIFIC PROGRESS VOLUME 4 I ISSUE 5 I 2023 _ISSN: 2181-1601
Scientific Journal Impact Factor (SJIF 2022=5.016) Passport: http://sjifactor.com/passport.php?id=222ff7
Signalni qayta ishlash... Shovqin fonida signalni tanib olish va uni keyingi tahlil qilish maqsadini ko'zlagan radiotexnikadan olingan texnikalar to'plami.
Kosmik tahlil... Qisman statistikadan olingan fazoviy ma'lumotlarni tahlil qilish usullari to'plami - er topologiyasi, geografik koordinatalar, ob'ektlar geometriyasi. Manba katta ma'lumotlar bunda geografik axborot tizimlari (GIS) tez -tez ishlatiladi.
Statistika... Ma'lumot yig'ish, tartibga solish va talqin qilish, shu jumladan so'rovnomalar tuzish va tajribalar o'tkazish fani. Statistik usullar ko'pincha ma'lum hodisalar o'rtasidagi munosabatlar to'g'risida baho berish uchun ishlatiladi.
Nazorat ostida o'qitish... Tahlil qilinayotgan ma'lumotlar to'plamidagi funktsional munosabatlarni aniqlashga imkon beradigan mashinasozlik texnologiyalariga asoslangan metodlar to'plami.
Simulyatsiya... Murakkab tizimlarning xatti -harakatlarini modellashtirish ko'pincha rejalashtirishda turli xil stsenariylarni bashorat qilish, bashorat qilish va ishlab chiqish uchun ishlatiladi.
Vaqt seriyasini tahlil qilish... Vaqt o'tishi bilan statistikadan va raqamli signallarni qayta ishlashdan olingan takrorlanadigan ma'lumotlar ketma -ketligini tahlil qilish usullari to'plami. Aniq maqsadlardan ba'zilari fond bozorini yoki bemorlarning kasallanishini kuzatishdir.
Nazorat qilinmagan o'rganish... Tahlil qilinayotgan ma'lumotlar majmuasida yashirin funktsional munosabatlarni ochib berishga imkon beradigan mashinasozlik texnologiyalariga asoslangan metodlar to'plami. Bilan ulushlar Klasterlar tahlili.
Vizualizatsiya... Sharhni osonlashtirish va natijalarni tushunishni osonlashtirish uchun katta ma'lumotlarni tahlil qilish natijalarini diagramma yoki animatsion tasvirlar ko'rinishida grafik tarzda taqdim etish usullari.
Katta ma'lumotlarni tahlil qilish natijalarining vizual taqdimoti ularni talqin qilishda muhim ahamiyatga ega. Hech kimga sir emaski, odamlarning idroki cheklangan va olimlar ma'lumotlarni tasvir, diagramma yoki animatsiya ko'rinishida taqdim etishning zamonaviy usullarini takomillashtirish bo'yicha izlanishlarini davom ettirmoqdalar.
Hozirgi vaqtda ma'lumotlarning hajmi keskin o'sib bormoqda. Bozor o'zgarishlariga tezda javob berish, raqobatdosh ustunliklarga ega bo'lish va ishlab chiqarish samaradorligini oshirish uchun juda katta hajmdagi ma'lumotlarni olish, qayta ishlash va tahlil qilish kerak. Bunday hajmdagi ma'lumotlar bilan ishlash uchun muhandislar barcha ma'lumotlarni tahlil qilish ustida ishlash vositalarini modernizatsiya qilishga majbur bo'lishdi.
Shunday qilib, 2000-yillarda BigData kontseptsiyasi shakllandi, bu faqat tor doiradagi mutaxassislar uchun qiziqarli edi. Endi bu so'zni axborot texnologiyalari sohasiga qiziqqan har bir kishi eshitadi. BigData texnologiyalari sizga katta hajmdagi
SCIENTIFIC PROGRESS VOLUME 4 I ISSUE 5 I 2023 _ISSN: 2181-1601
Scientific Journal Impact Factor (SJIF 2022=5.016) Passport: http://sjifactor.com/passport.php?id=222ff7
ma'lumotlarni qayta ishlash, ularni tizimlashtirish, tahlil qilish va inson miyasi ularni hech qachon sezmaydigan naqshlarni aniqlash imkonini beradi. Bu ma'lumotlardan foydalanish uchun mutlaqo yangi imkoniyatlarni ochadi. BigData kontseptsiyasi nafaqat ma'lumotlarning katta qatlamlarini anglatadi. Bular yuzlab gigabaytlik va hatto petabaytlik ma'lumotlardan iborat ulkan saqlangan va qayta ishlangan massivlardir. Ulardan foydali ma'lumotlarni qayta ishlash va olish mumkin bo'lgan ma'lumotlar. Xulosa qilib aytganda, BigData ma'lumot olish uchun axborotni qayta ishlash texnologiyalari to'plami sifatida belgilanishi mumkin.
Adabiyotlar
1. Kovalev, I., Nezhmetdinov, R., & Kvashnin, D. (2019). Big data analytics of the technological equipment based on Data Lake architecture. MATEC Web of Conferences. https://doi.org/10.1051/matecconf/201929800079
2. https://www.guru99.com/big-data-tools.html
3. Hussain, T., Sanga, A., & Mongia, S. (2019). Big Data Hadoop Tools and Technologies: A Review. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.3462554
4. Tojimamatov, I. N., Mamalatipov, O. M., & Karimova, N. A. (2022). SUN'IY NEYRON TARMOQLARINI O 'QITISH USULLARI. Oriental renaissance: Innovative, educational, natural and social sciences, 2(12), 191-203.
5. Nurmamatovich, T. I. (2021). RAQAMLI IQTISODIYOTNING GLOBALLASHUV JARAYONIDA IQTISOD TARMOQLARIDA QO'LLANILISHINING ASOSIY YO'NALISHLARI. Н34 Наука и инновации в XXI веке: Материалы Международной, 291.
6. Tuychievich, B. M., & Nurmamatovich, T. I. (2021). ЖАМИЯТДА РА^АМЛИ ЩТИСОДИЁТ. Н34 Наука и инновации в XXI веке: Материалы Международной, 189.
7. Kizi, A. Z. I., & Nurmamatovich, T. I. (2021). ZAMONAVIY DASTURLASH FANINI O'QITISHDA PYTHON DASTURLASH VOSITALARI YORDAMIDA AMALIY DASTURLAR YARATISHNING AHAMIYATI. Н34 Наука и инновации в XXI веке: Материалы Международной, 264.
8. Tojimamatov, I. N., Mamalatipov, O. M., & Karimova, N. A. (2022). SUN'IY NEYRON TARMOQLARINI O 'QITISH USULLARI.
