CC BY
7Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 2 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 2 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 2 | 2024 год
ICHKI TAQSIMLASH MEXANIZMIDA MA'LUMOTLAR OQIMLARINI BOSHQARISH
ALGORITMI
Rashidov Akbar Ergash o'g'li
Texnika fanlari bo'yicha falsafa doktori (PhD), Samarqand davlat universiteti Sun'iy intellekt va axborot tizimlari kafedasi mudiri
researcher.are@gmail. com
Axatov Akmal Rustamovich
Texnika fanlari doktori, professor, Samarqand davlat universiteti Xalqaro hamkorlik bo'yicha
prorektor akmal ar@rambl er.ru
Nazarov Fayzullo Maxmadiyarovich
Texnika fanlari bo'yicha falsafa doktori (PhD), Samarqand davlat universiteti Intellektual tizimlar va kompyuter texnologiyalari fakulteti dekani [email protected]
Annotatsiya. Bugungi kunda raqamli ma'lumotlar - tezkor va optimal qaror qabul qilishning asosi sifatida qaraladi. Shu sababli barcha sohalarda raqamli ma'lumotarni to'plash, qayta ishlash jarayonini tashkil etishga kuchli e'tibor qaratilmoqda. Biroq ma'lumotlar hajmining oshib borishi ushbu jarayonda ham vaqt bilan bog'liq bo'lgan, ham iqtisod bilan bog'liq bo'lgan muammo larni yaratmoqda. Boshqacha so'z bilan aytganda, ma'lumotlar hajmining o'sib borishi ularni saqlash va qayta ishlash vaqtining oshishiga hamda an'anaviy usullarning imkoniyatlari cheklanishiga sabab bo'lmoqda. Ma'lumki katta ma'lumotlar bilan bog'liq holatlarda taqsimlangan hisoblash tizimlariga asoslangan yondashuvlar eng samarali yondashuv sifatida qaraladi. Aniqroq qilib aytganda, ichki taqsimlash mexanizmiga ega tizimlar orqali ham vaqt bo'yicha, ham iqtisodiy jihatdan samaradorlikka erishish mumkin bo'ladi. Lekin ichki taqsimlash mexanizmiga ega tizimlarda samaradorlik bir nechta murakkab jarayonlarga bog'liq hisoblanadi. Ushbu jarayonlarni to'g'ri tashkil etmaslik tizim samaradorligiga salbiy tasir ko'rsatadi. Mazkur tadqiqot ishida, ushbu murakkab jarayonlarni hisobga olgan holda ichki taqsimlash mexanizmiga ega tizimlarda ma'lumotlar oqimlarini boshqarish algoritmi ishlab chiqiladi. Shu bilan birgalikda algoritmning har bir qadami izohlanadi. Tadqiqot so'ngida ichki taqsimlash mexanizmida ma'lumotlar oqimlarini boshqarish algoritmini qo'llashning tajriba natijalari keltiriladi va natijalar izohlandi.
Kalit so'zlar. Taqsimlangan hisoblash tizimlari; ichki taqsimlash mexanizmi; katta ma'lumotlar oqimlari; gorizontal taqsimlangan jadvallar; boshqaruv algoritmi.
1. Kirish
Bugungi raqamli dunyoda barcha sohalarda katta hajmdagi ma'lumotlar oqimlarini ko'rish mumkin. Ushbu ma'lumotlarni saqlash va qayta ishlash jarayonida bir qancha murakkabliklar mavjud bo'lsada, ular asosida qabul qilingan qarorlar aniqligi yuqori hisoblanadi [1-3]. Boshqacha so'z bilan ifodalaganda, qarorlarning aniqlik darajasi ushbu
qarorni qabul qilishda foydalanilgan ma'lumotlarga to'g'ri proporsional hisoblandi. Shu sababli bugungi kunda barcha sohalarda yuqori samaradorlikka erishish maqsadida sohaga oid barcha ma'lumotlarni to'plash va tahlil qilish sohaning asosiy ish rejasining bir qismi sifatida qaralmoqda [4, 5]. Biroq ma'lumotlar hajmining o'sish xususiyatiga ega ekanligi ushbu jarayonda ma'lumotlarni qayta ishlash vaqti bilan
76
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 2 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 2 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 2 | 2024 год
bog'liq bo'lgan muammolarni yaratmoqda. Ya'ni an'anaviy ma'lumotlarni saqlash va qayta ishlash tizimlarida ma'lumotlarni qayta ishlash vaqti ma'lumotlar hajmiga mutanosib ravishda o'sib boradi, shu sababli ushbu tizimlar katta hajmga ega ma'lumotlarni real vaqt rejimida qayta ishlashda samaradorlik ko'rsata olmaydi. Ushbu holatda eng samarali deb qaraladigan yondashuvlardan biri bu - bir nechta hisoblash mashinalarining hamkorligida ishlovchi taqsimlangan hisoblash tizimlari hisoblanadi [6-8]. Taqsimlangan hisoblash tizimlari miqqiyoslilik xususiyatiga ega bo'lganligi uchun ma'lumotlarning katta hajmi muammosini bartaraf eta oladi [9,10]. Ya'ni taqsimlangan hisoblash tizimi ma'lumotlar hajmi oshish muammosini yangi resurs qo'shish orqali bartaraf eta oladi. Ushbu yondashuv vaqt jihatdan yuqori samaradorlik qayt eta oladi. Biroq ushbu yondashuvda qo'shimcha resurs qo'shish qo'shimcha xarajatlarga olib kelganligi sababli iqtisodiy jihatdan samaradorlik ko'rsata olmaydi [11]. Shuning uchun bugungi kunda katta ma'lumotlar oqimlarini saqlashva va qayta ishlashda ham vaqt jihatdan, ham iqtisodiy jihatdan samarali yondashuvlarni ishlab chiqish zamonaviy kompyuter fanlarining dolzarb tadqiqot yo'nalishlaridan biri hisoblanadi.
Ma'lumki ichki taqsimlash yondashuvi o'zining xotirasi chegarasi doirasida katta hajmdagi ma'lumotlarni qayta ishlashda ham vaqt jihatdan, ham iqtisodiy jihatdan samarali yondashuv hisoblanadi. Lekin ushbu yondashuvda samaradorlik quyidagi murakkab jarayonlarni to'g'ri tashkil etishga bog'liq hisoblanadi [12]:
Ma'lumotlar hajmiga mutanosib
taqsimlanishlar (gorizontal taqsimlangan jadvallar -GTJ lar) sonini oshirib borish;
Ma'lumotlar oqimlarini aniq qoidalar asosida taqsimlash;
Ma'lumotlarni imkon qadar gorizontal taqsimlangan jadvallarga teng taqsimlash.
Ushbu jarayonlar ma'lumotlar oqimlari hajmi oldindan bashorat qilish imkoniyati doim ham mavjud bo'lmasligi hamda ma'lumotlar oqimlari o'zgaruvchan bo'lganligi sababli ichki taqsimlash mexanizmini amalga oshirishda murakkabliklar tug'diradi. Mazkur
tadqiqot davomida ushbu murakkab jarayonlarni hisobga olgan holda ichki taqsimlash mexanizmiga ega tizimlarda ma'lumotlar oqimlarini boshqarish algoritmi ishlab chiqish ketma-ketligi yoritiladi va ichki taqsimlash mexanizmiga ega tizimlarda ma'lumotlar oqimlarini boshqarish algoritmi ishlab chiqiladi.
Usullar va materiallar
Ichki taqsimlash mexanizmi asosida ma'lumotlar oqimlarini boshqarishni bir-biriga bog'liq bo'lgan ikki funksiyaning birligi sifatida qarash mumkin. Birinchi funksiya ma'lumotlar oqimlarini qabul qilish, ya'ni uni gorizontal taqsimlanishga ega jadvallarga taqsimlangan holda saqlash vazifasini bajarsa, ikkinchi funksiya ushbu jadvallarda saqlangan ma'lumotlarni qayta ishlash, ya'ni so'rovlarni to'g'ri tashkil qilish vazifasini bajaradi [13-15]. Birinchi funksiya ma'lumotlar oqimlarini boshqarishda murakkab jarayonlarni amalga oshiradi. Shunday jarayonlardan biri ma'lumotlar bazasi tarkibidagi gorizontal taqsimlanishlarga ega bo'lgan jadvallar sonini saqlanayotgan ma'lumotlar hajmiga mos holda oshirib borish jarayonidir [16, 17]. Umumiy holda gorizontal taqsimlanishi lozim bo'lgan jadvallar sonini saqlanayotgan ma'lumotlar hajmiga mutanosib ravishda oshirib borish quyidagi blok-sxema asosida amalga oshiriladi:
1-rasm. Gorizontal taqsimlanishi lozim bo'lgan jadvallar sonini saqlanayotgan ma'lumotlar hajmiga mutanosib ravishda oshirib borish algoritmi
77
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 2 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 2 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 2 | 2024 год
Yuqoridagi 1-rasmda tasvirlangan algoritm blok-sxemasidan ko'rinib turibdiki, ichki taqsimlash mexanizmi asosidagi ma'lumotlar oqimlarini boshqarish jarayoni ham barcha jarayonlar kabi hisoblash mashinasining ma'lumotlar bazasi uchun ajratilgan bo'sh xotira hajmi qolmaguncha davom etadi. Bu algoritmning birinchi shartdagi belgilangan chegaralar gorizontal taqsimlanishi lozim bo'lgan jadvalning 2 ta, 3 ta, 4 ta va hokazo gorizontal taqsimlangan jadvallarga bo'linishi uchun jadvallardagi yozuvlarning umumiy soniga qo'yilgan chegaralardir. Bu chegaralarni aniqlash jarayoni murakkab jarayon bo'lib, chegaralar nafaqat yozuvlar soniga balki so'rovlarning bajarilish vaqtiga ham bog'liq ravishda aniqlanadi. Ya'ni so'rov bajarilish vaqti qisqa bo'lishi chegara qiymatlarining kichiklashishini talab qiladi.
Yozuvlar soniga qo'yilgan chegaralar so'rovlarga bog'liq bo'lgani uchun dastlabki chegaralarni aniqlash uchun maxsus gorizontal taqsimlangan jadvallar ustida tajribaviy so'rovlarni bajarishni talab qiladi. Ushbu tajribani amalga oshirishda yagona hisoblash mashinasi tarkibidagi ma'lumotlar bazasida saqlanayotgan 40 million qatorli yozuvlarga ega jadvaldan foydalanildi. Bu jadvaldagi ma'lumotlar asosida 5 xil tajriba o'tkaziladi. Birinchi tajriba sinovlarida 40 million qatorli yozuvli jadvalning o'zida qidiruv so'rovlari amalga oshirildi. Keyingi tajriba sinovlarida ushbu jadvaldagi ma'lumotlar dastavval 2 ta, 13 ta, 26 ta va 49 ta gorizontal taqsimlangan jadvallarga ma'lum qoida asosida taqsimlandi. So'ngra har biri gorizontal taqsimlanishlarga ega jadvallar guruhida birinchi tajribadagi qidiruv so'rovlari alohida-alohida amalga oshirildi.
Ushbu tajriba jarayonida so'rovlar vaqtini va shu so'rov amalga oshirilgan vaqtdagi gorizontal taqsimlangan jadvallar (GTJ) sonini hamda ulardagi umumiy yozuvlar sonini yozib olish talab etiladi. So'rovlar vaqtini aniqlash quyidagi blok-sxemada ko'rsatilgan algoritm ketma-ketligi asosida amalga oshiriladi (2-rasm).
JliiihlasM Sa'rax'kkMkiftll
1 f
Шсо^'Х^'ишкШшвкгк' шШаиааагаШт! - шя1 Jifflismjyyaai.-äjjsiaTI
1
So'rgy'GTJ, *da -^nal^-oshirUsinT| йо^согшШ^айшт!
<- t - so^w-yakun Langan -oniy ■ vagt ■
λ-=-to"--tLf
1
- t, -n,-N'juftligi xotira^-sa^J^ri^in
C^^ Xarowslf
2-rasm. Gorizontal taqsimlangan jadvallarda so'rovlar vaqtini aniqlash algoritmi
Ushbu 2-rasmda keltirilgan algoritmdan ko'rinib turibdiki, so'rov kiritilishi bilan tizimning oniy vaqti aniqlanadi, so'ngra so'rov so'rovlarni taqsimlash funksiyasiga uzatiladi. Taqsimlash funksiyasi so'rovni joriy gorizontal taqsimlangan jadvallarning biriga uzatadi. So'rov yakunlanishi bilan yana tizimning oniy vaqti aniqlanadi va undan so'rov kiritilish vaqti ayrilib so'rov uchun ketgan vaqt topiladi. So'rov bajarilgan gorizontal taqsimlangan jadvallar soni (n) va ulardagi umumiy yozuvlar soni (N) aniqladandi va tajriba sinovlarida foydalanish maqsadida topilgan uchta ko'rsatkich xotiraga saqlab qo'yiladi.
Yuqoridagi GTJ larda so'rovlar vaqtini aniqlash algoritmi asosida o'tkazilgan so'rov natijalari quyidagi 1- jadvalda keltirilgan.
Gorizontal- taqsimlangan' jadvallar' lö 2a 13q 26a 49в
sonia
Qidiruv so'rovlari' uchun- ketgan1 n'rtacha\a(]t(sfkuii«)lai(la):- 23,25c 7,23cî 1,33a 0.82a 0.77a
Har bir-gurulHarkihidagi-GTJ-larclagi • o-rtacha>o/uvlar-S4nic 40-mlna 20-r.'.ln 3.079-mina 1,538-mina 0,816-mina
1- jadval. Turli sondagi gorizontal taqsimlangan jadvallarda bir xil qidiruv so'rovlari uchun ketgan o'rtacha vaqti (barcha taqsimlangan jadvallar guruhi bir xil 40 million yozuvni saqlaydi)
78
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 2 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 2 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 2 | 2024 год
Tajriba natijalari shuni ko'rsatadiki, 40 million yozuvga ega jadvalda qidiruv so'rovlarini o'rtacha 23.25 sekundda qayta ishlash uchun jadvalni taqsimlash shart emas. Qidiruv so'rovlarni o'rtacha 7.23 sekundda qayta ishlash uchun ushbu ma'lumotlarni har birida o'rtacha 20 million yozuvga ega 2 ta jadvalga taqsimlash kerak. Xuddi shunday ushbu so'rovlarni o'rtacha 1.33 sekundda qayta ishlash uchun har birida o'rtacha 3.079 million yozuvga ega 13 ta jadvalga taqsimlash kerak va hokazo. Demak namunada keltirilgan kabi ma'lumotlar to'plamida qidiruv so'rovlarini tajribada foydalanilgan hisoblash mashinasida 7,23 sekunda qayta ishlash uchun yozuvlarning taqsimlanish chegarasi 20 million, 1,33 sekunda qayta ishlash uchun 3,079 million, 0,82 sekunda qayta ishlash uchun 1,538 million, 0,77 sekunda qayta ishlash uchun 0,816 million qilib belgilanishi kerak.
Lekin yuqorida keltirilgan chegaralar faqat shu holatlar uchun o'rinli. Umumiy barcha holatlar uchun chegaralarni aniqlash uchun quyidagi so'rov vaqtini topish formulasi (1) va olingan tajriba natijalaridan foydalaniladi.
t = N + tj/0 + maxÇnÇDT-j) • t2,
n(DT2)^t2.....n(DTk)^2), (1)
bu yerda t1 - yagona ma'lumotni gorizontal taqsimlangan jadvallarning biriga taqsimlash vaqti, N - umumiy yozuvlar soni, n(DT{) - inchi gorizontal taqsimlangan jadvaldagi yozular sonini i = 1.. k, t2 -jadvaldagi yagona yozuvni o'qib, so'rovni amalga oshirish uchun zarur bo'lgan vaqt, tI/0 - ma'lumot (so'rov)larni foydalanuvchi interfeysida kiritish va chiqarish uchun talab e'tilgan vaqt.
N - taqsimlash jarayoni uchun sarf etiladigan vaqt bo'lib u gorizontal taqsimlangan jadvallar soni (n) ga to'g'ri proporsional bo'lganligi uchun wl • n ko'rinishida (bu yerda wl -proporsionallik koeffitsenti) olish mumkin. maxÇnÇDT-j) • t2, n(DT2) • t2, ...,n(DTk) • t2) -gorizontal taqsimlangan jadvallarda so'rov bajarilish vaqtini ifodalaydi. U gorizontal taqsimlangan jadvallar soniga teskari proporsional va gorizontal taqsimlangan jadvallardagi umumiy yozuvlar soni (N)ga to'g'ri
N
proporsional bo'lganligi uchun w2 ■— ko'rinishida
olish mumkin. Aloqa vaqti kabi hisoblash mashinasida ma'lumotlarning sxemalarda o'tish vaqti hamda ma'lumot (so'rov)larni foydalanuvchi interfeysida kiritish va chiqarish uchun talab e'tilgan vaqt kabilar yig'indisi o'zgarmas deb olinadi [18]. Ushbu vaqtlar yig'indisi w0 deb belgilab olinsa ichki taqsimlanish mexanizmi uchun so'rovlarni qayta ishlash vaqti (t') quyidagi (2) formula orqali ifodalanadi:
N
t' = w0 + Wi • n + w2 • — (2)
Yuqorida aytilganidek n ta gorizontal taqsimlangan jadvallarda so'rovlarni t' vaqtda qayta
N
ishlash uchun — taqsimlanish chegarasi (Nch) sifatida olinsa u quyidagi (3) formula orqali ifodalanadi:
N,
ch
W7 \W2 W7 J
(3)
(3) dan ko'rinib turganidek, Nch - t' va n larga bog'liq ikki o'zgaruvchili funksiya bo'ladi. Tajriba natijalarida olingan t' va n larni bu funksiyaga qo'yish orqali w0,w1 va w2 lar topiladi. Natijada topilgan w0,w1 va w2 larning qiymatlarini (3) formulaga qo'yish orqali ixtiyoriy t' va n sonlar juftligi uchun taqsimlanish chegarasi aniqlanadi. i ta (i = 1..n) gorizontal taqsimlangan jadvallar uchun so'rov vaqti t' o'zgarmas deb olinsa taqsimlanishlar chegaralari (k[ ]) quyidagi tenglik orqali aniqlanadi:
k[]=NCh(i,t') (4)
Yuqoridagilarni hisobga olgan holda ma'lumotlar oqimlarini ichki taqsimlash mexanizmi asosida boshqarish algoritmini quyidagi qadamlarda ifodalash mumkin:
1-qadam. Dastlabki ma'lumotlar bazasi (MBH0) shakllantiriladi;
2-qadam. i = 0 va N = 0 deb olinadi (i holatlarni ifodalaydi, N gorizontal taqsimlangan jadvallardagi umumiy yozuvlar soni);
3-qadam. Dastlabki chegaralar qiymatlari belgilanadi va k[] massivga yoziladi;
4-qadam. Ma'lumotlarni gorizontal taqsimlangan jadvallarga taqsimlashning dastlabki qoidasi (TQi) shakllantiriladi;
5-qadam. Ma'lumot (Data) kiritiladi;
79
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 2 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 2 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 2 | 2024 год
6-qadam. Gorizontal taqsimlangan jadvallardagi umumiy yozuvlar soni (N) oshiriladi;
7-qadam. Gorizontal taqsimlangan jadvallardagi umumiy yozuvlar soni (N) chegara (k[i]) bilan taqqoslanadi. Agar N chegaradan kichik bo'lsa 8-qadamga o'tiladi, aks holda 11-qadamga o'tadi;
8-qadam. Ma'lumot joriy taqsimlanish qoidasi (TQi) asosida joriy ma'lumotlar bazasiga (MBHi) saqlanadi (Data -> TQi -> MBHi);
9-qadam. Hisoblash mashinasining ma'lumotlar bazasi uchun ajratilgan bo'sh xotira hajmi (V) aniqlanadi;
10-qadam. Agar bo'sh xotira hajmi mavjud bo'lsa 5-qadamga o'tiladi, aks holda 18-qadamga o'tiladi;
11-qadam. i ning qiymati birga oshiriladi;
12-qadam. Gorizontal taqsimlangan jadvallar soni oshiriladi va ma'lumotlar bazasining yangi holati (MBHi) shakllantiriladi;
13-qadam. Ma'lumotlarni gorizontal taqsimlangan jadvallarga taqsimlashning yangi qoidasi (TQi) shakllantiriladi;
14-qadam. Ma'lumotlar bazasining eski holati (MBHi-1) dagi ma'lumotlar yangi taqsimlash qoidasi (TQi) asosida ma'lumotlar bazasining yangi holati (MBHi)ga ko'chiriladi (MBH— -> TQi -> MBHi);
15-qadam. Tizim tarkibidagi joriy ma'lumotlar bazada amalga oshirilayotgan so'rovlarga mos holda yozuvlar chegaralari (k[ ]) yangilanadi;
16-qadam. Hisoblash mashinasining ma'lumotlar bazasi uchun ajratilgan bo'sh xotira hajmi (V) aniqlanadi;
17-qadam. Agar bo'sh xotira hajmi mavjud bo'lsa 5-qadamga o'tiladi, aks holda 18-qadamga o'tiladi;
18-qadam. Ushbu hisoblash mashinasi uchun jarayon yakunlanadi.
Ushbu algoritm amalga oshirish jarayoni 3-rasmda keltirilgan blok-sxema orqali ifodalanadi.
3-rasm. Ichki taqsimlash mexanizmiga ega tizimlarda ma'lumotlar oqimlarini boshqarish algoritmi blok-sxemasi
Ushbu algoritmni hisoblash mashinalarida amalga oshirish natijasida ma'lumotlar oqimlarini rejali saqlashga erishiladi. Boshqacha so'z bilan ifodalaganda, har bir ma'lumot qaysi gorizontal taqsimlangan jadvalda saqlanganligi haqida aniq qoidalar yaratiladi va ushbu qoidalar ma'lumotlar ustida amalga oshiriladigan so'rovlar aniqligini oshirish bilan birgalikda vaqt bo'yicha samaradorlikka erishishga imkon beradi.
Tajribalar va natijalar
Tadqiqotda davomida ishlab chiqilgan ma'lumotlar oqimlarini boshqarish algoritmi talabalar haqidagi ma'lumotlarni o'zida saqlovchi, ichki taqsimlash mexanizmiga ega bo'lgan axborot tizimiga qo'llanildi. Tajribada foydalanilgan ma'lumotlar bazasi tarkibida quyidagi ma'lumotlar mavjud:
- Tartib raqam;
- Oliy ta'lim muassasasi nomi;
- Talaba familiyasi, ismi va sharfi;
- Tug'ilgan yili va sanasi;
80
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 2 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 2 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 2 | 2024 год
- Pasport seriyasi va raqami;
- Jismoniy shaxslarning shaxsiy identifikatsiya
raqami;
- Talaba tug'ilgan viloyati, tumani (shahar) va mahallasi;
- Mutaxassisligi;
- Ta'lim darajasi;
- Ta'lim shakli;
- Telefon raqami.
Ushbu ma'lumotlar bazasidagi yozuvlar soni 655407 ta bo'lib, umumiy hajmi 125.07 Mbaytni tashkil etadi. Tajribalar hp markali quyidagi parametr ega kompyuterda amalga oshirildi:
1) Operativ xotira - 16 Gbayt;
2) Protsessor - Core i7 (12-avlod);
3) Protsessor chastotasi - 4.7 GHz;
4) Yadrolar soni - 12 ta;
5) Qattiq diskdan o'rtacha o'qish tezligi - 588 Mbayt/sekund;
6) Operativ xotira chastotasi - 3200 MHz; Tajriba davomida ma'lumotlar bazasidagi
ma'lumotlar ikkita gorizontal taqsimlangan jadvallarga taqsimlandi. Tajriba natijalari 2-jadvalda keltirilgan.
Gorizontal taqsimlangan jadvallar soni So'rovlarni o'rtacha qayta ishlash vaqti
An'anaviy yondashuvga ega tizimda 2.57 sekund
Ichki taqsimlash mexanizmiga ega tizimda 2 ta 0.96 sekund
2-jadval. Ichki taqsimlash mexanizmiga ega axborot tizimiga ishlab chiqilgan algoritmni qo'llash orqali so'rovlarni amalga oshirish va an'anaviy yondashuvga ega tizimda so'rovlarni amalga oshirish tajriba natijalari
Tajriba natijalari keltirilgan 2-jadvaldan ko'rish mumkinki ishlab chiqilgan algoritmni ichki taqsimlash mexanizmiga qo'llash orqali so'rovlarni qayta ishlash vaqti 2,67 martaga yaxshilangan. Shuni takidlab o'tish lozimki, olib borilgan tajribalar
ma'lumotlar hajmi oshishi ichki taqsimlash mexanizmining an'anaviy yondashuvga nisbatan samaradorligining yanada oshishiga olib keladi. Boshqacha so'z bilan aytganda, ichki taqsimlash mexanizmi katta ma'lumotlarda o'z samaradorligini yanada yaqqol namoyon qiladi.
Xulosa
Xulosa qilib aytganda, ushu tadqiqot ishi ichki taqsimlash mexanizmi - katta ma'lumotlarni real vaqt rejimida qayta ishlash imkonini beruvchi hamda iqtisodiy samarali yondashuvlardan biri ekanligi yana bir bor isbotladi. Shu bilan birgalikda tadqiqot davomida ichki taqsimlash mexaznimini qo'llashda murakkablik yaratadigan omillarni hisobga olganda holda ma'lumotlar oqimlarini boshqarish algoritmi ishlab chiqildi, hamda uning qadamlari batafsil yoritildi. Shuningdek tadqiqotda o'tkazilgan tajribalar hamda olingan natijalar keltirib o'tildi. Tajriba natijalari ishlab chiqilgan algoritmni ichki taqsimlash mexanizmiga ega tizimga qo'lash orqali 2.67 marta vaqt unumdorligiga erishish mumkinligini ko'rsatdi.
Adabiyotlar.
1. Akhatov A. & Rashidov A. "Big Data va unig turli sohalardagi tadbiqi", Descendants of Muhammad Al-Khwarizmi, 2021, № 4 (18), 135-44
2. Bhadani, A., Jothimani, D. (2016), Big data: Challenges, opportunities and realities, In Singh, M.K., & Kumar, D.G. (Eds.), Effective Big Data Management and Opportunities for Implementation (pp. 1-24), Pennsylvania, USA, IGI Global
3. Ch. Eaton, D. deRoos, T. Deutsch, G. Lapis, P. Zikopoulos, "Understanding Big Data: Analytics for Enterprise Class Hadoop and Streaming Data", The McGraw-Hill Companies, 2012.
4. Ахатов А.Р., Рашидов А.Э., Назаров Ф.М. "Сугурта сохдсида Big Data типидаги маьлумотлар ва уларнинг хусусиятлари" "Yangi O'zbekistonda islohotlarni amalga oshirishda zamonaviy axborot-kommunikatsiya texnologiyalaridan foydalanish" Xalqaro ilmiy-amaliy konferensiya Andijon mashinasozlik instituti, 2021-yil 27-29-oktabr, 605-608-b
81
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 2 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 2 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 2 | 2024 год
5. A.R. Akhatov, A.E. Rashidov, F.M. Nazarov "Increasing data reliability in big data systems" // Scientific Journal of Samarkand State University 2021, №5, 106-14
6. Inderpal Singh "Review on Parallel and Distributed Computing" Scholars Journal of Engineering and Technology (SJET), 2013, № 1(4): 218-225
7. Akhatov A., Renavikar A., Rashidov A. & Nazarov F. "Development of the Big Data processing architecture based on distributed computing systems" Informatika va energetika muammolari O'zbekiston jurnali, № (1) 2022, 71-79
8. A.R. Akhatov, F.M. Nazarov, A.E. Rashidov "Increasing data reliability by using bigdata parallelization mechanisms" ICISCT 2021: Applications, Trends and Opportunities, 3-5.11.2021, doi: 10.1109/ICISCT52966.2021.9670387
9. Ruslan. L. Smeliansky "Model of Distributed Computing System Operation with Time" Programming and Computer Software, 2013, Vol. 39, No. 5, 233-241 p., doi: 10.1134/S0361768813050046
10. Akhatov A., Renavikar A., Rashidov A. "Optimization of the database structure based on Machine Learning algorithms in case of increased data flow" Proceedings of the International Conference on Artificial Intelligence, Blockchain, Computing And Security (ICABCS 2023), Gr. N01 Da, Up, India, 2425 February 2023
11. A. Rashidov, A. Akhatov and D. Mardonov, "The Distribution Algorithm of Data Flows Based on the BIRCH Clustering in the Internal Distribution Mechanism," 2024 International Russian Smart Industry Conference (SmartIndustryCon), Sochi, Russian Federation, 2024, pp. 923-927, doi: 10.1109/SmartIndustryCon61328.2024.10516193.
12. Rashidov, A., Akhatov, A. R., & Nazarov, F. M. (2023). Real-Time Big Data Processing Based on a Distributed Computing Mechanism in a Single Server. In C. Ananth, N. Anbazhagan, & M. Goh (Eds.), Stochastic Processes and Their Applications in Artificial Intelligence (pp. 121-138). IGI Global. https://doi.org/10.4018/978-1-6684-7679-6.ch009
13. Rashidov, A., Akhatov, A., Nazarov, F.
(2023). The Same Size Distribution of Data Based on Unsupervised Clustering Algorithms. In: Hu, Z., Zhang, Q., He, M. (eds) Advances in Artificial Systems for Logistics Engineering III. ICAILE 2023. Lecture Notes on Data Engineering and Communications Technologies, vol 180. Springer, Cham. https://doi.org/10.1007/978-3-031-36115-9_40
14. Nazarov F, Rashidov A, Pardayev M, Sunnatova S. (2023). Clustering Method Of Distributed Technologies In Data Flow Management. Excellencia: International Multi-Disciplinary Journal of Education (2994-9521), 1(5), 222-225. https://multijournals.org/index.php/excellencia-imje/article/view/115
15. A. Rashidov, A. Akhatov, I. Aminov, D. Mardonov "Distribution of data flows in distributed systems using hierarchical clustering" International conference on Artificial Intelligence and Information Technologies (ICAIIT 2023), Samarkand 2023, Novamber 3-4.
16. Akhatov A., Renavikar A., Rashidov A., Nazarov F. "Optimization of the number of databases in the Big Data processing" Проблемы информатики, № 1(58) 2023, DOI: 10.24412/2073-0667-2023-1-3347
17. A.R.Akhatov, Rashidov A.E. "Machine Learning asosida taqsimlangan ma'lumotlar bazasi sonini optimallashtirish" "Kompyuter ilmlari va muhandislik texnologiyalari" Xalqaro ilmiy texnik konferensiya, 2022, 14-15- oktabr, 110-112
18. Rashidov A.E., Sayfullaev J.S. "Selecting methods of significant data from gathered datasets for research" International journal of advanced research in education, technology and management, Vol. 3 No. 2
(2024), p. 289-296, doi: 10.5281/zenodo.10781255
82
