CC BY
5INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
CHORVA KOMPLEKSLARIDA MA'LUMOTLAR OQIMIGA ISHLOV BERISHNING ARXITEKTURAVIY TEXNOLOGIYALARI TAHLILI
Samandarov Batirbek Satimovich1, Geldibayev Begench Yegendurdiyevich2,
1,2Muhammad al-Xorazmiy nomidagi Toshkent axborot texnologiyalari universiteti, Tizimli va amaliy dasturlash kafedrasi, Toshkent, O'zbekiston https://doi.org/10.5281/zenodo.7856465
Abstract. This article analyzes streaming and batch data processing paradigms widely used in big data processing from IoT devices and examines their properties. The possibilities of using edge, fog and cloud computing systems in organizing the architecture of big data processing systems are considered.
Keywords: IoT, big data, stream processing, batch processing, edge computing, fog computing, cloud computing.
KIRISH
Bugungi kunda axborot tizimlarini joriy etishda ma'lumotlarni to'plash jarayonini avtomatlashtirish uchun maxsus sersorlarni o'z ichiga olgan, dasturiy boshqariladigan va tarmoq orqali ma'lumotlarni uzatadigan qurilmalardan keng ko'lamda foydalanilmoqda. Mazkur tamoyilga asoslangan konsepsiya internet buyumlari (IoT, Internet of things) deb nomlanadi.
IoT texnologiyasi ma'lumotlarni to'plash jarayonida taqdim etadigan imkoniyatlari sababli hozirda axborot tizimlarida ma'lumotlarni to'plash uchun qo'llaniladigan eng asosiy va ajralmas qismlardan biriga aylandi va ushbu jarayonda muhim o'rin tutadi. Lekin shu bilan birga ular yordamida to'plangan ma'lumotlarni qayta ishlashda birqancha qiyinchiliklar yuzaga kelmoqda. Mazkur tadqiqot ishida ushbu muammolar va ularni yechishda taqdim etilgan arxitekturaviy yechimlar tahliliy jihatdan o'rganilgan.
ASOSIY QISM
IoT qurilmalarining keng tarqalishi juda katta hajmdagi cheklanmagan ma'lumotlar oqimining paydo bo'lishiga olib kelmoqda. Ushbu ma'lumotlar oqimini qayta ishlash texnik jihatdan birqancha muammolarni yuzaga keltiradi va ularni hal etishda universal yechimlar talab etadi [1]. Bugungi kunda bu kabi ma'lumotlar oqimiga ishlov berishda asosan ikkita paradigmadan ya'ni ma'lumotlarni paketli va oqimli qayta ishlash paradigmalaridan foydalanilmoqda. Jarayonda qaysi paradigmadan foydalanilishi ma'lumotlarni qayta ishlashdan ko'zlangan maqsadga bog'liq. Ko'pincha IoT qurilmalari yordamida generatsiyalanadigan katta hajmdagi ma' lumotlarni ikki hil maqsadda ishlatilishi mumkin.
Birinchidan ushbu ma'lumotlar real vaqt rejimida qayta ishlanishi va qarorlar qabul qilishda muhim bo'lgan ma'lumotlar ajratilib olinishi kerak bo'ladi buning uchun ma'lumotlarni qayta ishlashning oqimli paradigmasidan foydalaniladi. Ikkinchidan, ushbu ma'lumotlar yig'ib borilishi va axborot tizimining ba'zi strategik vazifalarini amalga oshirish uchun keyinchalik qayta ishlanishi talab etiladi. Bunday hollatlarda esa ma'lumotlarni qayta ishlashning paketli paradigmasidan foydalaniladi [2].
Ushbu paradigmalarning har binning o'ziga hos afzalliklari va kamchiliklari mavjud. Masalan, paketli paradigma katta hajmdagi ma'lumotlarni qayta ishlash imkoniga ega. Lekin real vaqt rejimida tezlik bilan kelayotgan ma'lumotlar oqimini qayta ishlashda samarali emas.
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
Aksincha, oqimli ishlov berish paradigmasi bo'lsa yuqori tezlikda real vaqt rejimida kelayotgan ma'lumotlarni qayta ishlash imkoniga ega [3].
Ma'lumotlarga ishlov berishning ushbu paradigmalarini qo'llash tizimda o'ziga hos arxitekturaviy yechimni ham talab etadi. Ya'ni ushbu paradigmalarni qo'llash uchun yagona bulutli tizimdan foydalanish samarali yechim bo'la olmaydi. Sababi, ko'plab qurilmalar yordamida generatsiyalanadigan barcha ma'lumotlarni bir joyga uzatish va qayta ishlash yaratilgan infratuzilma uchun yuklamalarni oshirishi mumkin. Shuningdek ma'lumotlarni uzatish va qayta ishlash uchun sarflanadigan vaqt ham oshadi. Ushbu muammolarni hal etishda bugungi kunda chegaraviy va tumanli hisoblash texnologiyalaridan keng foydalanilmoqda. Ushbu texnologiyalarning asosiy g'oyasi infratuzilma elementlarining ba'zi qismlarini jismoniy jihatdan IoT qurilmalariga yaqin joyalshtirish va ma'lumotlarning dastlab qayta ishlanishini shu yerda amalga oshirishdan iborat [4]. Mazkur arxitektura hisoblashlar mustaqil amalga oshiriladigan birnechta qatlamlar negizida tizimga tushayotgan yuklamani taqsimlash imkonini beradi (1 -rasm).
1-rasm. Ko'p qatlamli hisoblashlar arxitekturasi Mazkur arxitekturada eng quyi qatlamida IoT qurilmalari joylashgan bo'lib ular tarmoq texnologiyalari yordamida ma'lumotlarni o'zlariga yaqin joylashtirilgan chegaraviy hisoblash (edge computing) tizimlariga uzatadilar. Bu yerda ma'lumotlarni qayta ishlashning dastlabki bosqichi amalga oshiriladi va olingan natijalar keyingi qatlamga uzatiladi. Keyingi qatlam tumanli hisoblashlar (fog computing) qatlami deb ataladi va bu yerda birnechta chegaraviy hisoblash tizimlaridan kelgan ma'lumotlar qayta ishlanadi. Bu qatlam ko'p sonli IoT qurilmalari dan kelgan ma'lumotlar yuklamasini kamaytirish uchun xizmat qiladi. Eng oxirgi qatlam bo'lsa bulutli hisoblashlar (cloud computing) qatlami bo'lib bu yerda ma'lumotlar ustida katta resurs talab etadigan hisoblashlarni bajarish shuningdek tahlil va qarorlar qabul qilish uchun ularni doimiy xotirada saqlash amalga oshiriladi.
CHORVACHILIK KOMPLEKSLARI UCHUN MA'LUMOTLAR OQIMIGA ISHLOV BERISHNING ARXITEKTURAVIY TUZILMASINI QURISH
IoT qurilmalari yordamida to'plangan ma'lumotlarni bulutli tizimlar yordamida qayta ishlash chorvachilik sohasida ham keng foydalanilmoqda va ular uchun maxsus axborot tizimlari yaratilmoqda. Axborot tizimiga qo'yilgan talablarga mos ravishda yaratilayotgan tizim uchun maxsus arxitekturaviy yechim talab etiladi.
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
Yuqorida tahlil qilingan ma'lumotlardan IoT asosidagi axborot tizimlarida birnechta qatlamli arxitekturadan foydalanish samarali yechim bo'lishi kelib chiqadi. Lekin, yuqorida ko'rib chiqilgan arxitekturaviy yechim nisbatan kichik hajmdagi chorvachilik komplekslari uchun samarali yechim bo'la olmaydi. Sababi bu yerda qayta ishlanadigan ma'lumotlar hajm jihatidan unchalik katta emas va ularni qayta ishlashda qo'shimcha resurslar talab etilmaydi.
Ushbu arxitekturani unchalik katta bo'lmagan chorvachilik komplekslariga moslashtirish uchun undagi tumanli hisoblashlar qatlamini olib tashlash maqsadga muvofiq bo'ladi. Sababi ushbu qatlamda katta hajmdagi ma'lumotlarni qayta ishlashda bulutli tizimga tushadigan yuklamalarni kamaytirish uchun qo'shimcha resurslar kiritish nazarda tutilgan. Bu esa arxitekturaning murakkablashishiga, qo'shimcha xarajatlarning va ortiqcha resurslarning paydo bo'lishiga olib keladi. Shulardan kelib chiqqan holda chorvachilik komplekslarida ma'lumotlar oqimiga ishlov berish jarayonini samarali amalga oshirish uchun quyida keltirilgan arxitekturaviy yechim taklif etiladi (2-rasm).
2-rasm. Chorva komplekslari uchun ma'lumotlar oqimiga ishlov berish axborot tizimi
uchun arxitektura
Mazkur arxitekturada asosiy uchta qatlam mavjud bo'lib undagi eng quyi qatlamda ma'lumotlarni qabul qilish uchun arnalgan IoT qurilmalari joylashtiriladi. Ushbu qurilmalar obyektdan turli hil ma'lumotlarni qabul qilish maqsadida ishlatiladi. Hususan, RFID teglar yordamida qoramollarni identifikatsiyalash amalga oshiriladi, qoramollarga o'rnatilgan sensorlar yordamida ularning bioparametrlari haqidagi ma'lumotlar olinadi, sut o'lchagichlar yordamida sog'ilgan sut miqdori haqidagi ma'lumotlar olinadi va qayta ishlash uchun keyingi qatlamga uzatiladi.
Keyingi qatlamda ma'lumotlarni qayta ishlash jarayoni samaradorligini oshirish uchun chegaraviy hisoblashlar qatlami joylashtirilgan. Bu vazifani amalga oshiradigan resurslar lokal tarmoqda joylashtiriladi va ma'lumotlarni ular paydo bo'lishi bilan qayta ishlashga xizmat qiladi.
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
Ushbu qatlamning maqsadi ma'lumotlarga ishlov berish tezligini oshirish, ularni real vaqt rejimida qayta ishlash, paydo bo'lgan hodisalarga real vaqt rejimida javob berish imkoniyatlarini ta'minlab berishdan iborat. Ushbu qatlamda olingan ma'lumotlarga dastlab ETL modeli yordamida ishlov beriladi. Ya'ni ajratib olish (Extract), shaklini o'zgaritish (Transform) ya'ni keraklib bo'lgan strukturaviy ko'rinishga keltirish va doimiy xotiraga saqlash uchun bulutli tizimga uzatish (Load) amallari qo'llaniladi.
Eng yoqori qatlamda joylashtirilgan bulutli tizim yordamida dastlabki qayta ishlangan ma'lumotlar keyinchalik turli hil strategik qarorlarni qabul qilishda qo'llash uchun ma'lumotlar bazasida saqlanadi, ularni qayta ishlash va kerakli natijalarni olish uchun keyinchalik turli hil algoritmlardan foydalanilishi mumkin.
Ushbu arxitekturada tumanli hisoblashlar qatlami yo'qligi sababli tizimni qurish jarayoni soddalashadi, ma'lumotlar almashinuvi tezlashadi va sarflanadigan xarajatlar kamayadi. Taklif qilinayotgan uch qatlamli arxitektura va to'rt qatlamli arxitekturalarning taqqoslanishi quyidagi jadvalda keltirilgan (1-jadval).
1-jadval.
Uch qatlamli va to'rt qatlamli arxitekturalarning taqqosl anishi
Uch qatlamli arxitektura To'rt qatlamli arxitektura
IoT qurilmalari nisbatan kam bo'lgan tizimlarda qo'llash samarali IoT qurilmalar juda ko'p sonda bo'lgan tizimlarda qo'llash samarali
Qo'shimcha xarajatlar talab etilmaydi Qo'shimcha xarajatlar talab etiladi
Arxitekturani amalga oshirish jarayoni murakkab emas Arxitekturani amalga oshirish jarayoni nisbatan murakkab
Ma'lumotlarni bulut tizimigacha uzatish vaqti kam Ma'lumotlarni bulut tizimigacha uzatish vaqti nisbatan ko'proq
Jadvalda keltirilgan ma'lumotlardan kelib chiqqan holda juda katta bo'lmagan ma'lumotlar oqimini qayta ishlashda nisbatan soddaroq bo'lgan uch qatlamli arxitekturadan foydalanish eng samarali yechim bo'lishi ko'rinadi. Bu esa unchalik katta bo'lmagan chorvachilik komplekslarida aynan shunday arxitekturadan foydalanish ham iqtisodiy ham texnik jihatdan samarali bo'lishini anglatadi.
XULOSA
Xulosa qilib aytadigan bo'lsak, bugungi kunda IoT konsepsiyasining rivojlanishi juda katta hajmdagi ma'lumotlar to'plamlarining va uzliksiz ma'lumotlar oqimining paydo bo'lishiga olib keldi. Bu esa o'z navbatida ularni qayta ishlashning ananaviy texnologiyalariga nisbatan samaraliroq texnologiyalarni qo'llashni talab etmoqda. Shuningdek, IoT konsepsiyasi tamoyillari asosida qurilgan ilovalarning arxitekturasini qurishda ham yangicha yondashuvlarning paydo bo'lishiga olib keldi. Mazkur tadqiqot ishida shunday ma'lumotlarni qayta ishlashda qo'llaniladigan paradigmalar nazariy jihatdan tahlil qilindi va oxirgi yillarda sohada olib borilgan tadqiqot ishlari o'rganildi. Shuningdek, IoT asosida ma'lumotlar oqimiga ishlov berish tizimlarida qo'llanilayotgan ko'p qatlamli tizim arxitekturasi tamoyillari o'rganildi. Tahlil qilingan ma'lumotlar kelib chiqqan holda chorvachilik komplekslarida IoT asosidagi tizim arxitekturasi taklif etildi.
INTERNATIONAL SCIENTIFIC AND TECHNICAL CONFERENCE "DIGITAL TECHNOLOGIES: PROBLEMS AND SOLUTIONS OF PRACTICAL IMPLEMENTATION IN THE SPHERES" APRIL 27-28, 2023
Mazkur tadqiqot ishi davomida olingan natijalarni IoT qurilmalaridan olingan ma'lumotlarini qayta ishlash ilovalari arxitekturasini tashkil etish va ulardan olingan ma'lumotlarni qayta ishlash paradigmalarni tanlash uchun umumiy qo'llanma sifatida foydalanish mumkin.
REFERENCES
1. H. Cao, M. Brown, L. Chen, R. Smith, M. Wachowicz, "Lessons Learned from Integrating Batch and Stream Processing using IoT Data". // 2019 Sixth International Conference on Internet of Things: Systems, Management and Security (IOTSMS), 22-25 October 2019.
2. M. Marjani, F. Nasaruddin, A. Gani, A. Karim, I. A. T. Hashem, A. Siddiqa, et al., "Big iot data analytics: architecture opportunities and open research challenges", // IEEE Access, vol.5,pp. 5247-5261, 2017.
3. P. K. D. Pramanik, P. Choudhury, S. Pal, and A. Brahmachari, "Pro- cessing IoT Data: From Cloud to Fog-It's Time to Be Down to Earth," in Applications of Security, Mobile, Analytic and Cloud (SMAC) Technologies for Effective Information Processing and Management. // IGI Global, May 2018, pp. 124-148.
4. M. Abu-Elkheir, M. Hayajneh, and N. A. Ali, "Data Management for the Internet of Things: Design Primitives and Solution," // Sensors, vol. 13, no. 11, pp. 15 582-15 612, Nov. 2013.
