CC BY
5UDC: 004.89(045)(575.1) EDN: https://elibrary.ru/osxvir
KO'ZI OJIZ INSONLAR UCHUN SUN'IY INTELLEKTGA ASOSLANGAN
YORDAMCHI TIZIM
Umarov Muhriddin Abduxalil o'g'li
texnika fanlari bo'yicha falsafa doktori (PhD), dotsent,
ORCID: 0000-0002-3731-1326, e-mail: muhriddin.umarov1992@ gmail.com
"University of Management and Future Technologies" MChJ, "Kommunikatsiya va raqamli texnologiyalar" kafedrasi
Annotatsiya. Mazkur maqolada ko'zi ojiz va zaif ko'ruvchi insonlarga qulaylik yaratish uchun sun'iy intellekt texnologiyalaridan foydalanib, yordamchi tizim ishlab chiqish masalasi o'rganilgan. Ushbu tizim obyektlarni tanib olish, to'siqlargacha bo'lgan masofani o'lchash va matnlarni aniqlash kabi vazifalarni bajaradi. Obyektlarni tanib olish va to'siqlar masofasini o'lchashda mashinali o'qitish, tasvirdagi matnlarni aniqlashda optik belgilarni aniqlash hamda olingan natijalarni ovozli ifodalashda matnlarni tahlil qilish algoritmlaridan foydalanildi. Ko'zi ojiz va zaif ko'ruvchi insonlarning atrof-muhitni anglashi, insonlar bilan muloqot qilishi va mustaqil harakatlanishiga ko'maklashish hamda ijtimoiy faoliyatini yaxshilash asosiy maqsad hisoblanadi. Ko'zi ojiz insonlar uchun foydalanishga qulay, arzon va o'zbek tilida natijalarni bayon qiluvchi dasturiy vositalar ishlab chiqish dolzarb muammolardan biridir. Ishlab chiqilgan algoritmlar yordamida obyektlar va matnlarni aniqlash bo'yicha o'tkazilgan tadqiqot natijalari mos ravishda 92,16 va 99,87 %ni tashkil qildi. To'siqlar masofasini o'lchashning mobil ilovaga nisbatan maksimal og'ish darajasi 6,32 %ni tashkil etdi. Bunday natijalar shuni ko'rsatadiki, taklif etilayotganyordamchi tizim tijorat qurilmalari kabi ishonchli ko'rsatkichlar taqdim etadi. Bundan tashqari, ko'rish qobiliyati zaif insonlarning xavfsizligiga foyda keltiradigan kundalik hayotning asosiy talablariga javob beradi.
Kalitso'zlar: ko'zi ojiz insonlar, sun'iy intellekt,yordamchi tizim, obyektlarni tanib olish, matnlarni aniqlash, to'siqlar masofasini o'lchash, ovozli ifodalash.
СИСТЕМА ПОМОЩИ НЕЗРЯЧИМ ЛЮДЯМ НА ОСНОВЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Умаров Мухриддин Абдухалил угли
доктор философии по техническим наукам (PhD), доцент
ООО «Университет менеджмента и технологий будущего», кафедра «Коммуникации и цифровые технологии»
Аннотация. В данной статье речь идёт о разработке системы-помощника с использованием технологий искусственного интеллекта для обеспечения комфорта незрячим и слабовидящим людям. Эта система выполняет такие задачи, как распознавание объектов и текста, измерение расстояния до препятствий. Алгоритмы машинного обучения использовались для распознавания объектов и измерения расстояния до препятствий, алгоритмы оптического распознавания знаков - для распознавания текста на изображении и алгоритмы анализа текста - для голосового представления выявленных результатов. Основная цель - помочь слепым и слабовидящим людям понять окружающую среду, общаться с людьми и самостоятельно передвигаться, а также улучшить свою социальную активность. Одной из актуальных проблем в нашей стране является разработка программных средств на узбекском языке для незрячих людей, простых в использовании, недорогих и эффективных. Результаты исследования по идентификации объектов и текстов с помощью разработанных алгоритмов составили 92,16 и 99,87 % соответственно. Максимальное отклонение измерения расстояния до препятствий по сравнению с мобильным приложением составило 6,32 %. Такие результаты показывают, что предлагаемая вспомогательная система обеспечивает надёжную работу, аналогичную коммерческим устройствам. Она отвечает основным требованиям повседневной жизни, которые способствуют безопасности и благополучию людей с нарушениями зрения.
H^TH6ocnHK^HTHpoBaHHe/ritation: Umarov, M. (2024). Artificial intelligence-based system to help blind people (In Uzbek). Science and Innovative Development, 7(2), 25-35. 25
Ключевые слова: незрячие люди, искусственный интеллект, система-помощник, распознавание объектов, обнаружение текста, измерение расстояния до препятствий, голосовое выражение.
ARTIFICIAL INTELLIGENCE-BASED SYSTEM TO HELP BLIND PEOPLE
Umarov Mukhriddin Abdukhalil ugli
Doctor of Philosophy in Technical Sciences (PhD), Associate Professor
"University of Management and Future Technologies" LLC, Department of Communications and Digital Technologies
Kelib tushgan/Получено/ Received: 23.02.2024
Цабул цилинган/
Принято/Accepted:
06.03.2024
Нашр этилган/
Опубликовано/Published:
22.04.2024
Abstract. The article reveals development of a support system based on the artificial intelligence (AI) technologies to help the blind and visually impaired people. This system is effective in implementing of the following tasks: object recognition, measurement of distances towards obstacles, and text recognition. Machine learning algorithms were used for object recognition and obstacle distance measurement, optical character recognition algorithms for text recognition in the image, and text analysis algorithms for voice representation of the identified results. The main goal is to help blind and partially sighted people to realize their environment, communicate with people and move independently, as well as improve their social activities. One of the urgent problems in our republic is the development of software tools that will be easy in use, affordable and effective in Uzbek for the blind. Findings from the research into identifying objects and texts by means of developed algorithms were 92.16% and 99.87%, respectively. Maximum deviation of the obstacle distance measurement compared to the one measured by mobile application was 6.32%. Such findings show that the proposed support system ensures reliable performance similar to commercial devices. It meets basic requirements of everyday life that benefit safety and well-being of visually impaired people.
Keywords: blind people, artificial intelligence, assistant system, object recognition, text detection, obstacle distance measurement, vocal expression.
Kirish
Vision Loss Expert Group (VLEG) tomonidan ishlab chiqilgan statistik ma'lumotlarga ko'ra, dunyo miqyosida ko'zi ojiz insonlar soni 2050-yilda 115 million kishiga yetishi kutilmoqda (LESH, 2023). Bugungi kunda mamlakatimizdagi 76 020 nafar ko'zi ojiz insonlarning 64 244 nafari O'zbekiston ko'zi ojizlar jamiyati hisobiga olingan. Jami ishlovchi ko'zi ojiz insonlar soni 3 305 nafarni, shundan 1 539 nafari jamiyat korxonalarida, 557 nafari jamiyat tizimida va 1209 nafari tizimdan tashqari turli tashkilotlarda faoliyat yuritmoqda (Society of the Blind of Uzbekistan, 2024).
Odatda, ko'rish qobiliyati zaif insonlar ko'rish tizimlarisiz tashqi ma'lumotni idrok eta olmaydi, bu esa kundalik hayotda turli qiyinchilik va noqulayliklarga olib keladi (El-Rashidy et al., 2021). Masalan, ular to'siqlar va yaqin atrofdagi tanib bo'lmaydigan buyumlarga urilishi, shuningdek, kitob yoki ekrandagi kontentni o'qiy olmasligi tufayli yiqilib tushishi mumkin (Jivrajani et al., 2023). Hozirgi kunda tijorat qurilmalari qimmat, katta hajmli va natijalarni ovozli ifodalashda til muammolari mavjud hamda atrof-muhitni tushunarli va yuqori aniqlikda yetkazib berish dolzarb muammolardan hisoblanadi. Shu sababli ko'rish qobiliyati zaif insonlar uchun yordamchi tizim usullarini yanada takomillashtirish zarur.
Ko'rish qobiliyati zaif insonlarga tashqi ma'lumotni idrok etishga yordam beradigan bir nechta yechimlar taklif qilingan. Masalan, ko'zi ojiz insonlar o'z atrofida harakat qilish va o'zlarini boshqalarga ko'rsatish uchun, asosan, hassadan foydalanadi (Husin, & Lim, 2020). Biroq bu vosita uzoqdan yaqinlashib kelayotgan to'siqlar haqida oldindan ogohlantirmaydi, shuningdek, tizzadan yuqorida joylashgan to'siqlarni tanimaydi.
Yo'l ko'rsatuvchi itlar ko'rish qobiliyati zaif insonlarga yordam beradigan yana bir variant bo'lib, bu ularga mustaqil, ishonchli va boshqalarga tayanmasdan xavfsiz yurishiga
yordam beradi va to'siqlar natijasida jarohat olishining oldini oladi. Lekin yo'l ko'rsatuvchi itlarni o'rgatish vaqt va ko'p kuch talab etadi. Bunday jarayon, odatda, 2 yilgacha davom etadi va narxi qimmat (Glenk et al., 2019). Hozirgi kunda turli vositalar va sun'iy intellekt texnologiyalarining rivojlanishi bilan boshga taqiladigan, ovozli ko'rsatma beradigan va qo'lda foydalaniladigan bir nechta prototiplar taklif etilgan (Chang et al., 2020; Kuriakose et al., 2020; Li et al., 2019). Ularning aksariyati yaqin atrofdagi ma'lumotlarni to'plash uchun turli xil sensorlarni birlashtiradi va eshitish vositasi orqali xabar beradi. Sog'liqni saqlash nazorati funksiyasini qo'shish va monitoring qilish, umumiy xarajatlarni bir vaqtning o'zida kamaytirish orqali uni yanada takomillashtirish mumkin.
Mavjud kamchiliklarni bartaraf etish uchun joriy prototiplar asosida sun'iy intellektga asoslangan yordamchi tizim ishlab chiqilgan. Ushbu tizim obyektlarni tanib oladi va ularning foydalanuvchidan uzoqligini taxmin qiladi. Bundan tashqari, ovozli yordamchi orqali taqdim etilishi mumkin bo'lgan matnni aniqlaydi va foydalanuvchiga uzatish imkonini beradi. Keyinchalik ko'rish qobiliyati zaif insonlarga atrof-muhitdagi obyektlar haqida ma'lumotni yaxshiroq idrok etishiga yordam berish va real vaqt rejimida ishlashini ta'minlash uchun tasvirga oid barcha ma'lumotlarni qayta ishlash maxsus serverlarda amalga oshiriladi. Natijada yordamchi tizimlar kundalik hayotda ko'rish qobiliyati zaif insonlarning xavfsizligini yaxshilashga xizmat qiladi.
Ko'rishda nuqsoni bo'lgan insonlarning idrok etish qobiliyatini yaxshilash uchun taklif etilayotgan sun'iy intellektga asoslangan yordamchi tizim real vaqt rejimida obyektlarni tanib olish, to'siqlar masofasini o'lchash va matnni aniqlashga yordam beradi. Bundan tashqari, ovozli ifodalash orqali tegishli ma'lumotlarni o'zbek tilida taqdim etadi. Tajribalar bunday funksiyalarning qulayligini ko'rsatdi va ularning atrof-muhit haqida muhim ma'lumotlar olishiga keng imkoniyatlar yaratadi.
Material va metodlar
Ko'rishda nuqsoni bo'lgan insonlarga yordam beruvchi tizim texnologik asoslariga ko'ra uchta alohida toifaga ajratildi: kompyuter ko'rishga asoslangan, kompyuter ko'rishga asoslanmagan va gibrid (Plikynas et al., 2020). Kompyuter ko'rishga asoslangan tizimlar atrof-muhit haqida ma'lumot berish uchun real vaqt rejimida video oqimlar yoki tasvirlar asosida ishlaydi. Kompyuter ko'rishga asoslanmagan tizimlar atrof-muhitni tahlil qilish va foydalanuvchiga tegishli ma'lumotlar yetkazish uchun ko'plab sensor va modullardan foydalanadi. Gibrid tizimlar ikkala yondashuvning afzalliklarini olish uchun kompyuter ko'rishga asoslangan sensor texnologiyalarni birlashtiradi. Yordamchi tizim ko'p funksiyali bo'lishi, natijalarning aniqligi hamda qulay tarzga ifodalanishi muhim masalalardan hisoblanadi.
Obyektlarni tanib olish. Mashhur olim Lowe yorug'lik va shovqin ta'sir qilmaydigan ishonchli xususiyatlarni aniqlaydigan Scale Invariant Feature Transform (SIFT) algoritmini taklif qildi (Lowe, 2004). Keyinchalik SIFTga asoslangan takomillashtirilgan Speeded-Up Robust Features (SURF) algoritmi ishlab chiqildi (Bay et al., 2008). Ushbu an'anaviy algoritmlar muhim obyektlarni aniqlash uchun past darajadagi xususiyatlarni qo'lda ajratib oladi va ko'p toifali obyektlarni samarali taniy olmaydi (Xiao et al., 2020). Shu maqsadda bir nechta chuqur o'qitish algoritmlari qo'llanildi. Ular nafaqat murakkabroq, balki bitta neyron tarmoq yordamida xususiyatlarni ajratib olish, tanlash va tasniflash imkonini beradi. Region-Convolution Neyron Network (R-CNN) algoritmi obyektlarni tanib olish aniqligini yaxshilashga katta yordam beradi (Sermanet et al., 2013; Wu et al., 2020), biroq real vaqt talablarida yetarli javob bermaydi (Liu et al., 2021). The You Only Look Once (YOLO) algoritmi chuqur o'qitishda regressiyadan foydalanadi. U real vaqt talablariga javob berib, soniyasiga 40 ta kadrni (FPS) qayta ishlashi mumkin (Khamdamov et al., 2022). Umuman olganda, chuqur o'qitish algoritmlari tanib olish aniqligi va tezligi bo'yicha an'anaviy usullardan ancha ustun (Redmon et al., 2016).
To'siqlargacha bo'lgan masofani o'Ichash. To'siqlar masofasini o'lchashni to'rt toifaga bo'lish mumkin: ultratovush, infraqizil, lazer va vizual (Dunai et al., 2014). Masalan, Meshram et al. (2019) tomonidan olib borilgan tadqiqotlarda ultratovushli datchiklardan tizza ostidagi to'siqlarni aniqlash uchun foydalanilgan. Villanueva & Farsi (2011) esa hassani infraqizil datchiklar bilan birlashtirib, to'siqlardan aks ettirilgan infraqizil impulslarni chiqardi va aniqladi. Bu ko'rish qobiliyati zaif odamlarga yo'lda yetarlicha keng yo'l topishga imkon berdi.
Yuqorida tavsiflangan yondashuvlar diapazondagi muammoni hal qilish uchun ishlatilishi mumkin, biroq ular yaqin atrofdagi harakatlanuvchi obyektlarni aniqlash uchun mos emas. Bundan tashqari, harorat, namlik va atrof-muhit shovqini kabi atrof-muhit parametrlari ta'sir qiladi hamda lazer insonning ko'ziga zarar yetkazishi mumkin (Mustapha et al., 2013). Shu sababli kompyuter ko'rishga asoslangan usul eng yaxshi yechim hisoblanadi (Monteiro et al., 2017) kamera atrofida sodir bo'layotgan harakatlarni tanib olish va ko'rish qobiliyati zaif insonlar uchun fikr-mulohazalarni berishda konvolyutsion neyron tarmog'idan foydalangan. Shunday qilib, kompyuter ko'rishga asoslangan yondashuvlar ko'rish qobiliyati zaif insonlarga atrof-muhitni his qilishi va to'siqlardan ishonchliroq qochishiga yordam beradi.
Matnni aniqlash. Oldingi bir qator tadqiqotlar real vaqt rejimida matnni aniqlashni amalga oshiradigan mustahkam tizimlarni ishlab chiqishga qaratilgan. Ko'p hollarda kitob yoki ekrandagi kontentni olish uchun chegaralar va optik belgilarni aniqlash (OCR-Optical Character Recognition) kabi kompyuter ko'rish usullaridan foydalanilgan. Masalan, Pei & Zhu (2020) tomonidan Tesseractga asoslangan real vaqt rejimida matnni aniqlash tizimi taqdim etilgan. Long Short-Term Memory (LSTM) arxitekturasini o'z ichiga olgan yangi xususiyatli so'zlar va satrni aniqlash vazifasini bajaradi. Har bir kadr uchun matnni aniqlaydi va bashorat qiladi, keyin har bir kadr uchun bashorat yorliqlarini yakuniy ketma-ketlikka aylantiradi. Mukhiddinov va Cho kabi olimlarning tadqiqotlarida OCR orqali matnni end-to-end tanib olish algoritmidan foydalanib aniqlash amalga oshirilgan. Uning asosiy komponenti matnni tanib olish uchun o'zgartirilgan to'liq konvolyutsion tarmoq hisoblanadi (Mukhiddinov, & Cho, 2021).
Tadqiqot natijalari
Ko'zi ojiz insonlarning kundalik hayotidagi turli holatlari va ehtiyojlarini hisobga olgan holda, uchta asosiy talab bajarilishi kerak. Shu maqsadda 1-rasmda YOLO algoritmi asosida atrof-muhitni idrok etadigan yordamchi tizim uchun taklif qilingan dizayn ko'rsatilgan. Bu yerda tasvirlar kamera yordamida olinadi va neyron tarmoq modeli mos masofadagi tashqi obyektlar va kitob yoki ekrandagi kontentni aniqlaydi. Ma'lumotlarni yig'ish va monitoring qilish uchun natijalarni markaziy serverga yuklash mumkin.
Kamera
Tasvir olish
4
V
Raspberry Pi
Ma'lumotlarni almashish
Server
Ma'lumotlarga ishlov berish
Bluetooth
1-rasm. Obyektni tanib olish, to'siqlar masofasini o'lchash va matnni aniqlash uchun
tavsiya etilgan dizayn
Obyektlarni tanib olish YOLO algoritmi tomonidan amalga oshiriladi. Bunday chuqur neyron tarmoqlardan foydalanish orqali obyektni tanib olishning aniqligi va tezligi oshirildi (Khamdamov et al., 2022; Umarov et al., 2022). U tasvirni bo'laklarga bo'lish va har bir bo'lakdagi katakchalar uchun chegaralovchi qutilarni bashorat qilish orqali ishlaydi. Shuning uchun ular atrofida chegaralovchi qutilar yaratishda tasvirdagi bir nechta obyektlarni tanib olishi mumkin. Bundan tashqari, uning yengil ishlashi cheklangan ishlov berish quvvatiga ega bo'lgan qurilmalarga mos va Raspberry Piga integratsiya qilish imkonini beradi. Bu tadqiqotda YOLO neyron tarmog'idan foydalanildi. Uni, asosan, uchta qatlamga bo'lish mumkin: xususiyatlar xaritasi, obyektlarni aniqlash va sinflashtirish (2-rasm).
Xususiyatlar xaritasi
Obyektlarni aniqlash
Kirish
2-rasm. YOLO arxitekturasi
Birinchi qatlam kameradan olingan kiruvchi tasvirlardan xususiyatlarni ajratib olish uchun mas'ul. Xususiyatlar xaritasi qatlami CNN modeli orqali turli masshtablarda ierarxik xususiyatlarni to'plash uchun bir qator konvolyutsiya va birlashtirish operatsiyalarini bajaradigan tayanch bo'lib xizmat qiladi. Obyektlarni aniqlash qatlami xususiyatlar xaritasi qatlamining chiqishi bilan bog'laydi va turli o'lchamdagi obyektlarni aniqlash qobiliyatini yaxshilashi mumkin bo'lgan xususiyat sintezidan foydalanadi. Nihoyat, sinflashtirish qatlami obyektning yakuniy bashoratini chegaralovchi quti bilan ifodalaydi.
Obyektlarni tanib olishdan tashqari, to'siqlardan qochish nazoratini amalga oshirish uchun ko'zi ojiz insonlar oldidagi to'siqlarni masofadan o'lchashga erishish muhimdir. Shu maqsadda binokulyar ko'rish diapazoni usuli binokulyar kameradan (Intel RealSense D435) yozib olingan ma'lumotlardan foydalaniladi. 3-rasmda ko'rsatilganidek, bu yerda OL va OR chap va o'ng linzalarga ishora qiladi; /kameraning fokus uzunligini bildiradi; B chap va o'ng linzalar orasidagi masofani bildiradi; a - linzaning kengligi, P - to'siqning maqsad nuqtasi, P', P" - P va ikkita linzalarning kesishish nuqtalari, m - linzalarning o'rta nuqtasi, n - linzaning so'nggi nuqtasi va Z - to'siqlardan asosiy chiziqqacha bo'lgan masofani ifodalaydi.
3-rasm. To'siqlargacha bo'lgan masofani binokulyar ko'rish usuli asosida o'lchash
Matematik jihatdan ularning munosabatlarini quyidagicha ifodalash mumkin:
Z-f B-(m+n)
, r VC
X, = - + m
K 2
П.
(1), (2) va (3) formulalarni birlashtirib, (4) form ulani ho s il qi 1 am i z :
_ B*f _ B*£ XT _Xu d
(1) (2)
(3)
(4)
Bu yerda Z o'zaro B, f va d (tegishli chap va o'ng nuqtalarning paralaksi, ya'ni XL-XR) bilan bog'liq. B va f kameraning o'zgarmas qiymatlari bo'lib, ular nisbatan o'zgarmas va har bir nuqtaning paralaksi d qiymati olinganda, Z qiymatini (to'siqlar masofasi) mos ravishda baholash mumkin. Natijada, agar to'siq aniqlansa va foydalanuvchilargacha bo'lgan masofa o'lchansa, yordamchi tizim obyektlarning toifasi haqida ko'rish qobiliyati zaif insonlarga tegishli masofa bilan xabar qilishi mumkin.
Bundan tashqari, kitob yoki ekrandagi kontentni o'qish vaqtida duch keladigan muammolarni hal qilish uchun OCR asosidagi matnni aniqlash usuli ovozli yordamchi bilan birgalikda qo'llanildi. Butun jarayon 4-rasmda ko'rsatilganidek, bir necha bosqichni o'z ichiga oladi. Dastlab binokulyar kameradan tasvir, so'ngra tasvir shovqinini kamaytirish uchun namuna olinadi. Keyinchalik tasvirdan tegishli matn hududini olish uchun kulrang tasvirga aylantiriladi va binarizatsiya qo'llaniladi. Shundan so'ng alohida belgilarni segmentlarga bo'lish uchun belgilar ajratib olinadi. Navbatdagi qadam segmentlangan tasvirni skanerlashni o'z ichiga oladi va muhim belgilardan xususiyat vektorlari olinadi. Xususiyat vektorlarini optimallashtirish maqsadida shablon kutubxonasiga moslashtiriladi. Bu esa shablonlarni aniq moslashtirish va belgilarni aniqlash imkonini beradi. Nihoyat, natijalar ko'rishda nuqsoni bo'lgan insonlar uchun o'qish muammolarini hal qiladigan ovozli yordamchi orqali ifodalanadi.
4-rasm. Matnni tanib olish tuzilmasi
Tadqiqot natijalari tahlili
Eksperimental amaliyot, asosan, ishlab chiqilgan algoritmlar orqali uchta asosiy masalani tekshirishni o'z ichiga oldi. Uning maqsadi ushbu tizimning turli sharoitlarda ushbu funksiyalarni bajarishi mumkinligini tekshirishdir. Tajribalar obyektlarni tanib olish, to'siq masofasini o'lchash va matnni aniqlash uchun o'rnatilgan Raspberry Piga ulangan binokulyar kameraga ega. Yuqorida aytib o'tilganidek, bu real vaqt rejimi talablarini bajarish uchun yordamchi tizim tomonidan amalga oshirildi.
Obyektlarni tanib olish va to'siqlar masofasini o'lchashni tekshirish uchun bino ichi va bino tashqarisida aniqlanadigan bitta yoki bir nechta obyektlarni o'z ichiga olgan 20 ta holatdan foydalangan holda baholash o'tkazildi. Natijalar bino ichida 5-rasmda va bino tashqarisida 6-rasmda ko'rsatilganidek, tegishli masofaga ega bo'lgan berilgan obyektni qamrab oldi. Turli sinov holatlarida obyektlarni tanib olishning batafsil natijalari 1-jadvalda keltirilgan.
5-rasm. Bino ichida olingan tasvirlar yordamida obyektlarni tanib olish va to'siq masofasini o'lchash natijalariga misol
6-rasm. Bino tashqarisida olingan tasvirlar yordamida obyektlarni tanib olish va to'siq
masofasini o'lchash natijalariga misol
1-jadval natijalari bitta, ikkita va uchta obyektli holatlar uchun yuqori aniqlikni ko'rsatadi. Biroq tasvirdagi obyektlar soni ortishi bilan, ayniqsa, o'xshash ko'rinishdagi obyektlar uchun xatoliklar kuzatildi. Masalan, 10 va 13 holatlarda kompyuter monitori televizor sifatida noto'g'ri identifikatsiya qilingan, 19 va 20 holatlarda esa mototsikl velosiped sifatida noto'g'ri aniqlangan. Bu o'xshash obyektlarni tanib olish qobiliyatini yaxshilash uchun qo'shimcha ma'lumotlarni qayta ishlash zarurligini bildiradi. Yordamchi tizim obyektlarni tanib olishning
taxminan 92,16% aniqligiga erisha oldi (20 holatda jami 51 tadan 47 ta to'g'ri bashorat va atigi 4 tasi xato). Bu ko'rish qobiliyati zaif insonlarga obyekt haqida ma'lumot berish uchun yetarlidir.
1-jadval
Turli hollarda obyektlarni tanib olish ko'rsatkichlari
Holatlar Obyektlar soni Haqiqiy obyektlar Belgilangan obyektlar Noto'g'ri obyektlar
1 bitta odam odam y°'q
2 bitta kubok kubok y°'q
3 bitta qalam qalam y°'q
4 bitta klaviatura klaviatura y°'q
5 bitta monitor monitor y°'q
6 ikkita odam, shisha odam, shisha y°'q
7 ikkita kreslo, sichqoncha kreslo, sichqoncha y°'q
8 uchta kitob, qalam, telefon kitob, qalam, telefon y°'q
9 uchta odam, kubok, stul odam, kubok, stul y°'q
10 to'rtta odam, sichqoncha, monitor, klaviatura odam, sichqoncha, televizor, klaviatura monitor
11 to'rtta odam, shisha, stul, telefon odam, shisha, stul, telefon y°'q
12 to'rtta kitob, qalam, sichqoncha, klaviatura kitob, qalam, sichqoncha, klaviatura y°'q
13 beshta odam, shisha, stul, sichqoncha, monitor odam, shisha, stul, sichqoncha, televizor monitor
14 bitta avtomobil avtomobil y°'q
15 ikkita velosiped, mototsikl velosiped, mototsikl y°'q
16 ikkita odam, avtomobil odam, avtomobil y°'q
17 uchta odam, mashina, daraxt odam, mashina, daraxt y°'q
18 uchta odam, velosiped, avtomobil odam, velosiped, avtomobil y°'q
19 uchta odam, mototsikl, avtomobil odam, velosiped, avtomobil mototsikl
20 beshta odam, daraxt, avtomobil, mototsikl odam, daraxt, avtomobil, velosiped mototsikl
Masofani o'lchash natijalariga kelsak, 1-jadvalda keltirilgan barcha holatlar orasida bir nechta obyektlar nomi noto'g'ri aniqlangan bo'lsa-da, ularning tegishli masofalarini olish mumkin va diapazoni 0,71-65,54 m. Mobil ilova bilan taqqoslaganda, og'ish darajasi 0,28-6,32 %ni tashkil qiladi. Masofa qanchalik uzoq bo'lsa, og'ish darajasi shunchalik yuqori bo'ladi. Masofa oshgani sayin ushbu uzoqdagi obyektlar uchun tasvirlardagi mos nuqtalar orasidagi tafovut kichikroq bo'lib, chuqurlikni baholashning aniqligini pasaytiradi. Shuning uchun chuqurlikni hisoblash usuli tufayli uzoq masofalarda cheklovlar mavjud.
Bundan tashqari, OCR usuli ko'rish qobiliyati zaif insonlar uchun real vaqt rejimida o'qish tajribasini yaxshilash uchun mo'ljallangan, masalan, odatda, bino ichida bo'lgan kitob yoki ekran kontentini o'qish. Shuning uchun uni baholash kitobdan olingan o'nta matn asosida amalga oshirildi va namunaviy natijalar 7-rasmda ko'rsatildi. Shunisi e'tiborga loyiqki, ushbu test holatida barcha so'zlarni aniqlash mumkin.
FAOLIYATIGA MUNOSABAT
1. K. Tursinkulova, 04.10.2023 dan 11.12.2023 gacha davr ichida o'zini faol,
tashabbuskor, mehnatkash, mas' uliyatli magistrant sifatida ko'rsatib ilmiy va pedagogik amaliyotni o'tkazdi.
1-bosgich talabasi Tursinkulova I. K. individual dasturda ishladi, unga muvofiq
bitta ma"ruza va ikkita laboratoriya mashg ulotlarini olib bordi. I. K. Tursinkulova ilgari
organilgan materialdan mustaqil ravishda tahlil gilib, jamoani boshgarish va darsda
7-rasm. Matnni aniqlash natijalariga misol
Qo'shimcha holatlar turli xil sonli so'zlarni o'z ichiga olgan va natijalar 2-jadvalda keltirilgan. Mazkur usul real vaqt rejimida matnni aniqlashda juda kichik xatolarga olib kelishi mumkin bo'lsa-da, aniqlik taxminan 99,87 %ni tashkil etdi. EasyOCR and TesserOCR algoritmlari (Kirill et al., 2021) yordamida olingan natijalar bilan solishtirma ko'rsatkichlar 3-jadvalda keltirilgan. Shunday qilib, Bluetooth audio uskunasi orqali bunday so'zlarni ifodalash orqali ko'rish qobiliyati zaif insonlar kundalik hayotda o'qish tajribasini yaxshilashi mumkin.
2-jadval
Turli holatlardagi matnni aniqlash ko'rsatkichlari
Holatlar Asl so'zlar soni To'g'ri so'zlar soni Aniqlik (%)
1 263 263 100
2 422 422 100
3 489 489 100
4 784 783 99,87
5 986 980 99,39
3-jadval
Turli algoritmlar yordamida matn belgilarini aniqlash ko'rsatkichlari
Holatlar TesserOCR (%) EasyOCR (%) Bizning yondashuv (%)
1 99,55 99,55 99,68
2 100 99,53 99,81
3 100 100 100
4 100 99,02 100
5 97,97 75,38 98,79
Xulosalar
Ushbu maqolada obyektlarni tanib olish, to'siqlar masofasini o'lchash va matnni aniqlash kabi vazifalarni bajaruvchi ko'rish qobiliyati zaif insonlar uchun qulaylikni oshirish uchun yordamchi tizim taklif etildi. Bundan tashqari, foydalanuvchilarga aniqlangan natijalarni yetkazadigan ovozli yordamchi mavjud. Tadqiqot tajribalari obyektlarni tanib olish va matnni aniqlash uchun mos ravishda 92,16 va 99,87% yuqori aniqlikni ko'rsatdi. Mobil ilovaga nisbatan to'siqlar masofasini o'lchashda kuzatilgan maksimal og'ish darajasi 6,32 %ni tashkil qildi. Bunday natijalar shuni ko'rsatadiki, taklif etilayotgan tizim mavjud tijorat qurilmalari bilan raqobatlasha oladi. Arzon va ko'p funksiyali yordamchi tizim ko'rish qobiliyati zaif insonlarning ehtiyojlarini qondirish uchun mos va qulay yechim bo'lib, ularning xavfsizligi uchun xizmat qiladi.
FAOLIYATIGA MlNOSABAT , к Tureinkulova. 04.10.2023 dan 11 12.2023 «ach. to. ,-M Ù* «N—*. t0 ™"'b 'ЫУ " ^ .....— ¡nUzooini nqlab umsh. lalabdlar bilan muloq« мшМ bo'ldi. Mw««M «•*» **** Ч°1>И'>м|а"л' qolmay- baiki o'z nutqim qunsh. kclajakdagi kasbmmn cjlimoi) 1 tushuncha. o'quv jarayonining »iftlini la minlash »«.bun /лтопа texnologiyalar > ...... fiwdivali - " bahoga lo>4 Magisirant 1. К Tumnkukjv» Hraty iK-dag»^
Kelajakda yetarlicha katta ma'lumotlar to'plami yordamida tanib olishning aniqligini yanada yaxshilash uchun yordamchi tizimda kuchaytirilgan chuqur neyron tarmog'i kabi bir nechta ilg'or modellar o'rganiladi. Bundan tashqari, his-tuyg'ular va charchoqni aniqlash kabi qo'shimcha funksiyalar ko'rish qobiliyati zaif insonlarning umumiy hayot sifatini yaxshilash uchun ishlab chiqiladi.
REFERENCES
1. Bay, H., Ess, A., Tuytelaars, T., & Van Gool, L. (2008). Speeded-up robust features (SURF). Comput. Vis. Image Underst., 110, 346-359.
2. Chang, W., Chen, L., Hsu, C., Chen, J., Yang, T., & Lin, C. (2020). MedGlasses: A wearable smart-glasses-based drug pill recognition system using deep learning for visually impaired chronic patients. IEEE Access, 8, 1701317024.
3. Dunai, L.D., Lengua, I.L., Tortajada, I., & Simon, F.B. (2014, May 22-24). Obstacle detectors for visually impaired people. Proceedings of the 2014 International Conference on Optimization of Electrical and Electronic Equipment (OPTIM) (pp. 809-816). Bran, Romania.
4. El-Rashidy, N., El-Sappagh, S., Islam, S.M.R., El-Bakry, H.M., & Abdelrazek, S. (2021). Mobile health in remote patient monitoring for chronic diseases: Principles, trends, and challenges. Diagnostics, 11, 607.
5. Glenk, L.M., Prvibylová, L., Stetina, B.U., Demirel, S., & Weissenbacher, K. (2019). Perceptions on health benefits of guide dog ownership in an Austrian population of blind people with and without a guide dog. Animals, 9, 428.
6. Husin, M. H., & Lim, Y. K. (2020). InWalker: Smart white cane for the blind. Disabil. Rehabil. Assist. Technol., 15, 701-707.
7. Jivrajani, K., Patel, S. K., Parmar, C., Surve, J., Ahmed, K., Bui, F. M., & Al-Zahrani, F.A. (2023). AIoT-based smart stick for visually impaired person. IEEE Trans. Instrum. Meas., 72, 2501311.
8. Khamdamov, U., Umarov, M., Elov, J., Khalilov, S., & Narzullayev, I. (2022). Uzbek traffic sign dataset for traffic sign detection and recognition systems. Proceedings of the 2022 International Conference on Information Science and Communications Technologies (ICISCT) (pp. 1-5). Tashkent, Uzbekistan. doi:10.1109/ ICISCT55600.2022.10146832
9. Kirill, S., Anastasiya, Ch., Dmytro, D., & Serhii, M. (2021, April 22-23). Effectiveness of modern text recognition solutions and tools for common data sources. Proceedings of the 5th COLINS-2021. Kharkiv, Ukraine.
10. Kuriakose, B., Shrestha, R., Sandnes, F. E. (2020). Tools and technologies for blind and visually impaired navigation support: A review. IETE Tech. Rev., 39, 3.
11. LESH - Laser Eye Surgery Hub. (2023). Visual Impairment & Blindness Global Data & Statistics. https:// www.lasereyesurgeryhub.co.uk/data/visual-impairment-blindness-data-statistics
12. Li, B., Muñoz, J.P., Rong, X., Chen, Q., Xiao, J., Tian, Y., Arditi, A., & Yousuf, M. (2019). Vision-based mobile indoor assistive navigation aid for blind people. IEEE Trans. Mobile Comput., 18, 702-714.
13. Liu, Y., Sun, P., Wergeles, N., & Shang, Y. (2021). A survey and performance evaluation of deep learning methods for small object detection. Expert Syst. Appl., 172, 114602.
14. Lowe, D. G. (2004). Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vis., 60, 91110.
15. Meshram, V.V., Patil, K., Meshram, V.A., & Shu, F.C. (2019). An astute assistive device for mobility and object recognition for visually impaired people. IEEE Trans. Hum. Mach. Syst., 49, 449-460.
16. Monteiro, J., Aires, J. P., Granada, R., Barros, R. C., & Meneguzzi, F. (2017, May 14-19). Virtual guide dog: An application to support visually-impaired people through deep convolutional neural networks. Proceedings of the 2017 International Joint Conference on Neural Networks (IJCNN) (pp. 2267-2274). Anchorage, AK, USA.
17. Mukhiddinov, M., & Cho, J. (2021). Smart glass system using deep learning for the blind and visually impaired. Electronics, 10, 2756.
18. Mustapha, B., Zayegh, A., & Begg, R.K. (2013, December 3-5). Ultrasonic and infrared sensors performance in a wireless obstacle detection system. Proceedings of the 2013 1st International Conference on Artificial Intelligence, Modelling and Simulation (AIMS) (pp. 487-492). Kota Kinabalu, Malaysia.
19. Pei, S., & Zhu, M. (2020, Oct 31). Real-time text detection and recognition. Computer Vision and Pattern Recognition (cs.CV). doi:10.48550/arXiv.2011.00380
20. Plikynas, D., Zvironas, A., Gudauskis, M., Budrionis, A., Daniusis, P., & Sliesoraityte, I. (2020). Research advances of indoor navigation for blind people: A brief review of technological instrumentation. IEEE Instrum. Meas. Mag., 23, 22.
21. Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016, June). You only look once: Unified, real-time object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 779-788). Las Vegas, NV, USA.
22. Sermanet, P., Eigen, D., Zhang, X., Mathieu, M., Fergus, R., & LeCun, Y. (2013). Overfeat: Integrated recognition, localization and detection using convolutional networks. Computer Vision and Pattern Recognition (cs.CV). doi:10.48550/arXiv.1312.6229
23. Society of the Blind of Uzbekistan. (2024). https://uzkoj.uz/about-us/
24. Umarov, M., Elov, J., Khalilov, S., Narzullayev, I., & Karimov, M. (2022). An algorithm for parallel processing of traffic signs video on a graphics processor. Proceedings of the 2022 International Conference on Information Science and Communications Technologies (ICISCT) (pp. 1-5). Tashkent, Uzbekistan. doi:10.1109/ ICISCT55600.2022.10146809
25. Villanueva, J., & Farcy, R. (2011). Optical device indicating a safe free path to blind people. IEEE Trans. Instrum. Meas., 61, 170-177.
26. Wu, M., Yue, H., Wang, J., Huang, Y., Liu, M., Jiang, Y., Ke, C., & Zeng, C. (2020). Object detection based on RGC mask R-CNN. IETImage Process., 14, 1502-1508.
27. Xiao, Y., Tian, Z., Yu, J., Zhang, Y., Liu, S., Du, S., & Lan, X. (2020). A review of object detection based on deep learning. Multimed. Tools Appl., 79, 23729-23791.
