CC BY
74Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 1 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 1 | 2024 год
O'zbek ishora tili harflarini tanib olish algoritmi
E.M.Urinov,
texnika fanlari bo'yicha falsafa doktori (PhD), "University of management and future technologies" universiteti
Email: [email protected]
M.A.Umarov,
texnika fanlari bo'yicha falsafa doktori (PhD), "University of management and future technologies" universiteti
Annotasiya. Ushbu maqolada o'zbek imo-ishora tilining daktil alifbosi harflarini tanib olish algoritmi yoritilgan bo'lib, qo'yilgan masalani yechish uchun chuqur o'qitishga asoslangan YOLO arxitekturasining beshinchi versiyasidan foydalanilgan. Modelni o'qitish uchun o'zbek imo -ishora tilining daktil alifbosi harflarini ifodalovchi tasvirlardan tashkil topgan tasvirlar to'plami hosil qilingan. Ishlab chiqilgan model samaradorligini baholash uchun precision, recall, average precision kabi mezonlardan foydalanilgan.
Kalit so'zlar: imo-ishora tili, sun'iy neyron tarmoqlar, YOLO, daktil alifbo, tasvirlar to'plami, baholash mezonlari, obyektlarni aniqlash
Kirish. Imo-ishora tili qo'l va tana harakatlari yordamida sog'lom va eshitishda nuqsoni bor yoki umuman eshitmaydigan (kar-soqov) shaxslar o'rtasidagi muloqot o'rnatishda foydalaniladigan vosita hisoblanadi. Dunyoda muloqotdagi deyarli hamma tilning o'zga xos imo-ishora tili mavjud. Lekin aksariyat insonlar imo-ishora tilini tushunmasligi kar-soqov insonlarning jamiyatda yetarlicha o'z o'rnini topishda katta to'siq ekanini guvohi bo'lish mumkin. Imo-ishora tilini yozuvlar orqali ushbu tilni tushunmaydigan insonlarlarga samarali tarjima qilib berish zamonaviy tilshunoslikning muhim vazifalaridan biri desak mubolag'a bo'lmaydi. Jadal sur'atlar bilan rivojlanib borayotgan sun'iy intellekt texnologiyalari hamda kompyuter ko'rish algoritmlari imo-ishora tilini real vaqt rejimida matnli yozuvga yoki audio ma'lumotga o'girish imkoniyatini yaratmoqda. Ushbu maqolada O'zbek imo-ishora tili (O'IT) ning daktil alifbosini tanib olishga mo'ljallangan algoritm yoritilgan. Taklif etilgan algoritmni ishlab chiqishda o'ramli neyron tarmoq (CNN) arxitekturasi asosida qurilgan YOLO (You Only Look Once) obyektlarni aniqlash algoritmidan foydalanilgan.
Masalaning oTganilganlik darajasi. Dunyoda 300 dan ortiq turli xil imo-ishora tillari
mavjud va ularning aksariyati to'liq tabiiy tillar sifatida tan olingan. Shuningdek, xalqaro imo-ishora tili (International sign language, ISL) ham mavjud bo'lib, u turli mamlakatlardagi kar va eshitish qobiliyati zaif odamlar tomonidan karlar o'rtasidagi xalqaro tadbirlarda va muloqotda qo'llaniladi [1]. Keng tarqalgan ishora tillari sifatida amerika imo-ishora tili (AIT), xitoy imo-ishora tili (XIT), britaniya imo-ishora tili (BIT), rus imo-ishora tilllarini (RIT) keltirish mumkin. O'zbekiston va boshqa sobiq sovet ittifoqi davlatlari hududida RIT ishlatiladi. Dastlabki tadqiqotlar shuni ko'rsatadiki, Qirg'iziston, Tojikiston va O'zbekistonda qo'llaniladigan imo-ishora tili Rossiya Federatsiyasida qo'llaniladigan RITdan unchalik farq qilmaydi. Biroq mahalliy madaniy konteksdan kelib chiqib, ba'zi farqlanishlar ham kuzatiladi [2]. Misol uchun "D" va "J" harflari rus alifbosidan farqli belgilar bilan ifodalansa, "O'","G'", "Q" harflari faqatgina o'zbek tilida ishlatilgani uchun rus daktil alifbosida uchramaydi. Shuningdek, "L", "E", "E", "UU" kabi rus daktil alifbosidagi harflar lotin yozuviga asoslangan o'zbek daktil alifbosida mavjud emas. 1-rasmda o'zbek va rus tili daktil alifbosi keltirilgan. Hozirda respublikamizda rus va lotin yozuvidagi daktil alifbolardan foydalanilanib
29
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 1 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 1 | 2024 год
kelinmoqda. "O'zbek imo-ishora tili va brayl alifbosini rivojlantirish bo'yicha qo'shimcha chora-tadbirlari to'g'risi"dagi O'zbekiston Respublikasi Prezidentining Qarorining 5-bandida 2024-yil 1-yanvarga qadar ilg'or xorijiy tajribaga tayangan holda O'ITning ilmiy asoslarini va uning lotin yozuviga asoslangan daktil alifbosini ishlab chiqish hamda ushbu ishlarga oid ilmiy-tadqiqot loyihalari bo'yicha grantlar ajratish uchun tanlovlar o'tkazilishini tashkillashtirish belgilab o'tilgan.
Yuqorida keltirib o'tilgan qarordan kelib chiqqan holda lotin yozuvidagi daktil alifbosini tanib olishga mo'ljallangan algoritm ishlab chiqish maqsad qilingan. O'ITning o'ziga xos murakkabligi shundaki, alifbo harflari lotincha bo'lgani bilan uning belgisi rus daktil alifbosi belgilaridan olingan. Bu esa imo-ishora tilini matnga o'girishda bir qator murakkabliklar keltirib chiqaradi. Ya'ni, videoda tasvirlanayotgan imo-ishora tilidagi xabarni lotin yozuvida matnga o'girish kerak bo'ladi. Agar ushbu xabarni kril yozuvidagi matnga o'girish mumkin bo'lgan ushbu masalaning yechimi bir qadar yengillashishi mumkin bo'lar edi. Chunki bunday holatda avvaldan rus tilida ishlab chiqilgan yechimlardan ham foydalanish imkoni bo'lar edi.
; daktil alifbosi
1-rasm. O'zbek va rus daktil alifbosi.
Adabiyotlar tahlil. Hozirda ko'plab rivojlangan davlatlarda ishora tilini tanib olishga mo'ljallangan dasturiy tizimlar ishlab chiqilgan. AQSh, Kanada, Xitoy, Hindiston kabi davlatlarda ushbu masalani yechish bo'yicha ko'plab yutuqlarga
erishilgan. So'ngi yillarda chuqur o'qitishga asoslangan algoritmlar imo-ishora tilini tanib olish aniqligi va tezligini oshirishda muhim vosita sifatida qaralmoqda. Ayniqsa o'ramli neyron tarmoq arxitekturalaridan foydalanish boshqa usullardan samaradorligi bo'yicha ajralib turadi. [3] ishda YOLO modeli arxitekturasi asosida harf va raqamli ma'lumotlarni tanib olishga mo'ljallangan usul taklif etilgan. Mualliflar algoritm samaradorligini baholash uchun MU qo'l tasvirlari to'plami va Okkhor Nama tasvirlar to'plamidan foydalangan va mos ravishda 98,9% va 97,6% aniqlikka erishgan. [4] ishda Generativ raqobatlashuvchi neyron tarmoq (GANGenerative adversarial network) modeli taklif etilgan bo'lib, bunda imo-ishoralarni tanib olish uchun iyerarxik yondashuv ilgari surilgan. Taklif etilgan model davomli ma'lumotlarni tavsiflash uchun ikkita o'ramli qatlamni, kiruvchi ma'lumotlarni siqilgan ko'rinishini ifodalovchi yashirin fazo va uning ma'lumotlarini tanib oluvchi qatlamlarni (HAN -Hierarchical Attention Network) o'z ichiga oladi. Mualliflar algoritm samaradorligini baholash uchun CSL (Chinese Sign Language) va SLR (Sign language recognition) tasvirlar bazasidan foydalangan va ikkala to'plam bo'yicha o'rtacha 83% aniqlikka erishgan. [4] maqolada ikkita kiruvchi qatlamli o'ramli neyron tarmoq modeli taklif etilgan bo'lib, bunda modelga kiruvchi ma'lumot sifatida imo-ishora tili belgisi tasvir va qo'lning shu belgini ifodalagan holatdagi maxsus nuqtalari o'qitilgan. Dastlabki ishlov berish bosqichida imo-ishora tasviri ustida kulranga o'tkazish, o'lchamlarini kamaytirish va chegaralarni aniqlash kabi amallar bajarilgan bo'lsa, qo'lning maxsus nuqtalarini aniqlash uchun ushbu nuqtalar joylashgan koordinatalar aniqlanadi. To'liq bog'langan qatlamdan avval ushbu ikki qatlam birlashtiriladi va chiquvchi qatlam sifatida ishora belgisi tasniflanadi. Ushbu usul tasvir modelida 96.24% va maxsus nuqtalar modelida 96.29% aniqlikka erishgan bo'lsa, ikkala usulni birlashtirish orqali 98.98% aniqlikni qayd etgan.
Yuqorida keltirib o'tilgan usul va algoritmlardan tashqari yana ko'plab chuqur o'qitishga asoslanga algoritmlar ishlab chiqilgan bo'lishiga
30
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 1 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 1 | 2024 год
qaramay o'zbek tili uchun bunday dasturiy usul yoki algoritm ishlab chiqilmagan.
Masalaning qo'yilishi. Ushbu maqolada o'zbek imo-ishora tilining daktil alifbosini tanib olishga mo'ljallangan algoritm taklif etilgan bo'lib, algoritmni ishlab chiqish uchun transfer-learning (oldindan o'qitilgan CNN model) yondashuvi qo'llanilgan va buning uchun YOLO arxitekturasi tanlab olingan. Modelni o'qitish uchun lotin yozuviga asoslangan o'zbek daktil alifbosi belgilaridan tashkil topgan tasvirlar to'plami hosil qilindi. Hosil qilingan to'plam 464 ta o'quv namunasidan tarkib topgan bo'lib, bunda har bir sinf uchun 16 tadan tasvir ajratilgan.
To'plamga qo'yilgan talablar. Bilamizki, sun'iy neyron tarmoq modellarini ishlab chiqish modelga katta hajmli ma'lumotlar to'plamini o'qitish orqali amalga oshiriladi. O'z navbatida modelni o'qitishga mo'ljallangan to'plamga ham qator talablar qo'yiladi. To'plamda har bir sinfdagi o'quv namunalairini iloji boricha teng taqsimlanishi, bir sinfga tegishli namunalaning yetarlicha ko'p bo'lishi va turli ko'rinishlarda (fon, rakurs, yorqinlik, okklyuziya va boshqa tashqilar) aks etishi, na'munalarning bir xil hajmda bo'lishi kabilar shular jumlasidan. Dunyo tajribasidan ma'lumki, imo-ishora tilini tanib olishdagi dastlabki qadam - shu til alifbosidagi belgilarni tanib olishga mo'ljallangan algoritmni ishlab chiqish hisoblanadi. So'zlashuvdagi har bir tilning boshqa tillardan farq qiluvchi harflari va xususiyatlari bo'lgani kabi bir xil harflari va shunga muvofiq imo-ishora belgilari ham mavjud. Misol uchun lotin yozuviga asoslanga o'zbek daktil alifbosida ham ingliz tilidagi harflar bilan bir xil va farq qiluvchi harflarni ham uchratish mumkin.
Taklif etilayotgan model
O'zbek imo-ishora tilining daktil alifbosini tanib olish modelini qurish uchun YOLO arxitekturasi tanlab olindi. Ushbu arxitekturani ishlash jarayoni uch bosqichni o'z ichiga oladi (2-rasm). Birinchi bosqichda manbaadan kelayotgan kiruvchi tasvirning xarakterli xususiyatlari ajratib olinadi. Shuningdek, CNN modeli orqali turli masshtablarda ierarxik xususiyatlarni to'plash uchun bir qator konvolyutsiya va birlashtirish
operatsiyalarini bajaradi. Ikkinchi bosqichda avvalgi bosqichda ajratib olingan xususiyatlardan kelib chiqib, ma'lum bir obyekt tavsiflanadi. Uchinchi bosqichda aniqlangan obyektning qaysi sinfga tegishli ekanligi tasniflanadi. Bizning misolimizda ushbu bosqichda aniqlangan obyektlar imo-ishora tilidagi qanday belgini ifodalashi tasniflanadi.
2-rasm. YOLO arxitekturasi.
Taklif etilayotgan o'bek imo-ishora tili harflarini tanib olish algoritmi tuzilmasi 3-rasmda keltirilgan. Modelga ma'lumotlarni o'qitish uchun lotin yozuviga asoslangan o'zbek daktil alifbosi tasvirlaridan iborat tasvirlar to'plami hosil qilindi. Hosil qilingan to'plamda ma'lumotlar 29 sinfga bo'lingan bo'lib, bu sinflar alifbodagi 29 harfni anglatadi. To'plamda har bir sinfga o'qitish uchun 13 tadan, testlash uchun 3 tadan na'muna ajratilgan.
3-rasm. O'zbek imo-ishora tilining alifbosini tanib olish algoritmi tuzilmasi.
daktil
Tajribaviy tadqiq qilish. YOLO arxitekturasi asosida ishlab chiqilgan modelni o'qitish uchun maxsus ishlab chiqilgan O'zbek imo-ishora tilining daktil alifbosini (O'ITDA) tasvirlar to'plamidan foydalanilgan va o'zbek daktil alifbosi tasvirlarining annotasiyalari kvadrat ramkalar bilan chegaralangan (4-rasm).
31
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 1 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 1 | 2024 год
4-rasm. O'zbek daktil alifbosini belgilash.
Ushbu to'plamning har birida 16 tadan tasvir bo'lgan kichik to'plamlarga bo'linib ketma-ket o'qitilgan. Shu tartibda butun to'plam 50 marta takroran o'qitildi. Epoxalar (to'plamni to'liq o'qitish va testlash jarayoni) sonini ortib borishi bilan o'qitish va sinov bosqichidagi xatolik va aniqlikni o'zgarib borish grafigi 5-rasmda tasvirlangan. Bu yerda train/boxlos - o'qitish bosqichidagi belgilarni aniqlash xatoligi, val/box_los - sinov bosqichdagi belgilarni aniqlash xatoligi, train/obj los - o'qitish bosqichdagi obyektlarni aniqlash xatoligi, val/obj_los - sinov bosqichdagi obyektlarni aniqlash xatoligi, train/clslos - o'qitish bosqichdagi obyektlarni tasniflash xatoligi, val/obj_cls - sinov bosqichdagi obyektlarni aniqlash xatoligi.
train/boxloss train/objloss trairl/ClSloss metr its/precision metrics/recall
0 20 40 0 20 40 0 20 40 0 20 40 0 20 40
5-rasm. Epoxalar ortib borishining model samaradorligiga ta'siri.
Model samarodorligini baholash uchun precision, recall va avarage precision mezonlaridan foydalanildi [5]. Tarmoq stoxastik gradiyent tushish
(SGD) orqaga siljish usuli orqali optimallashtirilgan va maksimal iterasiya 5*102 kabi o'rnatilgan. Tajribalar 3.2 GHz chastotali protsessor va RTX 3050 videokartali kompyuterda bajarilgan. Taklif etilayotgan algoritm asosida ishlab chiqilgan dasturiy ta'minotdan olingan natijalar 6-rasmda keltirilgan.
4
6-rasm. O'zbek imo-ishora tilining daktil alifbosini tanib oluvchi dasturiy vositadan olingan natijasi.
Xulosa. Ushbu maqolada o'zbek imo-ishora tilining daktil alifbosini tanib olish algoritmi taklif etilgan bo'lib, qo'yilgan masalani yechish uchun hozirgi kunda obyektlarni real vaqt rejimida tanib olish masalalarida keng qo'llanilayotgan YOLO arxitekturasining beshinchi versiyasidan foydalanildi. Modelni o'qitish uchun o'zbek imo-ishora tilining daktil alifbosini ifodalovchi belgilardan iborat tasvirlar to'plami hosil qilindi. Taklif etilgan model asosida O'zbek imo-ishora tilining daktil alifbosini tanib oluvchi dasturiy vosita ishlab chiqildi. Maqolada yoritilgan algoritm hamda u asosida ishlab chiqilgan dasturiy vosita o'zbek ishora tili so'zlarini matnga o'tkazish hamda ushbu matndan nutq signallarini sintezlash masalalarini yechish uchun dastlabki qadam vazifasini bajaradi.
Adabiyotlar
1. Hossain, Mir & Govindaiah, Arun & Sultana, Sadia & Bhuiyan, Alauddin. (2018). Bengali Sign Language Recognition Using Deep
32
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 1 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 1 | 2024 год
Convolutional Neural Network. 369-373. 10.1109/ICIEV.2018.8640962.
2. https://www.gazeta.uz/oz/2020/09/24/sign-language/
3. Nehal F. Attia, Mohamed T. Faheem Said Ahmed, Mahmoud A.M. Alshewimy. Efficient deep learning models based on tension techniques for sign language recognition, Intelligent Systems with Applications. Volume 20. 2023: 200284, ISSN 2667-3053, https://doi.org/10.1016/j.iswa.2023.200284.
4. Pathan RK, Biswas M, Yasmin S, Khandaker MU, Salman M, Youssef AAF. Sign language recognition using the fusion of image and hand landmarks through multi-headed convolutional neural network. Sci Rep. 2023 Oct 9; 13(1): 16975. doi: 10.1038/s41598-023-43852-x. PMID: 37813932; PMCID: PMC10562485.
5. Zhang, E., Zhang, Y. (2009). Average Precision. In: LIU, L., OZSU, M.T. (eds) Encyclopedia of Database Systems. Springer, Boston, MA. https://doi.org/10.1007/978-0-387-39940-9_482.
33
