CC BY
16FТАХР 14.85.09 DOI: 10.52512/2306-5079-2021-85-1-76-83
YЛКЕН КЭЛЕМД1 ДЕРЕКТЕРД1 ОЦУ YДЕРIСIНДЕ ЦОЛДАНУДАГЫ БАГДАРЛАМАЛЬЩ ОРТАЛАР ТУРАЛЫ
М. Серж, Г.Ф. Нурбекова*, Б.Б. Ахметова Л.Н.Гумилев атындагы Еуразия улттык университетi, Нур-султан к., Казахстан
*e-mail: gulnurfaz@mail .гц
Макалада Yлкен келемд1 деректерд1 окытуда б1рнеше багдарламалардын тYрлерi карастырылган жэне Yлкен деректердi кейбiр жогары оку орындарында ендiрiлу жагдайына талдаулар жасалган. Информатика бшм беру багдарламасынын магистратура белiмдерiнде оку процесше арнайы курстын ендiрiлуi мен оны жузеге асыру Yшiн жумыстык окыту багдарламасы, оку-эдiстемелiк кешенi мазмуны, цифрлы бiлiм ресурстары туралы айтылган. Yлкен деректердi жинау, сактау, сурыптауды жузеге асыратын аппараттык-багдарламалык камтаманын, сонымен бiрге колданылатын техникалык-технологиялык куралдардын теориялык негiздерi мен оларды колдану эдютершщ оку процесiне ендiрiлуi карастырылады.
Л.Н.Гумилев атындагы Еуразия улттык университетiнiн Акпараттык технологиялар факультетiнiн Информатика мамандыгынын жогары курс студенттерi мен магистранттардын оку Yдерiсiнде Yлкен деректердi бiлiм беру саласында колдану бойынша арнайы курс журпзшетш айтылган. Арнайы курстын бiрiншi модулiнде турникеттiн желiлiк контроллерiнiн мысалы ретiнде ЭРА 500 желiлiк контроллерi мысал ретiнде карастырылады.
Туйт свздер: окыту процеа, арнайы курс, Yлкен деректер технологиясы, элеуметтiк желiлер мен Заттар Интернет^ MapReduce есептеу модел^ ЭРА 500 желiлiк контроллерi.
Юркпе
Бугшп куш улкен келемд1 деректерд1 колдану элеуметпк-когамдык саланын барлык аумагына енд1ршд1. Yлкен курылымдарды курдел1 техника мен технологиясыз баскару мумкш болмай калды. Бшм беру саласы да осы тургыдан алганда курдел1 сала болып табылады. Yлкен келемд1 деректердщ бшм мазмунына ену1 жана заманауи технологияларды, аппараттык-багдарламалык камтамаларды, багдарламалау орталарын игерумен байланысты.
Yлкен деректер дегешм1з - бул курылымдык жэне курылымдык емес келемд1 деректерге арналган угым. Ресей Федерациясы Вятск мемлекетпк университетшщ галымдары «Бшм берудеп улкен деректермен жумыс ютеу - бул бшм алушылар мен бшм беру ортасы туралы улкен келемдеп курылымдык жэне курылымдык емес деректерд1 елшеу, жинау, талдау жэне усынуды камтитын бшм беру жуйесш талдау технологиясы», - деп аныктама беред1 [1].
Бшм беру саласындагы улкен деректерге байланысты ойларды саралауда авторлардын мынадай птрш келнруге болады: «Педагогтар улкен келемд1 деректерд1 колдану барысында окушылардын улгер1м жагдайын аныктайды, олардын жеткен жетюпктерш багалайды, сонымен б1рге бшм беру жуйесшдеп колданылатын багалау мен колдау сиякты жендщршген жуйеш колданады», - деп непздейдь
«Цифрлык Казакстан» мемлекетпк багдарламасында Бшм берудщ барлык денгешнщ мазмунын барлык мамандардын цифрлык дагдыларын дамыту аркылы толыгымен кайта карау кажет», - деп каз1рп бшм беру саласына улкен талаптар койып отырганын керем1з [2].
Бул талаптардын жузеге асырылуы Казакстан Республикасынын «Бшм туралы» Заны [3], Казакстан Республикасынын жогары бшм берудщ мемлекетпк жалпыга мшдетп стандартынын [4] жэне бшм беру туралы мемлекетпк багдарламалардын м1ндеттерш жузеге асырумен байланысты.
НепзН бвлiм
Каз1рп уакытта улкен келемд1 деректерд1 ендеудщ ен танымал багдарламасы - На^ор. Онын б1рнеше баламалары да бар, б1рак олардын барлыгы куатты емес жэне Hadoop сиякты деректермен тшмд1 жумыс ютей алмайды.
Hadoop сешмд1, масштабталатын жэне улеспршген есептеулер жасау ушш колданылады, сонымен б1рге оны петабайттык деректерд1 сактай алатын жалпы максаттагы файлдар коймасы ретшде де пайдалануга болады.
Бул багдарлама улкен деректерд1 колданатындардын бэрше жарайды, б1рак б1ршш1 артыкшылыгы елеул1 кемшшкп бшд1ред1 - талданган деректердщ жеткшкшз мелшерш колданган
кезде етмдшк айтарлыщтай темендейд^Алайда, кейбiр авторлар оны деректер квлемi 5 ТБ-дан ас^ан жагдайда гана ^олданган жен деп санайды. Эйтпесе, Hadoop-тыц мYмкiншiлiгi SQL ортасынан темен деп есептеледi, себебi SQL ортасын ^олдана отырып, кез-келген есептеулердi еркiн жYргiзуге болады немесе Python-да жасалган сценарийдi ^олдану ^ажет деп есептеледi.
Сонымен ^атар, индекстердi угымды пайдаланудыц ар^асында SQL с^раныстарын ете тез орындауга болады, ягни есептеу Yшiн тек индекстi пайдалану ^сынылады (эрине, егер индекс К¥рылса) жэне ^ажетп кiлт мэнiне кецш аудару керек. Ал Hadoop кестеш толыгымен сканерлеудi, содан кейiн толыщ с^рыптауды ^ажет етедi. Б^дан шагын ^йымдарда Hadoop жYЙесiн ^олдану практикалыщ тиiмдi емес деп есептеледi [5].
Жогары о^у орындарын бас^арудагы езгерiстердi жYзеге асыруды ^олдайтын жэне дамып келе жат^ан саланыц бiрi - интеллектуалды деректер талдаулары (Educational data mining-EDM). EDM технологиясын ^олдану мысалына бiтiрушi тYлектердiц алган багалары мен ж^мыс^а орналасу жагдайын критерийлер бойынша аныщтау жатады. Сонымен бiрге авторлар б^л технологияны электронды о^ытуда ^олданудыц мацыздылыгын атап етедi [6].
Бшм беру саласында ^олданыстагы деректердщ негiзгi бес тYрiн ерекшеленедi:
- жеке деректер;
- студенттердщ электронды о^ыту жYЙелерiмен езара эрекеттесуi туралы деректер (электронды^ о^улыщтар, онлайн-курстар);
- о^у материалдары туралы деректер;
- эюмшшк (жалпы жYЙелiк) деректерi;
- болжамды деректер.
Автор о^у орындарында эртYрлi типтi деректердщ ^олданылуы мен бшм беру саласына тигiзетiн жа^тарын темендегiдей мысалдарды келтiру ар^ылы атап етедь
1) Yлкен келемдi деректер жэне Yнемдiлiк. Статистикага сэйкес, АКЩ-та жыл сайын 400000 студент о^удан шыгарылады екен. Кептеген студенттер о^уга несие алады, егер кредиттi телей алмаса немесе кешш^рсе, тэуелдiлiкпен бiрге бYкiл несиелiк тарихтыц нашарлауына экелед^ Студенттердщ о^удан кетуi бiлiм беру ^йымдарыныц езiне де керi эсерш тигiзедi: о^удан шывдан о^ушылар агымы нег^рлым кеп болса, мемлекетке тYсетiн пайда мен мемлекеттiк ^аржылыщ ^олдау сог^рлым аз болады. Экономикалыщ фактордан бас^а бiрiншi курс студенттершщ келес курс^а ауысу пайызы колледждщ ^лттыщ рейтингтегi жагдайына эсер етедi.
Вирджиния достастыгы университетi тарапынан студенттерге керсетшген кемектщ ар^асында курсты ая^таган студенттер саны 16%-га, ал келесi курс^а еткен студенттер саны 8%-га арт^ан.
Индианадагы Болл мемлекеттiк университетi студенттердщ кампустыц эртYрлi шараларына ^атысуын талдау Yшiн Yлкен деректердi пайдаланады. Университет студенттердщ жеке куэлiктерi ар^ылы кампуста ^олдана отырып, студенттер ^алашыгына бару мен тYрлi ю-шаралардыц жиiлiгiн ба^ылайды: егер студенттердщ белсендiлiгi азайса, университет ^ызметкерлерi оныц себебiн аныщтайды жэне кемек ^сына алады.
2) О^ытуды жекелендiру. О^ытуды жекелецщрудщ танымал стратегияларыныц бiрi -артта калган студентке ^осымша онлайн курсын ^сыну. Аризона технологиялыщ университетiнде Knewton платформасы непзшде ^йымдастырылган онлайн курстарды пайдалану ар^ылы бiр ай б^рын емтихан тапсыруга мYмкiндiктерi болган.
Yлкен деректердi пайдаланудыц тагы бiр жагдайы - болжамды модельдеу.Американдыщ колледждер мен университеттер болаша^ студенттерге белгiлi бiр о^у орнына тYсуге ездерi ша^ырып, Yндеу хаттарын жiбередi. Эрбiр университет о^уга тYсуге болатын ец перспективалы студенттердi ша^ыруга тырысады. Пайдаланылган ForecastPlus болжамдыщ модельдеуi АКЩ-тыц 100-ден астам кампусында езшщ к¥ндылыгын дэлелдедi.Осылайша, Небраскадагы Крейтон Университет бiлiм керсеткiштерi темен деп есептеген 35000 студенттердi шеттетiп, оларга хат жiбермей, одан 30 000 доллардан астам Yнемдедi.
3) О^ыту сапасын арттыру. Уа^ыт еткен сайын кептеген о^у орындары Yлкен келемдегi деректер агынын ендейтiн технологияларды ^олдана бастады. Сан-Францискодагы Рузвельт бастауыш мектебiнде м¥Fалiмдер Yлгерiмi темен о^ушыларды аныщтау мен оларга кемек керсету Yшiн Dibels о^у тапсырмасын ^олданады. Аталган жYЙенi ^олдану м¥Fалiмге ез сабагын тез дайындап, о^ушылардыц ^ажеттшктерше бейiмдеуге мYмкiндiк бередi. Тесттердi ^олдану ар^ылы о^ыту сапасын багалау шын мэнiнде тиiмдi бола алмайды деп есептейдi: нэтижесшде м¥Fалiмдер о^ушыларды белгiлi бiр тапсырмалар тYрлерiне ^арай дайындайды. Бiлiм беру процес туралы
деректердi талдай отырып, мектеп эюмшшп муFалiмдердщ кызметтерш жаксы багалай алады жэне кажет болган жагдайда езгертулер eHri3e алады.
4) Болашак профессияны тацдау. Ощустш Каролинадагы алты университеттегi 25 жастан аскан адамдарга жэне ардагерлерге багытталган жаца мансаптык SC Accelerateатты багдарлама жумыс жасайды. Деректердi талдау ю-эрекеп^ катысушыларга олардыц тэжiрибесi мен жеке басына сэйкес келетiн бiлiм мен кэсшт тандауга мYмкiндiк бередi.
CareerChoice GPS жYЙесi болжамды талдау мен кэсштш багдар бойынша усыныстар бередк аталган сервис окушыныц бойындагы касиеттерд^ оныц окудагы жетiстiктерiн, алдыцгы жумыс тэжiрибесiн зерттейдi. Yмiткерлер тандаган, езше ец колайлы деп санайтын университеттерге кужат тапсырады, будан университеттер утады. ЖYЙе жумысыныц нэтижесi жумыс берушшер Yшiн де тиiмдi ягни олар жумыска дайын мамандарды кабылдайды.
Виртуальды кампус. Ресейде бiлiм беруде Yлкен деректердi колдану жYзеге асырылады. Университеттерде студенттердiн жеке картасын эзiрлеудi усынады, олар бiркатар функцияларды бiрiктiредi, ягни жол жYPу кэулiктерi жэне студентпк билеттi, бага кiтабы жэне аумакка кiру пропускiсiн колданумен байланысты болады. Картаны пайдалана отырып, студенттiн кампустагы болатын уакыты мен кай жерде жYргенi туралы деректер жинауга болады. Жеке кабинет куру аркылы студенттердщ Yлгерiмiн кадагалайды, окытушылармен байланыса алады, сабак кестесiн бiледi жэне университет каталогын зерттейдi. Бул кызметтердщ барлыгы деректердi жинауга жэне ецдеуге, оку тэж1рибесш жаксарту бойынша косымша усыныстар жасауга мYмкiндiк бередi [7].
Испанияныц Валенсия Халыкаралык университетi зерттеушiлерi белгiлi бiр кызметтi талдау Yшiн деректердiн Yлкен келемiн ендеудi ез ецбектершде атап етедi. Бiлiм беру саласында окыту мен оку процесш жаксарту Yшiн Yлкен келемдi деректердi талдау енгiзiле бастаган жэне онымен негiзiнен бiлiм алушылар айналыса бастады [8].
Зерттеу эдкнамасы
Л.Н.Гумилев атындагы Еуразия улттык университетiнде студенттер мен магистранттарга Yлкен келемдi деректердi сактау, ецдеу, жiберу сиякты эдiстердi мецгерту максатында окыту Yдерiсiнде жYзеге асырылуда. Акпараттык технологиялар факультетiнiн Информатика мамандыгыныц жогары курс студенттерi мен магистранттардыц оку YДерiсiнде Yлкен деректердi бiлiм беру саласында колдану бойынша арнайы курсы жYргiзiледi. Курсты етюзу келемi 5 кредит (1 лекция, 2 практикалык сабак, 2 ездш жумыстар).
Yлкен деректермен жумыс ютеу бойынша арнайы курстыц бiрiншi модулшде турникеттiн желiлiк контроллерiнiн мысалы ретшде ЭРА 500 желiлiк контроллерi мысал ретiнде алынды. ЭРА 500 желшк контроллерi оку YДерiсiнде деректердi жинау, сактау жэне ецдеу сиякты ю-эрекеттермен жумыс ютеуге мYмкiндiк бередi.
Аталган курылгыны колдайтын багдарлама шагын фирмалардагы жэне iрi кэсiпорындардаFы кiрген-шыккан клиенттер санын есептеуге, гимараттыц iшiндегi клиенттер санын бакылауга жэне жумыс уакытын есептеуге мYмкiндiк бередi. Курылгыныц мYмкiндiгi 500, 2000 немесе 10000 адам шамасындагы деректердi сурыптаумен шектеледi. Багдарламада кызметкерлер мен кiлттердiн тiзiмi жYргiзiледi жэне сонымен бiрге кызметкерлердiн эр тYрлi топтары Yшiн эртYрлi ету кестелерi курылады. Жумыс уакыты да есепке алынады, кiрiп-шыFуды бакылау мен бейнеш сактау мYмкiндiгi бар. Сондай-ак айта кететiн толыктырулары да бар. Мысалы, бiрнеше кiру-шыFу нYктелерiн бiр ету аймагына бiрiктiру, кайталап етуге тыйым салу мYмкiндiгi, жумысшыларга жумыста болган уакыты туралы есептердi автоматты тYрде жiберу, т.б. Колдануга ыцгайлы интерфейс (багдарлама Windows ортасында жумыс ютейд^, жYЙеге акпаратты енгiзу жэне iздеу Yшiн колдануга женiл, сонымен катар эр тYрлi мiндеттердi калыптастыру мен шешуде, оку YДерiсiнде пайдалануда бул багдарлама Yлкен кемекшi курал. MS Word, MS Excel багдарламаларында деректердi импорттау мYмкiндiгi, олармен жумыс ютеущ женiлдетедi, кез-келген деректердi ыцгайлы тYрде сактауга жэне басып шыгаруга мYмкiндiк бередi.
Аталган курылгы Yшiн жYЙелiк талаптары, багдарламаныц тиiмдi жэне сенiмдi жумыс iстеуi Yшiн, компьютер келес сипаттамаларга ие болуы керек:
• Процессор - Intel Celeron Dual Core G530 темен емес;
• Оперативт жады-1ГБ аз емес;
• Каттыдискщеп бос орын- 100 Мб аз емес;
78
• Манипулятор <mmyip»;
• Желшш карта;
• Операцияльщ жYЙе- Windows XP жэне жогары;
• Экранныц ец теменп р^саты (разрешение) 1280x800;
• FireBird 2.1*деректер ^орыжэне одан жогары (стандартты жеткiзiлiмге енгiзiлген);
• WinPcap * ютапханасы (стандартты жеткiзiлiмге енгiзiлген).
• - багдарламаныц сервер белiгi болатын компьютерге гана орнатылуы керек [9].
Бiз жогарыда атап еткендей мысал ретiнде ЭРА 500 ^¥рылгысы алынды, ягни 500 клиент бойынша деректердi сакгау, ецдеу амалдарын орындайды. Fимарат iшiнде ^анша адам бар, гимарат^а кiрген уа^ыты, шывдан уа^ыты туралы негiзгi деректерден бастап, Веб-интерфейс ар^ылы эр пайдаланушыныц тандалган кYндегi ютеген ж^мысыныц тарихын ^ашы^ты^тан ^арау, есепт автоматты тYрде тарату жэне басып шыгару мYмкiндiгi ^арастырылган. Аталган деректердi жина^тау К¥ралы ЭРА 500 желшк контроллерiн орнату мен программалыщ жабдыгын (сурет 1) баптаудан басталады.
а) желшк контроллер ЭРА 500
э)Ма1х1х-Псчитыватель (кiрiс-шыFыс)
б) карточкалар
в) программалыщ тамтама
г) ^оректену кезi
д) ШВВП 2*0,75 сымдары
Сурет 1. ЭРА 500 желшк контроллерi ^ралдары жэне программалыщ жабдыFы
Керсетiлген ^¥рал а^параттыщ технологиялар факyльтетiнiн мамандыщтарында Yлкен деректермен ж^мыс iстеy машыFын ^алыптастыру ма^сатында о^у Yдерiсiнде ^олдану Yшiн №2 Fимараттын 412- дэрiсxанасында жYзеге асырылып жYр.
Бiздiн yниверситеттiн тyрникеттерiнде жина^талатын аппарат елшемi бiр айда 1,7 Гб келемшде болады екен.
Каза^станда жоFары о^у орындарында Yлкен келемдi деректер туралы эль-Фараби атыц^ы Каза^ ^лттыщ yниверситетiнде Yлкен деректердi модельдеу жэне веб-^осымшалар жасауда ^олданады да мынадай жаFдайларFа кенiл беледi:
- бiрiншiден, «стандартты» сценарийлермен салыстырFанда Yлкен келемдеп деректердi
ендеу;
- ек1нш1ден, тез ецдеуге TYCin жататын ете Yлкен келемд1 деректермен жрмыс ютеи бшу, жэне де деректердщ тек кептш гана аИтылып коИмаИды, олар y^mí кебешп те отырады;
- Yшiншiден, олар эртYрлi аспектшерде параллель ^¥рылымдалган жэне нашар к^рылымдалган деректермен ж^мыс iстеИ бiлуi керек [10].
М.Эуезов атындагы Ощустш Казахстан мемлекетпк университетiнде компаниялардагы Yлкен деректердi IT технологиялармен баскару боИынша б^рын-соцды ^олданылмаган Yлкен деректердщ iшкi, сырт^ы жэне к^рылымданбаган болуы мYмкiн екенiн жэне оларды сактау мен с^рыптау тэсiлцерi туралы атап етедi.
Ма^алада компаниялар ец кеп паИдаланатын Yлкен деректер кездерi интернет-портал мазм^ны, POS деректерi жэне интеллектуалды есептегiштер деректерi екенше кещл беледi.
Б^л зерттеу сонымен катар Yлкен деректер технологиясыныц кец таралган арты^шылы^тарын аныктады. Аталган технологиялар транзакциялык артыщшылыщтар т^ргысынан ецбектщ ешмдшшн арттыруга, стратегиялык артыщшылыщтар ретiнде нег^рлым сапалы енiмдер мен кызметтердi ^сынуга, трансформациялык артыщшылыщтар т^ргысынан компанияныц мумкшшшктерш арттыруга себiн тигiзедi, ал а^параттьщ-коммуникацияльщ артыщшылыщтар т^ргысынан деректердi баскаруды жетiлдiруге эсер етедi [11].
Авторлар атап еткен эдютер бiздiц зерттеуiмiзде де орын алады, тек бiздiц жагдаИда жогары оку орындарында POS деректерш жэне есептегiштер к¥ралдарды паИдаланып деректердi жинау мен компьютерге сол деректердi сактау жэне ендеу амалдарымен баИланысты. Мысалы, 2-суретте Бюро пропусков - Пользователи белiмi аркылы тiркелген гимарат^а кiрген адамдар туралы деректердщ компьютердеп косымшада керiнiс табуы керсетiлген.
Контроль доступат
1. Конфигурация
2. Бюро пропусков
Пользователи
0)
Графики доступа
л л и» С» £ [Si 7 ^ ^ т Поиск: | | Отчество Ч 1 в В S £ £
Табельный № Фамилия Имя Отчество Должность Подразделение С вс
0007485808 Шындалиев Нуржан Тажибаевич
0007486427 Хафизов Азамат Нурлыбекулы
0007549112 Искакова Нураш Фазылгаламовна
0007549113 Нурбекова Гулмира Фазылгаламовна
0007556385 Амирииа Айгуль Каируллиевна
Сурет 2 - Деректердi жинау ма^сатында оку Yдерiсiнде жYЙенi баптау колданылуы
ТМД елдершщ зерттеушiлерi де аталган сала бойынша ез енбектервде практикалык ж^мыстардын нэтижелерi туралы айтып жYр. Б^лттык к¥рылымдарда да Yлкен деректердi есептеу туралы, олардын математикалык негiздерi туралы, атап айщанда графтардын кещнен колданылатынын атап етедi. Fылымнын эртYрлi саласында YДерiстердi молдельдеу, талдаулар жYргiзу, деректер корында сактау мен ендеу, эртYрлi б^лттык платформаларды оку YДерiсiнде колдану сиякты мэселелер де бшм беруде керiнiстер табуда. Авторлар сонымен бiрге Yлкен келемдi деректердi с^рыптауда MapReduce Yлестiрiлген жYЙелерiндегi компьютерлердщ Yлкен санынан т^ратын есептеу Yрдiстерiн ^йымдастыратын фреймворкты колданатынын атап етедi [12].
MapReduce есептеу моделi аркылы Yлкен келемдi астрономиялык деректердi ендеу туралы Ресей галымдарынын енбектерiнде кездеседь Макалада бiр тYннiн iшiнде Subaru-HSC, DES, PanSTARRS телескоптарынын кемегiмен мыщга жуык фотолар, ягни 1ТБ/тэулiк фотолар тYсiру мYмкiншiлiгi туралы, ал заманауи LSST телескопы аркылы шамамен 15ТБ/тэулш фотолар тYсiруге болатындыгы туралы айтылган, ягни Yлкен келемдi деректермен ж^мыс iстеу нэтижелерi келтiрiлген. Макалада параллель конвейерлi есептеулер, Yлестiрiлген деректермен ж^мыс iстеу негiзiнде ондаган гигабайттык деректердi ендеу алгоритмi карастырылган [13].
Microsoft Azure HDInsight MapReduce платформасында Yлкен астрономиялык деректердi ендеудi карастырады. Машиналык окыту эдiстерi аркылы аспан денелерiн зерттеу нэтижелерiн iргелi гылым саласында колданудыц жолдарын усынады. Авторлар булттык платформада Apache Spark технологиясын колданып накты болжамдау есептерiн шешудi усынады [14].
Ресейдщ Мэскеу электронды мектебiнде (Московская электронная школа, МЭШ) казiргi кезде 30 мыцнан артык электронды сабактардыц сценарийлерi, 35 мыцнан артык интербелсендi бiлiм беру косымшалары, 1 мыцнан аса электронды окулыктар мен оку куралдары, 450 мыцнан артык атомарлы оку материалдары сактаулы. Контент ^нделшт толыктырулар негiзiнде геометриялык прогрессиямен кебешп келедi. Негiзгi куралдыц бiрi - электронды ^нделш. Бул жобаныц масштабын тYсiну Yшiн Yлкен дерек болып саналатын ай сайынгы койылатын 10 миллион багалардыц келемiн атау кажет. Электронды кYнделiктiн аркасында бYгiнде каланыц кез-келген окушысы окудыц барлык аспектшерш керсететiн сандык iз калдырады: ол тапсырмаларды калай орындайды, ненi YЙрендi, кандай YЙiрмелерге катысады, кандай музейлерге, театрларга, технопарктерге барады, ненi ойлап тапты жэне не жобалады, кандай ютаптар окиды, кандай олимпиадаларга катысады, кандай кузыреттерге ие жэне т.б. Келесi кезеннiн мiндетi - муFалiмдер оку нэтижелерiн багалай алатын, болашактагы жетiстiктердi болжай алатын, бiлiм мен бшктщ жетiспеушiлiгiн аныктай алатын жэне эр окушыныц бiлiм беру кажеттшктерше сэйкес оны жою Yшiн уактылы шаралар кабылдай алатын талдау куралын куру. Мектеп окушылардыц кабiлеттерiн мYмкiндiгiнше ескере отырып, жеке окыту жолдарын кура алды [15].
Зерттеу нэтижелерi
Бiз зерттеу жумысымызда бiлiм алушылардыц Yлкен деректермен жумыс iстеуде бшм мен бiлiгiн калыптастыру YДерiсiнде, олардыц жетiстiктерiнiн сапалык керсеткiштерiн аныктаймыз. Ол Yшiн Yлкен деректермен жумыс ютеу бiлiмi, бiлiгi мен машыктарын нактылайтын мотивациялык, мазмундык жэне уйымдастырушылык компоненттерi аныкталды. Эр компоненттiн критерийлер жYЙесi курастырылып, сол критерийлердi ескерiп, такырып бойынша казiргi кезде сауалнамалар алынып, жумыстар жYргiзiлуде. Оку YДерiсiне аталган такырып бойынша Информатика, STEM-окыту, SMART-технологиялары бiлiм багдарламаларында арнайы курс ендiрiлдi. Калыптастырушы эксперименттiн алгашкы кезещнде болашак мамандардыц зерттеу такырыбы бойынша кузыреттшктершщ артатыны байкалып жYр. Yлкен деректерге окыту бiлiм стандарты, окыту багдарламаларын негiзге алады. Окыту формалары, соныц iшiнде казiргi кездегi кашыктыктан окыту формасы бойынша сабак жYргiзу ескерiледi. Колданылатын техникалык-технологиялык куралдары, багдарламалык камтамалардыц соцгы нускалары колданылуда. Булттык платформаларда Yлкен деректердi сактау, сурыптау сиякты амалдар оку YДерiсiнде кец колданыс табуда. Жогарыда аталган техникалык куралды компьютерлiк багдарламада колдану аркылы Yлкен деректермен жумыс iстеудiн бiр мысалын атап етемiз.
Корытынды
Жумыс нэтижешнде болашакта Yлкен деректермен жумыс ютейтш инженер (Data Engineer), BI курастырушысы (Business Intelligence Developer), деректер бойынша маман (Data Scientist), деректер аналитип (Data Analyst) сиякты заманауи мамандыктардыц иесi болуга алгы шарт болады. Сонымен бiрге, машина жасау инженерi жэне жасанды интеллект маманы кызметiнде де Yлкен деректермен жумыс ютеумен айналысатыны белгiлi. Олар нейрондык желiлердi, табиги тiлдi ецдеу куралдары мен машиналык окыту эдютерш пайдаланады, баскарады жэне есептеудi жеделдетедi.
ПайдаланылFан эдебиеттер
1. Утемов В.В., Горев П.М. (2018) Развитие образовательных систем на основе Big Data / В.В. Утемов, П.М. Горев // Педагогические науки. №6. C.449-460.
2. Постановление Правительства Республики Казахстан об утверждении Государственной программы «Цифровой Казахстан» [Электронный ресурс] - Режим доступа: http://adilet.zan.kz/ru/docs/P 1700000827
3. Закон Республики Казахстан от 27 июля 2007 г. № 319-III «Об образовании». // Правовой справочник «Законодательство». - 2016.
4. Государственный общеобязательный стандарт высшего образования, утвержденный постановлением Правительства Республики Казахстан от 23 августа 2012 года №1080. Приложение 7 к Приказу Министра образования и науки Республики Казахстан от 31 октября 2018 года № 604.
81
5. Тюхина И.В., Лысакова Т.А. (2019) Обзор программных средств для работы с большими данными. НИУ «БелГУ». https://scienceforum.ru/2019/article/2018015820
6. Мамедова Г.А., Зейналова Л.А., Меликова Р.Т. (2017) Технологии больших данных в электронном образовании. / Г.А. Мамедова, Л.А. Зейналова, Р.Т. Меликова // Институт Информационных технологий Национальной Академии Наук Азербайджана. Т.21, №6. С.41-48
7. Левиев М. (2015) 5 способов применить big data в образовании, опубликовано: 12.11.2015, http://www.edutainme.ru/post/big-data-edu/
8. Marín-Marín J.-A., Lopez-Belmonte J., Fernandez-Campoy J.-M., Romero-Rodríguez J.-M. (2019) Big data in education. A bibliometric review. Social Sciences. Volume 8, Issue 8, August 2019
9. Руководство по приложению ЭНТ Контроль доступа - ^№ur.pdf (2020) https://allsee.kz/p42376586-era-500-setevoj.html
10. Balakayeva G.T., Darkenbayev D.K. (2018) Modeling the processing of a large amount of data. Scientific Journals. Al-Farabi National University. №1(97). P.120-126
11. Момбекова С.С., Нышанбаева К.У., Колбаев Б.Р., Бибулова Д.А. (2019) Управление IT технологиями больших данных в компаниях (часть 2) // Вестник КазНПУ им.Абая. Серия «Физико-математические науки». №3(67). С.228-232
12. Серж М., Баумуратова Д.Б. (2019) Булттык технологияларды техникальщ жэне кэсшпк бшм беру жуйейнде окыту // Абай атындагы Каз¥ПУ-нщ Хабаршысы. «Физика-математика гылымдары» сериясы. №4. -Б. 258-264
13. Герасимов С.В., Мещеряков А.В., Колосов И.Ю., Глотов Е.С., Попов И.С. (2015) Обработка больших объемов сырых астрономических данных с помощью модели вычислений MapReduce. Труды ИСП РАН. Том 27. Вып.6. С.315-332. DOI: 10.15514/ISPRAS-2015-27(6)-20
14. Герасимов С.В., Мещеряков А.В. (2017) Применение платформы Microsoft Azure HDInsight для обработки и анализа больших массивов астрономических данных. International Journal of Open Information Technologies. Vol.5, No.1, pp.81-86
15. Большие данные в образовании. 2019 http://www.unkniga.ru/vishee/9614-bolshie-dannye-v-obrazovanii.html
References
1. Utemov V.V., Gorev P.M. (2018) Razvitie obrazovatelnykh sistem na osnove Big Data / V.V. Utemov, P.M. Gorev // Pedagogicheskie nauki. #6. S.449-460. (In Russian)
2. Postanovlenie Pravitelstva Respubliki Kazakhstan ob utverzhdenii Gosudarstvennoj programmy «Czifrovoj Kazakhstan» [Elektronnyj resurs] - Access mode: http://adilet.zan.kz/ru/docs/P1700000827 (In Russian)
3. Zakon Respubliki Kazakhstan ot 27 iyulya 2007 g. # 319-III «Ob obrazovanii» // Pravovoj spravochnik «Zakonodatelstvo». 2016. (In Russian)
4. Gosudarstvennyj obshheobyazatelnyj standart vysshego obrazovaniya, utverzhdennyj postanovleniem Pravitelstva Respubliki Kazakhstan ot 23 avgusta 2012 goda #1080. Prilozhenie 7 k Prikazu Ministra obrazovaniya i nauki Respubliki Kazakhstan ot 31 oktyabrya 2018 goda # 604. (In Russian)
5. Tyukhina I.V., Lysakova T.A. (2019) Obzor programmnykh sredstv dlya raboty s bolshimi dannymi. NIU «BelGU». https://scienceforum.ru/2019/article/2018015820 (In Russian)
6. Mamedova G.A., Zejnalova L.A., Melikova R.T. (2017) Tekhnologii bol'shikh dannykh v e'lektronnom obrazovanii. / G.A. Mamedova, L.A. Zejnalova, R.T. Melikova // Institut Informaczionny'kh tekhnologij Naczional'noj Akademii Nauk Azerbaidzhana. - 2017. - T.21, #6. -S.41-48 (In Russian)
7. Leviev M. (2015) 5 sposobov primenit big data v obrazovanii. http://www.edutainme.ru/post/big-data-edu/ (In Russian)
8. Marín-Marín J.-A., Lopez-Belmonte J., Fernandez-Campoy J.-M., Romero-Rodríguez J.-M. (2019) Big data in education. A bibliometric review Social Sciences. Volume 8, Issue 8, August
9. Rukovodstvo po prilozheniyu ENT Kontrol dostupa - Klient.pdf (2020) https://allsee.kz/p42376586-era-500-setevoj.html (In Russian)
10. Balakayeva G.T., Darkenbayev D.K. (2018) Modeling the processing of a large amount of data. Scientific Journals. Al-Farabi National University. #1(97). - P.120-1267 (In Russian)
11. Mombekova S.S., Nyshanbaeva K.U., Kolbaev B.R., Bibulova D.A. (2019) Upravlenie IT tekhnologiyami bolshikh dannykh v kompaniyakh (chast 2). Vestnik KazNPU im.Abaya. Seriya «Fiziko-matematicheskie nauki». #3(67). S.228-232 (In Russian)
12. Serik M., Baumuratova D.B. (2019) Bulttyk tekhnologiyalardy tekhnikalyk zhane kasiptik bilim beru zhujesinde okytu. Abaj atyndagy KazUPU-nin Khabarshysy. «Fizika-matematika gylymdary» seriyasy. #4. B. 258-264 (In Kazakh)
13. Gerasimov S.V., Meshheryakov A.V., Kolosov I.Yu., Glotov E.S., Popov I.S. (2015) Obrabotka bol'shikh ob'emov syrykh astronomicheskikh dannykh s pomoshhyu modeli vychislenij MapReduce. Trudy ISP RAN. Tom 27. Vyp.6. S.315-332. DOI: 10.15514/ISPRAS-2015-27(6)-20 (In Russian)
14. Gerasimov S.V., Meshheryakov A.V. (2017) Primenenie platformy Microsoft Azure HDInsight dlya obrabotki i analiza bolshikh massivov astronomicheskikh dannykh. International Journal of Open Information Technologies. ISSN: 2307-8162 vol.5, no.1. S.81-86 (In Russian)
15. BoFshie dannye v obrazovanii (2019) http://www.unkniga.ru/vishee/9614-bolshie-dannye-v-obrazovanii.html (In Russian).
О программных средах, использующих большие данные в учебном процессе
М.Серк, Г.Ф.Нурбекова*, Б.Б. Ахметова Л.Н.Гумилев атындагы Еуразия ^лттьщ университет^ Н^р-С^лтан к., Казахстан
*e-mail: [email protected]
В статье рассматривается несколько типов программ для обучения большим данным и проанализированы источники о внедрении больших данных в некоторых учебных заведениях. Для внедрения и реализации специальных курсов в учебный процесс магистратуры по образовательной программе Информатика рассматриваются учебная программа, учебно-методический комплекс, цифровые образовательные ресурсы. Описывается аппаратное и программное обеспечение, которое собирает, хранит, сортирует большие данные, а также внедрение в учебный процесс теоретических основ и методов применения разрабатываемого технико-технологического оборудования.
В статье отражена информация о проведении спецкурса по использованию больших данных в образовательном, учебном процессе студентов старших курсов и магистрантов специальности «Информатика» факультета информационных технологий Евразийского национального университета имени Л.Н. Гумилева. В первом модуле спецкурса рассматривается сетевой контроллер ERA 500 как пример сетевого контроллера турникета.
Ключевые слова: учебный процесс, спецкурс, технологии больших данных, социальные сети и Интернет Вещей, вычислительная модель MapReduce, сетевой контроллер ЭРА 500.
About software environments using big data in the learning process
M. Serik, G.F. Nurbekova, B.B. Akhmetova L.N. Gumilyov Eurasian National University, Kazakhstan, Nur-Sultan *e-mail: [email protected]
The article discusses several types of programs for teaching big data and analyzes data on the implementation of big data in some educational institutions. For the introduction and implementation of special courses in the educational process in the areas of magistracy in the educational program Computer Science, the curriculum, educational and methodological complex, digital educational resources are considered. As well as hardware and software that collects, stores, sorts big data, and the introduction into the educational process of theoretical foundations and methods of using the developed technical and technological equipment.
This article reflects information on the conduct of a special course on the use of big data in the educational, educational process of senior students and undergraduates of the specialty "Informatics", the Faculty of Information Technologies, LN Gumilyov Eurasian National University. The first module of the course examines the ERA 500 network controller as an example of a turnstile network controller.
Keywords: educational process, special course, big data technologies, social works and the Internet Things, computational model MapReduce, network controller ERA 500.
Редакцияга 23.01.2021 tyctí.
