Автоматизация процесса многокритериального ранжирования студентов с помощью электронного портфолио Текст научной статьи по специальности «Компьютерные и информационные науки»

ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ

ТЕХНИКА И УПРАВЛЕНИЕ INFORMATION TECHNOLOGY, COMPUTER SCIENCE, AND MANAGEMENT

УДК 519.87 https://doi.org/10.23947/1992-5980-2019-19-4-382-388

Автоматизация процесса многокритериального ранжирования студентов с помощью электронного портфолио*

Л. А. Пономарева1, О. Н. Ромашкова2, А. Н. Белякова3, В. С. Заболотникова4

1,2,3,4 Московский городской педагогический университет, институт цифрового образования, Москва, Российская Федерация

Automation of multicriteria ranking of students using ePortfolio ***

L. A. Ponomareva1, O. N. Romashkova2, A. N. Belyakova3, V. S. Zabolotnikova4**

1,2,3,4 Moscow City University, Institute of Digital Education, Moscow, Russian Federation

С О тз

M

'S

-M

ХЛ <U

£ л

Введение. Работа посвящена повышению качества управления образовательной организацией за счет автоматизации персонифицированного сбора, хранения и ранжирования данных. Авторами разработан модуль корпоративной системы вуза — электронное портфолио студентов, в котором реализован метод многокритериальной оптимизации для расчета рейтинга обучающихся на основе собранных и хранящихся данных. Объектом исследования являются методы многокритериального ранжирования. Предметом исследования является автоматизированный расчет рейтинга студента в рамках электронного портфо-лио. Целью исследования является разработка инструментария для сбора, хранения и обработки данных об индивидуальных достижениях студентов и реализация математического метода многокритериальной оптимизации для ранжирования обучающихся на основе данных портфо-лио. Практическая значимость исследования — предоставить инструмент для эффективного управления учебным процессом.

Метод и инструментарий. Представлен прототип модуля корпоративной системы вуза «Электронное портфолио» на платформе «1С: Предприятие 8.3». Для ранжирования студентов в блоке модуля анализа данных реализован частный случай метода ранжирования альтернатив — попарное сравнение по степени их относительной важности. При этом использовалась унифицированная шкала отношений.

Результаты исследования. Авторы описали схему функционирования информационной системы (ИС) «Электронное портфолио», представили схему взаимодействия процессов по формированию портфолио, а также схему бизнес-процессов при расчете индивидуального рейтинга. Показан фрагмент выборки, на которой проводилась проверка работоспособности блока многокритериальной оптимизации. Описаны критерии, принимающие участие в расчетах, а также правило отбора альтернатив для нахождения оптимального решения.

Introduction. The paper considers improving the management quality of an educational organization through automating the personalized data collection, storage and ranking. The authors have developed a module of the university corporate system, an ePortfolio of students, which implements a multicriteria optimization method for calculating the students' rating on the basis of the collected and stored data.

The study object is multicriteria ranking methods. The subject of the study is the automated calculation of student's rating within the electronic portfolio. The study objective is to develop tools for collecting, storing and processing data on individual achievements of students and the implementation of the mathematical method of multicriteria optimization for ranking students on the basis of the portfolio data. Practical implications include development of a tool for an effective management of the educational process.

Materials and Methods. A prototype module of the university corporate system "ePortfolio" on the platform of 1C: Enterprise 8.3 is presented. To rank students, a special case of the alternative ranking method is implemented in the block of the data analysis module - pairwise comparison in order of their relative importance. At that, a unified scale of relations was used. Research Results. The authors described the scheme of the information system (IS) operation "ePortfolio", presented a process interaction pattern for the portfolio formation, as well as a diagram of business processes under calculating an individual rating. A fragment of the sample is shown on which the performance of the multicriteria optimization block has been tested. The criteria of the calculations are described, as well as the rule of screening alternatives for solving for the optimum.

* Работа выполнена в рамках инициативной НИР.

E-mail: ponomarevala@bk.ru, ox-rom@yandex.ru, zabolotnikovavs@yandex.ru, ponomarevala@bk.ru

*** The research is done within the frame of the independent R&D.

[CC

CD

Обсуждение и заключение. В работе приведены результаты работы блока ИС по ранжированию списка студентов. Результаты расчетов совпадают с практическими данными.

Discussion and Conclusion. The paper presents the results of the IS block operation on ranking a list of students. The calculation results coincide with the practical data.

Ключевые слова: многокритериальное ранжирование, оптимизация, электронное портфолио, «1С: Предприятие 8.3».

Keywords: multicriteria ranking, optimization, ePortfolio, "1С: Enterprise 8.3"

Образец для цитирования: Автоматизация процесса мно- For citation: L.A. Ponomareva, et al. Automation of mul-гокритериального ранжирования студентов с помощью ticriteria ranking of students using ePortfolio. Vestnik of электронного портфолио Л. А. Пономарева [и др.] Вест- DSTU, 2019, vol. 19, no. 4, pp. 382-388. ник Донского гос. техн. ун-та. — 2019. — Т. 19, № 4. — https://doi.org/10.23947/1992-5980-2019-19-4-382-388 С. 382-388. https://doi.org/10.23947/1992-5980-2019-19-4-382-388

Введение. Оценка эффективности учебного процесса — одна из важнейших характеристик деятельности вуза при расчете его рейтинга [1]. Для повышения конкурентоспособности образовательной организации (ОО) на рынке образовательных услуг необходим эффективный мониторинг и объективная оценка результатов учебного процесса по каждому студенту [2]. Зачастую данные хранятся разрозненно или в общих списках, что не дает персонифицированного представления для будущего работодателя.

Образовательные организации проводят множество мероприятий, в которых участвует большое количество студентов. Интересны также индивидуальные достижения вне стен вуза, например, волонтерская деятельность, благотворительность, работа в летних молодежных лагерях и т. д. Подобная информация редко собирается и хранится должным образом. На основании собранных сведений можно формировать рейтинг для каждого обучающегося. Ранжирование студентов является одним из приемов эффективного управления деятельностью ОО [3]. Согласно новым стандартам образования и в соответствии с федеральным законом ФЗ 273 «Об образовании в Российской Федерации» [4] необходим автоматизированный сбор, хранение и обработка данных. Одно из решений этой проблемы — электронное портфолио, которое также позволит осуществлять автоматическое ранжирование студентов.

Методы и инструментарий исследования. Авторами спроектирован и реализован на платформе «1С: Предприятие 8.3» модуль корпоративной системы «Электронное портфолио» (ЭП), который может работать и как самостоятельная информационная система [5]. ИС хранит информацию о достижениях студентов и на ос- §

новании этой информации производит автоматическое упорядочивание студентов по убыванию. Для ранжиро- <и

ч

вания студентов применен метод векторной оптимизации. м

Постановка задачи: построить математическую модель, которая оперирует с множеством F(X) — альтернативных решений (альтернатив) (где Х — некоторое множество критериев), которые будут в дальнейшем ^ расположены в порядке убывания предпочтения. Самое предпочтительное решение будет стоять первым, за ^ ним менее предпочтительное и т. д. Степень предпочтения оцениваться величиной рассчитанного ранга для ^ каждой альтернативы. Ранг рассчитывается из значений весов критериев, которые присвоены лицом, принима- I ющем решение (ЛПР). <р Пусть функция Fi(Xj) образует вектор оценки альтернативных решений при выполнении условий: ^

i = 1,т ; / = 1,п, IB

а

где m — количество альтернатив в выборке; n — число критериев, участвующих в определении ранга студента. ч

Пусть F1(X1) — оценка решения X1 по первому критерию; F2(X1) — оценка решения X1 по второму критерию и н

т. д. 3

Тогда вектор оценки для первого решения имеет вид: S

F(X1) = (F1X1), F2X1), FmXn)). §

Областью множества оценок альтернатив назовем некоторое множество оценок YD, которые принадле- ^ жат допустимой области D, которая определяется на основе данных, хранящихся в базе данных ЭП:

D = <C, F, X, G, P> [6], Я

где C — цель, которая заключается в ранжировании списка студентов в порядке убывания рассчитанного рей- g

тинга на основе данных электронного портфолио; F — альтернативы, т. е. фамилии студентов, подлежащих &

, Q

упорядочиванию; X — критерии, т. е. данные о достижениях обучающихся, хранящиеся в электронном портфо- щ лио; P — предпочтения: X1 > Xn. Это показатели, которые соответствуют учебному процессу и являются осно- ^ вой для сравнения альтернатив и для принятия решения; G — ограничения на область допустимых решений.

Альтернативу Е^Х) у которой наибольшее количество исследуемых критериев принимают максимальное значение, можно найти из выражения:

Х}- 6 Б; ЕХ 6 Уа.

Тогда задачу упорядочивания (ранжирования) альтернатив ЕХ^) на критериальном множестве Б™ в порядке их убывания можно описать выражением:

Уо = Е(Б) = (У | У=Е(Х), X 6 Б™}.

Для решения поставленной задачи авторами применен частный случай метода ранжирования альтернатив — попарное сравнение по степени их относительной важности с использованием унифицированной шкалы отношений [7]. Для каждой функции Е(Х) ЛПР определялась степень предпочтительности ] = 1 ,п на

основании оценки веса каждого критерия.

Результаты исследования. Автоматизация процесса многокритериального ранжирования студентов происходит в модуле информационной системы их электронного портфолио. Схема функционирования прототипа ИС электронного портфолио на основе разработанной конфигурации в «1С: Предприятие 8.3» [8] представлена на рис. 1.

Заместитель директора по учебной работе

Администратор

реподаватель

Сотрудни к учебного отдела

Заместитель директора по воспитательной работе

Рис. 1. Схема функционирования электронного портфолио

Для формирования портфолио обучающегося предусмотрено:

• ввод данных;

• преобразование данных в электронный формат;

• хранение данных;

• предоставление отчетов, в том числе рассчитанные рейтинги студентов и упорядоченные списки по кафедрам, факультетам, ОО.

Процесс формирования портфолио представлен на рис. 2.

с о чЗ

'й -м

ХЛ

<и

£ л

Рис. 2. Схема формирования портфолио

Спроектирована база данных для ИС электронного портфолио [9], трансформационная модель которой изображена на рис. 3.

Рис. 3. Модель базы данных электронного портфолио

Взаимодействие информационных процессов по формированию индивидуального рейтинга обучающегося на основании информации, хранящейся в базе данных системы, продемонстрировано на рис. 4.

Рис. 4. Схема функционирования блока ИС по формированию рейтинговой оценки обучающегося

В ИС предусмотрено формирование различных отчетов [10]. Например, пользователь может отобразить блоки сравнительной оценки по учебным, спортивным, общественным, творческим и научным достижениям. Одна из форм отчёта представлена на рис. 5.

<и S I <и

ю ей

а

с

^

S ей И S I X <и

h «

ей К Л

4 <и h

5

4 о

5 ¡т

S и

ей И S

ей

S а о

-е

к £

•<- I Портфолио обучающегося

ФИО: Дата рождения: Пол: Группа: Адрес: Телефон Почта: Аксаненко Светлана Владимировна 13.08.1994 0:00:00 Женский МБ-151 мз Москва, ул.Гродненская д.12, кв.90 8-(916)-123-34-44 akssvet@gmail.com

Учебные достижения: Номер Достижение Вид Рейтинг

1 | Интеллектуальны игр| Конкурс 1

Научные достижения: Номер Достижение Организация Вид Рейтинг

1 Конференция | ГАОУ ВО МГПУ Конференция и I

Общественные достижения: Номер Достижение Организация Вид Рейтинг

1 | Донорство крови | ГАОУ ВО МГПУ Донорство И I

Спортивные достижения: Номер Достижение Уровень Вид Место Рейтинг

1 |Борьба | Институтский Дзюдо ¡Лауреат |1 |

Творческие достижения: Номер Достижение Вид Место Рейтинг

1 Интеллектуальна! игр| Интеллектуальная иг Первое |1 I

2 | Турнир Турнир по настольны Третье I

Рис. 5. Отчет в виде сформированного портфолио

Работу блока ИС, отвечающего за ранжирование студентов, проверяли на выборке из 1000 человек. К выборке было применено правило:

ад > ^ (х*), I = Г^, о: Р,аХ) > Рт(х'),

где (Х*) — парето-оптимальное решение.

После возможных удалений, реализованных в соответствии с правилом, в таблице остались 250 взаимно несравнимых альтернатив, а из ранее сравнимых — только лучшие. Таким способом была сформирована выборка для дальнейших исследований, фрагмент которой представлен в таблице 1.

Таблица 1

Фрагмент выборки для ранжирования

№ п/п ФИО Участие в олимпиаде Участие в Член профсоюза Повышенная Стипендия Публикация научных Участие в научных Волонтер Донор Благотворительно

Соревнов стипендия статей конференц сть

1 КОЛОМОИЦЕВА ГАЛИНА ЮРЬЕВНА

2 МАРТЫНЕНКО ЕЛЕНА АНАТОЛЬЕВНА

3 ЮРЧЕНКО ЛЮДМИЛА МИХАИЛОВНА X

4 КОНОВОДОВ ЮРИИ НИКОЛАЕВИЧ X

5 АЛИЕВА АНТОНИНА ЛЕОНИДОВНА

6 БАИЦАР АЛЕКСАНДР ПАВЛОВИЧ X

7 СМИРНОВА ЕЛЕНА ВАСИЛЬЕВНА X

с о тз

'й -м

ХЛ

<и

£ л

Оптимизация проводилась по 13-и критериям: участие в научных конференциях, наличие стипендии, участие в общественных организациях и т. д. Далее строилась матрица критериев, где каждому критерию приписывался вес в соответствии с предпочтениями ЛПР (таблица 2).

Таблица 2

Матрица весов критериев

Критерии Х1 Х2 Х3 Х4 Х5 Х6 Х7 Х8 Х9 Х10 Х11 Х12 Х13 Ср. геом-е

Участник олим. Х1 1,00 0,14 3,00 0,25 2,00 1,00 1,00 3,00 0,25 2,00 5,00 5,00 3,00 1,2773764

Участ в спорт соревн Х2 7,00 1,00 8,00 1,00 5,00 5,00 2,00 5,00 0,33 9,00 7,00 7,00 7,00 3,5535071

Член профсоюза Х3 0,33 0,13 1,00 0,14 0,33 0,20 3,00 0,14 0,20 0,50 3,00 1,00 1,00 0,4675483

Повышенная стип. Х4 4,00 1,00 7,00 1,00 7,00 5,00 9,00 7,00 5,00 9,00 5,00 7,00 5,00 4,6581847

Стипендия Х5 0,50 0,20 3,00 0,14 1,00 0,33 0,33 0,33 0,14 0,20 3,00 0,14 1,00 0,434096

Публикация НС Х6 1,00 0,20 5,00 0,20 3,00 1,00 7,00 5,00 5,00 7,00 7,00 0,33 5,00 2,007042

Участие в науч. Конф. Х7 1,00 0,50 0,33 0,11 3,00 0,14 1,00 0,33 0,20 1,00 3,00 0,33 0,33 0,5143549

Волонтерство Х8 0,33 0,20 7,00 0,14 3,00 0,20 3,00 1,00 0,14 5,00 7,00 5,00 5,00 1,2315968

Донорство Х9 0,25 3,00 5,00 0,20 7,00 0,20 5,00 7,00 1,00 9,00 9,00 7,00 7,00 2,4958934

Благотворительность Х10 0,50 0,11 2,00 0,11 5,00 0,14 1,00 0,20 0,11 1,00 5,00 0,20 0,20 0,4581585

Летние лагеря Х11 0,20 0,14 0,33 0,20 0,33 0,14 0,33 0,14 0,11 0,20 1,00 1,00 0,25 0,259332

Творч конкурсы Х12 0,20 0,14 1,00 0,14 7,00 3,00 3,00 0,20 0,14 5,00 1,00 1,00 0,17 0,6757149

Учасник общ-ого движ. к13 0,33 0,14 1,00 0,20 1,00 0,20 3,00 0,20 0,14 5,00 4,00 6,00 1,00 0,7389604

Итого 16,65 6,91 43,67 3,84 44,67 16,56 38,67 29,55 12,78 53,90 60,00 41,01 35,95 18,77

В таблице 1 значок «*» заменяли на вес критерия. Далее проводили попарное сравнение студентов относительно какого-либо критерия, например, первого. Сравнение проводили следующим образом: наивысшее

преимущество одного студента перед другим — это значение веса первого критерия плюс единица. Единица нужна для того, чтобы при делении единицы на вес критерия не получалось большого числа. Это число должно быть меньше, чем максимальный вес критерия. Т. е. вес критерия — это максимальное значение в таблице (наивысший приоритет). На следующих шагах обработки данных система производит определенные расчеты [11]:

• находит количественную оценку противоречивости сравнений;

• вычисляет степень неточности сравнений;

• определяет общий критерий для каждой альтернативы;

• находит наилучшее решение;

• проверяет достоверность решения.

Обсуждение результатов. В результате работы блока прототипа ИС «Электронное портфолио», который отвечает за расчет рейтинговой оценки студента и упорядочивание предоставленного списка обучающихся по убыванию, можно получить отчет, который представлен в таблице 3.

Таблица 3

Фрагмент таблицы с результатами ранжирования студентов

X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 X11 X12 X13 Итоговые значения

0,068048 0,189301 0,024907 0,248148 0,023125 0,106918 0,027400452 0,065609 0,132959973 0,024407 0,013815004 0,035996 0,039366

F1 4,69 9,93 0 10,99 2,43 0 2,56 0 0 0 0 0 4,08 5,213001

F2 4,69 0 2,52 0 2,43 7,48 0 0 0 0 1,61 4,05 0 1,4058781

F3 0 0 2,52 0 0 0 0 6,14 0 3,16 0 0 4,08 0,7033417

F4 0 9,93 0 0 2,43 0 0 0 9,42 3,16 1,61 0 0 3,2877994

F5 4,69 0 2,52 10,99 2,43 7,48 2,56 0 0 0 0 4,05 0 4,1809328

F6 4,69 0 0 0 0 0 6,14 0 3,16 1,61 0 4,08 0,9819622

F7 0 0 2,52 0 2,43 0 2,56 0 0 3,16 0 4,05 0 0,412015

F8 4,69 9,93 0 0 0 0 0 0 0 0 0 0 0 2,1988993

F9 0 0 2,52 10,99 0 0 0 0 0 0 0 4,05 0 2,9357024

F10 0 9,93 0 10,99 0 7,48 0 6,14 0 0 1,61 0 4,08 5,9923473

В таблице F1-F10 — фамилии студентов; верхняя строка — названия критериев, по которым рассчитывался ранг каждого объекта; вторая строка сверху — вес критерия; другие числовые значения — количественные оценки студента за участие в той или иной деятельности. Наивысшее предпочтение ЛПР отдавалось критериям, которые были связаны с учебой (стипендия, повышенная стипендия, научная деятельность и т. д.). По результатам расчета видно, что первые четыре места займут студенты, которые получают повышенную стипендию. Самый высокий рейтинг у студента F10 — он получает повышенную стипендию, имеет научные публикации и является участником спортивных соревнований. ИС позволяет различные однотипные достижения

(например, спортивный разряд, победитель или участник соревнований) объединять в один кластер и давать S

X

общую оценку кластеру (представлять в расчетах в качестве одного критерия с определенным весом).

Заключение. Авторы предлагают инструмент, который предоставляет пользователю возможность ко- ™

личественной оценки исследуемых объектов при большом объеме информации об этих объектах. Электронное &

портфолио позволяет максимально учитывать различные достижения студентов, и не только в стенах вуза, s

обеспечивает доступность данных для самих студентов, хранит большое количество информации об обучае- ^

мом. Расчет индивидуального рейтинга и ранжирование улучшает качество учебного процесса, что в результате ^

повлияет на общий рейтинг вуза. îu

f-

Библиографический список

1. Об образовании в Российской Федерации : федер. закон от 29.12.2012 № 273-ФЗ [Электронный ре- л сурс] / КонсультантПлюс. — Режим доступа : http://www.consultant.ru/document/cons_doc_LAW_140174/ (дата обращения : 20.09.2019). ¡5

2. Orlov, Y. Time-dependent sir modeling for d2d communications in indoor deployments / Y. Orlov, к D. Zenyuk, A. Samuylov, D. Moltchanov, Y. Gaidamaka, K. Samouylov, S. Andreev, O. Romashkova // Proceedings - 3 31st European Conference on Modelling and Simulation, ECMS. — 2017. — P. 726-731. ™

3. Gudkova, I. A. Determination of the range of the guaranteed radio communication in wireless telecommu- g nication networks of IEEE 802.11 standard with the use of ping program / I. A. Gudkova, O. N. Romashkova, Й V. E. Samoylov // CEUR Workshop Proceedings 8. Ser. "ITTMM 2018": Proceedings of the Selected Papers of the 8th Ц International Conference "Information and Telecommunication Technologies and Mathematical Modeling of High- ф Tech Systems". — 2018. — P. 54-59.

4. Romashkova, O. N. Application of information technology for the analysis of the rating of university /

O. N. Romashkova, L. A. Ponomareva, I. P. Vasilyuk, Y. V. Gaidamaka // Workshop proceedings 8. Ser. "ITTMM

2018": Proceedings of the selected papers of the 8th international conference "Information and Telecommunication Technologies and Mathematical Modeling of High-Tech Systems". — 2018. — P. 46- 53.

5. Ponomareva, L. A. Method of effective management of competence development processes in educational environments. / L. A. Ponomareva, P. E. Golosov, A. B. Mosyagin, V. I Gorelov //, Modern science: actual problems of theory and practice. Series: natural and technical. — 2017. — Vol. 9. — P. 48.

6. Ponomareva, L. A. Method of computer aided formation of organic compound descriptors for quantitative structure-property relationships / L. A. Ponomareva, M.I. Kumskov, E. A. Smolenskii, D. F. Mityushev, N. S. Zefirov // News of the Academy of Sciences. Chemical series. — 1994. — No. 8. — P. 1391.

7. Prokhorov, E. I. Fuzzy classification and fast rules for refusal in the QSAR problem / E. I. Prokhorov, L. A. Ponomareva, E.A. Permyakov, M.I. Kumskov // Pattern recognition and image analysis (advances in mathematical theory and applications). — 2011. — Vol. 21, no. 3. — P. 542- 544.

8. Пономарева, Л. А. Линейное ранжирование показателей оценки деятельности вуза / Л. А. Пономарева, О. Н. Ромашкова, И. П. Василюк // Современные информационные технологии и ИТ-образование. — 2018. — Т. 14, № 1. — С. 245-255.

9. Пономарева, Л. А. Алгоритм оценки эффективности работы кафедр университета для управления его рейтинговыми показателями / Л. А. Пономарева, О. Н. Ромашкова, И. П. Василюк // Вестник Рязан. гос. ра-диотехн. ун-та. — 2018. — № 64. — С. 102-108.

10. Prokhorov, E. I. Fuzzy classification and fast rejection rules in the structure-property problem. / E. I. Prokhorov, L. A. Ponomareva, E. A. Permyakov, M. I. Kumskov // Pattern recognition and image analysis (advances in mathematical theory and applications). — 2013. — Vol. 23, no. 1. — P. 130-138.

11. Bobrikova, E. The application of a fluid-based model for the analysis of the distribution time of a file among users in peer-to-peer network. / E. Bobrikova, Y. Gaidamaka, O. Romashkova // Selected Papers of the II International Scientific Conference "Convergent Cognitive Information Technologies" (Convergent 2017). CEUR Workshop Proceedings. — 2017 — Vol. 2064. — P. 55-61 Available at: http://ceur-ws.org/Vol-2064/paper06.pdf

Сдана в редакцию 01.09.2019 Принята к публикации 11.11.2019

Об авторах:

Пономарева Людмила Алексеевна,

доцент кафедры «Прикладная информатика» Московского городского университета Института цифрового образования (Россия, 129226, г. Москва, 2-й Сельскохозяйственный проезд, д.4, кор. 1), кандидат физико-математических наук, ORCID:http://orcid.org/0000-0002-6708-2755 ponomarevala@bk.ru

Ромашкова Оксана Николаевна,

профессор кафедры «Прикладная информатика» Московского городского университета Института цифрового образования (Россия, 129226, г. Москва, 2-й Сельскохозяйственный проезд, д.4, кор. 1), доктор технических наук, ORCID:http://orcid.org/0000-0002-1646-8527 рх-гот^аМех. ги.

Заболотникова Виктория Сергеевна,

доцент кафедры «Прикладная информатика» Московского городского университета Института цифрового образования (Россия, 129226, г. Москва, 2-й Сельскохозяйственный проезд, д.4, кор. 1), кандидат технических наук, .о ORCID:http://orcid.org/0000-0001-7111-656X м zabolotnikovavs@yandex.ru

'й

и Белякова Анна Николаевна,

<о

.> магистрантка кафедры «Прикладная информатика» Московского городского университета Института ¡¿, цифрового образования (Россия, 129226, г. Москва, 2-й Сельскохозяйственный проезд, д.4, кор. 1), Зз ORCID:http://orcid.org/0000-0002-6708-2755 ponomarevala@bk.ru

й