CC BY
35
E-LEARNING, ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ / E-LEARNING AND IT IN EDUCATION
УДК 004.89, 37.022
DOI: 10.25559/SITITO.17.202101.723
Оригинальная статья
Моделирование систем оценивания знаний в рамках гибридной интеллектуальной обучающей среды
А. А. Петров1, О. В. Дружинина2,3, О. Н. Масина1*
1 ФГБОУ ВО «Елецкий государственный университет им. И. А. Бунина», г. Елец, Российская Федерация
399770, Российская Федерация, Липецкая область, г. Елец, ул. Коммунаров, д. 28-1 * [email protected]
2 ФГУ «Федеральный исследовательский центр «Информатика и управление» Российской академии наук», г. Москва, Российская Федерация
119333, Российская Федерация, г. Москва, ул. Вавилова, д. 44-2
3 ФГБУН «Институт проблем управления им. В. А. Трапезникова Российской академии наук», г. Москва, Российская Федерация
117997, Российская Федерация, г. Москва, ул. Профсоюзная, д. 65 Аннотация
Рассмотрен подход к интеллектуальному оцениванию знаний учащихся в рамках гибридной интеллектуальной обучающей среды (ГИОС) на основе построения и обучения нейронных сетей. Разработаны структурные схемы системы для оценивания знаний по математике для школьников различных классов. Рассмотрены модели педагогического процесса «учитель» - «модуль ГИОС» - «ученик», «учитель» - «ученик», а также нейросетевая агентная модель процесса обучения. Обоснован выбор типов нейросетей и типов машинного обучения с учетом целеполагания. Охарактеризованы нейросетевые алгоритмы и тренировочные критерии нейросетей. Полученные результаты направлены на создание методик, обеспечивающих в информационно-образовательной интеллектуальной среде процессы оперативного обучения, контроля и оценки знаний, компетенций и процедур, уровня сформированности предметных и профессиональных компетенций обучающихся.
Ключевые слова: гибридная интеллектуальная обучающая среда, нейросетевые алгоритмы, динамические системы, машинное обучение, база знаний, математическое образование, искусственный интеллект, инновации в образовании.
Финансирование: исследование выполнено при финансовой поддержке Российского фонда фундаментальных исследований в рамках научного проекта № 19-29-14009 «Организация гибридной интеллектуальной обучающей среды в условиях цифровизации общего образования (на примере математики)».
Авторы заявляют об отсутствии конфликта интересов.
Для цитирования: Петров, А. А. Моделирование систем оценивания знаний в рамках гибридной интеллектуальной обучающей среды / А. А. Петров, О. В. Дружинина, О. Н. Масина. -DOI 10.25559^ШТО.17.202101.723 // Современные информационные технологии и ИТ-образование. - 2021. - Т. 17, № 1. - С. 179-189.
|© Петров А. А., Дружинина О. В., Масина О. Н., 2021|
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Vol. 17, No. 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
E-LEARNING AND IT IN EDUCATION
Modeling Knowledge Assessment Systems within a Hybrid Intelligent Learning Environment
А. А. Petrova, O. V. Druzhininabc, O. N. Masinaa*
a Bunin Yelets State University, Yelets, Russian Federation
28-1 Kommunarov St., Yelets 399770, Lipetsk region, Russian Federation
b Federal Research Center "Computer Science and Control" of Russian Academy of Sciences, Moscow, Russian Federation
44-2 Vavilov St., Moscow 119333, Russian Federation
c V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences, Moscow, Russian Federation
65 Profsoyuznaya St., Moscow 117997, Russian Federation
An approach to the intellectual assessment of students' knowledge within the framework of a hybrid intelligent learning environment (HILE) based on the construction and training of neural networks is considered. Structural schemes of the system for assessing knowledge in mathematics for schoolchildren of various grades are developed. The models of the pedagogical process "teacher" - "HILE module" - "student", "teacher" - "student", as well as a neural network agent model of the learning process are considered. The choice of types of neural networks and types of machine learning is substantiated, taking into account goal-setting. Neural network algorithms and training criteria for neural networks are characterized. The results obtained are aimed at creating methods that provide the processes of operational learning, control and assessment of knowledge, competencies and procedures, the level of formation of subject and professional competencies of students in the information and educational intellectual environment.
Keywords: hybrid intelligent learning environment, neural network algorithms, dynamic systems, machine learning, knowledge base, mathematical education, artificial intelligence, innovations in education.
Funding: The research was carried out with the financial support of the Russian Foundation for Basic Research within the framework of scientific project No. 19-29-14009.
The authors declare no conflict of interest.
For citation: Petrov A.A., Druzhinina O.V., Masina O.N. Modeling Knowledge Assessment Systems within a Hybrid Intelligent Learning Environment. Sovremennye informacionnye tehnologii i IT-obrazo-vanie = Modern Information Technologies and IT-Education. 2021; 17(1):179-189. DOI: https://doi. org/10.25559/SITITO.17.202101.723
Abstract
Современные информационные технологии и ИТ-образование
Том 17, № 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
O. V. Druzhinina, E-LEARNING AND IT IN EDUCATION
O. N. Masina
Введение
Развитие вычислительных технологий и методов обработки информации существенно влияет на внедрение искусственного интеллекта (ИИ) в научную и образовательную деятельность человека. Использование ИИ в образовании создает новые возможности для проектирования учебной деятельности и разработки программных решений и сред обучения. В [1] представлена модель интегративного взаимодействия «ИИ -образование», выявлены контексты использования систем ИИ в образовании, а также наиболее проблемные и перспективные темы для дальнейших исследований в этой области. Гибридная интеллектуальная обучающая среда представляет собой насыщенную информационно-образовательную среду, которая включает экспертные системы, интеллектуальные системы, нейронные сети и пр. В условиях гибридной интеллектуальной обучающей среды складываются условия для эффективного проектирования индивидуальных образовательных траекторий обучающихся в зависимости от уровня обученности и индивидуальных особенностей [2, 3]. В [2] обучение рассматривается как процесс взаимодействия двух сторон. Одной стороной является виртуальный преподаватель - интеллектуальная обучающая среда, аккумулирующая в своей базе знаний дидактически и методически структурированный материал изучаемой дисциплины для передачи его обучаемому. Другой стороной является обучаемый, «погруженный» своим сознанием в обучающую среду и активно воспринимающий передаваемый ему материал. В этой работе излагаются принципы организации гибридной интеллектуальной обучающей среды, интегрирующей в себе модели, основанные на знаниях продукционного типа, и нейросетевые технологии принятия решений, направленные на реализацию двух стратегий обучения: стратегии самонавигации обучаемого по материалу дисциплины и стратегии его полного подчинения интеллекту обучающей среды.
Современные теоретические и прикладные исследования, направленные на создание средств поддержки образования и цифровую трансформацию математического образования, берут за основу результаты междисциплинарных направлений, относящихся к анализу и синтезу сложных самоорганизующихся систем, т.е. применяя синергетический подход. К примеру, разработка интеллектуального анализа данных (data mining) позволила выявлять значимые корреляции, образцы и тенденции в больших объемах слабо формализованных данных, а применение метода нейронных сетей сделало возможным поиск значения неизвестных переменных или характеристик по известным данным наблюдений или измерений [3]. Это способствует смещению акцента на следующие аспекты использования технологий искусственного интеллекта (ИИ) при обучении точным наукам, в частности, математике. Во-первых, внедрение программ, которые позволят повысить процент усваивания материала по дисциплине. Во-вторых, использование продуктов, созданных на базе теории построения нейросетей, которые позволят автоматизировать процессы организации, мониторинга и исследования образовательного процесса. Исходя из данных аспектов, задачей цифровых математических образовательных платформ становится обеспечение такого инструментального аппарата, который позволит
повысить эффективность работы ученика, усовершенствовать методы организации среднего образования и рационализировать распределение учебного времени.
Выбор подходящей нейросети для решения различных задач в сфере управления образовательным процессом на основе реализации методов ИИ является одним из важнейших аспектов моделирования. Искусственные нейронные сети (ИНС) реализуются на основе математических операций и набора параметров, необходимых для определения выходных данных. Принципы и техника нейросетевого моделирования, а также различные типы нейронных сетей рассмотрены в [4]. Нейро-сетевые модели и алгоритмы рассмотрены в [5]. Одним из наиболее эффективных методов искусственного интеллекта является машинное обучение. Машинное обучение собой класс интеллектуальных методов, которые позволяют улучшить результаты работы компьютеров путем обучения на известных данных. Существует множество моделей для машинного обучения, но они, как правило, относятся к одному из трех типов: обучение с учителем, обучение без учителя и обучение с подкреплением. Последний из приведенных типов машинного обучения представляет значительный интерес при исследовании систем управления промышленными объектами, поскольку сочетает в себе преимущества обучения с учителем и обучения без учителя. Машинному обучению с подкреплением посвящены работы [6, 7].
Вопросы синтеза и анализа математических моделей образовательного процесса рассматривались в [8-12] и в других работах. Сущность основных направлений кибернетической педагогики и положения теории управления образовательными системами изложены в [9, 12]. Следует отметить, что при построении и изучении моделей процесса обучения в рамках ГИОС представляет интерес следующее обобщение часто используемой постановки задачи: с учетом параметров учащихся, характеристик используемых методов учителя и используемой структуры ГИОС, учебной программы, оценить уровень знаний учеников в конце обучения. Для решения задач такого типа можно использовать методы имитационного моделирования [11, 12]. Указанные методы в сочетании с методами теории оптимизации можно применить и к решению оптимизационных задач процесса обучения: найти распределение учебной информации, уровень требований учителя и оптимальную структуру соответствующего модуля ГИОС, при которых знания учеников в конце периода обучения достигнут заданного уровня с учетом того, что ограничения, накладываемые на процесс обучения, будут выполнены. В [11, 12] предложены многокомпонентные модели обучения и рассмотрены вопросы их использования для исследования дидактических систем. Автором развивается информационно-кибернетический подход к анализу учебного процесса. Модели такого типа допускают эффективное использование методов компьютерного моделирования, позволяющих проводить серии компьютерных экспериментов с учетом различных начальных условий, параметров, внешних воздействий, а также позволяющих оценить состояние дидактической системы в конце обучения.
В настоящей статье рассматриваются некоторые аспекты проектирования гибридной интеллектуальной обучающей среды, в частности получение знаний на основе компьютерного
Vol. 17, No. 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
E-LEARNING, ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ О. В. Дружинина,
О. Н. Масина
моделирования педагогического процесса, а также вопросы оценивания результатов контрольных работ на основе интеллектуальных методов. Предлагается использовать динамические модели педагогического процесса для изучения качественных эффектов и формирования экспертных знаний об особенностях взаимодействия в системе «учитель» - «ученик». В дальнейшем указанные экспертные знания используются для построения и настройки нейросетевой агентной модели обучения.
В разделе 2 рассмотрена общая структура разрабатываемой авторским коллективом гибридной интеллектуальной образовательной среды, а также приведено описание ее модулей. Раздел 3 посвящен математической модели «учитель» - «модуль ГИОС» - «ученик», а также некоторым аспектам ее изучения. В разделе 4 рассмотрена обобщенная модель педагогического процесса, основанная на концепции «прочных» и «непрочных» знаний, приведены результаты ее изучения и модификации.
В разделе 5 изучена нейросетевая агентная модель обучения. Раздел 6 посвящен оцениванию результатов контрольных работ на основе искусственных нейронных сетей.
Структура ГИОС
Для реализации интеллектуального управления образовательным процессом предложена логическая организация прототипа гибридной интеллектуальной обучающей среды (ГИОС) (рис. 1). На рис. 1 представлено структурное разбиение ГИОС на несколько модулей и блоков. Модуль знаний представляет собой особым образом структурированные учебные материалы - дидактическое обеспечение, критерии оценки, задания для контрольных работ. Планируется наполнение модуля знаний с целью использования при обучении математике школьников 10 и 11 классов.
Модуль генерации заданий
Целеполагание
База образовательных траекторий
Подсистема ИИ
Модуль оценивания
Модуль знаний
г \
Модуль анализа результатов
т
Верификация
Р и с. 1. Логическая организация прототипа гибридной обучающей среды с интеллектуальными компонентами F i g. 1. Intelligent Hybrid Learning Environment Prototype Logic
Современные информационные технологии и ИТ-образование
Том 17, № 1. 2021
ISSN 2411-1473
sitito.cs.msu.ru
O. V. Druzhinina, E-LEARNING AND IT IN EDUCATION
O. N. Masina
Подсистема ИИ представлена несколькими модулями. Модуль оценивания отвечает за вычисление показателей успеваемости на основе ряда формальных критериев. Модуль анализа результатов направлен на корректировку результатов модуля оценивания, а также на визуализацию и поддержку процесса верификации учителем. Модуль искусственного интеллекта отвечает за реализацию алгоритмов и взаимодействие с базой образовательных траекторий.
База образовательных траекторий хранит и обрабатывает информацию об индивидуальных достижениях каждого обучающегося. Модуль генерации заданий содержит в себе алгоритмы, которые формируют индивидуальный блок задач на основе информации из модуля знаний и базы образовательных траекторий.
Важным моментом работы ГИОС является то, что процесс ее функционирования разделяется на этапы транзакции. Каждая из транзакций проходит верификацию учителем, что представлено на рис. 1. Элементы программного комплекса ГИОС в части модулей оценивания и анализа результатов разработаны с применением языка РуЛопЗ, системы JupyteгLab, математических библиотек scipy, питру, та1р1оШЬ, skleaгn. Описание некоторых используемых математических моделей и части программного обеспечения приведено в [13, 14]. Для моделирования процесса обучения в рамках ГИОС используются динамические модели педагогического процесса, некоторые из которых представлены ниже.
Модель многоступенчатой передачи заданий
Рассмотрим модель многоступенчатой передачи учебных заданий, задаваемую дифференциальным уравнением т-го порядка, следующего вида:
^/(мМ^МО'УМ) с1)
где хеЯ" - вектор фазового состояния системы, t - время, х[Ь-8Ь) - вектор запаздывания, у[х, Ь) - функция, задающая вектор возмущений в системе.
Обобщенную управляемую модель можно представить в виде: йпх
— = /(*, х(*), *(*-&), у(х, /), и(х, /)) [2)
где часть входящих величин пояснена после уравнения [1), и[х, Ь) - вектор управления.
В моделях [1) и [2) п-й порядок производной соответствует построению цепочки из т звеньев передачи учебных заданий. В указанной цепочке присутствует качественная зависимость значения последующего звена от предыдущего. Системы [1), [2) задают непрерывные динамические модели с учетом запаздывания. Наличие вектора запаздывания обусловлено возникающими задержками при передаче заданий. В модели [2) предполагается, что возмущения задаются функцией, на которую накладываются соответствующие ограничения. Для указанной модели можно поставить задачу оптимального управления с заданными начальными и граничными условиями. Задача оптимального управления заключается в нахождении управляющей функции и[Ь, х), которая соответ-
ствует траектории с учетом выполнения заданных условий. В рамках этой задачи следует рассматривать фиксированный промежуток Ь2). Кроме того, для модели [2) с учетом накладываемых условий также может рассматриваться постановка задачи быстродействия. Согласно такой постановке необходимо минимизировать значение разности Ь2 и Следует е отметить, что для получения оптимальных траекторий можно использовать методы параметрической оптимизации и интеллектуальные методы [15, 16].
Модель передачи заданий в цепочке «учитель - модуль ГИОС -ученик» с запаздывающей обратной связью и с возмущениями можно представить в виде:
где хг, х2, х3- взаимозависимые количественные показатели педагогического процесса для ученика, учителя и модуля ГИОС соответственно, к1, ..., к6 - коэффициенты параметров модели, F1 - функция возмущения, ^ - случайная функция, которая определяет задержку в системе согласно нормальному распределению. Модель [3) является конкретизацией и модификацией модели [1), когда размерность модели равна трем. Смысл случайного запаздывания с заданной модой заключается в том, что учитель и ученик имеют непостоянное время реакции в системе [3).
Нетрудно показать, что возможное состояние равновесия трехмерной системы без учета запаздывания имеет вид:
^ 0, ^ .
К
Траектории трехмерной системы без учета запаздывания при заданном наборе параметров приведены на рис. 2. Для этих траекторий характерны автоколебания с возрастающей амплитудой, при этом система не является устойчивой.
- XI
*2 - x3
Л/tili
TT
О 50 100 150 200 250
t
Р и с. 2. Траектории системы, моделирующей цепочку «учитель - модуль ГИОС - ученик», без учета запаздывания F i g. 2. Trajectories of the system simulating the chain «teacher - HILE module -student», without taking into account the delay
Vol. 17, No. 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
E-LEARNING, ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ О. В. Дружинина,
О. Н. Масина
На рис. 3 приведены траектории системы (3) с сохранением используемого для вычислительных экспериментов набора параметров с учетом запаздывания. Следует отметить, что система с запаздыванием также является неустойчивой, однако в отличие от системы без запаздывания автоколебаний не наблюдается, а характер изменения некоторых траекторий близок к линейному.
100 80 60 40 20
- - *2 - х3
1_
как т, где - т время снижения знаний в е раз, и - уровень требований учителя (сложность заданий).
Модель (4) является переключаемой моделью, поскольку процесс обучения подразделяется на несколько уроков с разным уровнем требований учителя иЩ. Следует отметить, что уровень требований может определяться разным образом, в частности, постоянные требования на протяжении временного интервала, возрастающие согласно определенному закону, либо заданные ступенчатой функций (выполнение заданий по очереди) [11].
Рассмотрим следующие условия. Пусть обучение разделено на два урока по 45 минут с переменами по 5 минут. Для иллюстрирования траекторной динамики системы (4) выбраны параметры С^ = 0.5, я2 = 0.2, у1 = 1/3, У2 = 1/6. Траекторная динамика системы (4) с учетом различных законов изменения уровня требований представлена на рис. 4, 5.
Р и с. 3. Траектории системы, моделирующей цепочку «учитель - модуль
ГИОС - ученик», с учетом запаздывания F i g. 3. Trajectories of the system modeling the chain "teacher - HILE module -student", taking into account the delay
С учетом сравнительного анализа моделей можно отметить, что при заданном наборе параметров влияние запаздывания на динамику системы, моделирующей цепочку «учитель-модуль ГИОС-ученик», является значительным и меняет качественные характеристики процесса обучения. Предполагается использование моделей вида (1)-(3) для проведения дальнейших вычислительных экспериментов и последующего «встраивания» в подсистему ИИ ГИОС.
Модели поэтапного усвоения знаний
2.0
0.0
— z2 - Z
г
\ -1
-'— Х- 4
/
Р и с. 4. Траекторная динамика системы (4) для постоянного уровня требований U1 = 2, U2 = 3 F i g. 4. Trajectory dynamics of the system (4) for a constant level of requirements U1 = 2, U2 = 3
Теоретический и прикладной интерес для дальнейшего обобщения и адаптации в рамках цифровизации образования представляют модели кибернетической педагогики, предложенные в работах Р.В. Майера [11, 12]. В частности, модель «учитель — ученик» основывается на концепции разделения знаний на категории прочности 22, ..., 2п, где - наименее прочные знания, процесс забывания которых протекает наиболее быстро, 2п - наиболее прочные знания, сохраняющиеся продолжительное время. В двумерном случае модель задается обыкновенными дифференциальными уравнениями вида
(4)
¿1 = каг (I/ - Z) - ка121 - ух2х, ¿2 = каг2х — , 2 = 2х+2г,
где к - индикатор наличия процесса обучения (0 или 1), «2 - коэффициенты скорости усвоения знаний, У\,Уг - коэффициенты забывания для и 12 соответственно (определяются
Р и с. 5. Траекторная динамика системы (4) для линейно возрастающего уровня требований F i g. 5. Trajectory dynamics of system (4) for a linearly increasing level of requirements
Современные информационные технологии и ИТ-образование
Том 17, № 1. 2021
ISSN 2411-1473
sitito.cs.msu.ru
O. V. Druzhinina, E-LEARNING AND IT IN EDUCATION
O. N. Masina
Согласно представленным на рис. 4, 5 результатам следует отметить, что общий уровень знаний стремится к уровню требований и и снижается в момент наступления перемены, в основном за счет уменьшения наименее прочных знаний. Мы предлагаем модификацию модели (4) с учетом того, что менее прочные знания преобразуются в более прочные не мгновенно, а через некоторое время после осмысливания учеником. В таком случае модель (4) принимает вид
¿1 = ках {и-2}- - ух2х,
2 = 2х+2г.
где приняты обозначения, аналогичные обозначениям модели (4), А - время осмысливания знаний учеником. Траектории системы (5) для линейно возрастающего уровня требований и задержкой в 25 минут представлены на рис. 6.
<4 —
— г
5-----01, 02
О 20 40 50 80 100
Р и с. 6. Траекторная динамика системы (5) для линейно возрастающего уровня требований с учетом запаздывания F i g. 6. Trajectory dynamics of system (5) for a linearly increasing level of requirements taking into account the delay
В соответствии с представленными на рис. 6 результатами можно отметить, что введение запаздывания существенно не влияет на динамику системы. Тем не менее, выявлена возможность возникновения нелинейных переходных процессов. Использование моделей вида (5) предполагается для проведения дальнейших вычислительных экспериментов и для анализа особенностей образовательного процесса при варьировании наборов параметров и с учетом запаздывания. Выявлению новых качественных эффектов образовательного процесса, регулируемого с помощью модулей ГИОС, способствует методика моделирования с применением нейросетево-го агентного подхода.
Нейросетевое агентное моделирование процесса обучения
Для дальнейшего тестирования разрабатываемых в рамках ГИОС алгоритмов предполагается использование агентной модели обучающегося на основе однослойной нейронной
сети, топология которой представлена на рис. 7. Нейросетевой подход к моделированию позволяет имитировать процесс обучения ученика проведение контрольной работы с получением оценки.
Входной Выходной слой слой
Р и с. 7. Пример топологии нейросети для построения агентной системы
моделирования образовательного процесса F i g. 7. An example of a neural network topology for building an agent-based system for modeling the educational process
В качестве функции активации используется радиально-ба-зисная функция. Принцип работы данной нейростети заключается в том, что в весовых коэффициентах хранятся знания ученика о предметной области, на вход подается ключ тестирования, т. е. вектор, характеризующий набор тестов, а на выходе получается вектор-столбец ответов, где 1 - правильный ответ, 0 - неправильный ответ. Формула для нахождения значений выходного слоя имеет вид: у = /(Щ
где y - набор выходов, W- матрица весовых коэффициентов (матрица знаний), х - ключ тестирования, f - радиально-ба-зисная функция активации.
Предполагается, что N моделей учеников обучается на нескольких перекрестных наборах входных ключей. Таким образом, формируется имитация неравномерного уровня усвоения знаний в классе. Кроме того, возможно внесение возмущений в полученные весовые коэффициенты согласно нормальному распределению (с модой в точке 0). Интерпретировать результат работы нейронной сети на рис. 7 можно следующим образом — в процессе работы она восстанавливает искаженные векторы тестирования до вектора правильных ответов, задаваемых радиально-базисной функцией активации. Таким образом, процесс обучения такой нейросети имеет некоторую степень подобия с обучением школьника. Следует отметить, что нейросетевая агентная модель, представленная на рис. 7, не обладает высокой степенью адаптивности, поскольку содержит всего один слой и не удовлетворяет теореме Цыбенко об универсальной аппроксимации [17]. Однако, работа с данной моделью может предоставить информацию, полезную для изучения образовательных процессов в рамках ГИОС. Кроме того, следует отметить, что существует
Vol. 17, No. 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
E-LEARNING, ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ О. В. Дружинина,
О. Н. Масина
возможность обобщить данную модель на модели с другими топологиями нейросетей (в зависимости от целей моделирования).
Помимо моделирования процесса обучения, важной задачей является оценивание результатов контрольных работ на основе нестрогих критериев, применяемых учителями и экспертами. Мы предлагаем подход, основанный на применении искусственных нейронных сетей.
Оценивание знаний на основе искусственной нейронной сети
Оценивание знаний в разрабатываемой ГИОС предлагается проводить с использованием искусственной нейронной сети, а обучение нейросети производить на основе базы экспертных оценок, являющейся частью базы знаний ГИОС. Используется метод построения нейросети на основе обучения с учителем в рамках решения задач классификации. Экспертные оценки представляют собой пары «набор ответов на контрольную работу» - «оценка» или «набор ответов на контрольную работу» - «оценки». Оценка может быть сформулирована как в стандартной метрике, т. е. «неудовлетворительно», «удовлетворительно», «хорошо», «отлично», так и в нестандартной, которая определяется в соответствии со спецификой заданий и необходимостью выявления творческого и научного потенциала обучающихся. Структура нейросетевого регулятора представлена на рис. 8.
Входной
//Pf]/ ШшШтЧ
XI
щ
ш ■
Скрытый слой
ftl
/15
*
: hb "■ ы
hr
Выходной
y\\ 5Длу
ж
У.
У2
щ
Уз
Ш TW
ш
2/4
ftn /113
Р и с. 8. Структура нейросети для модуля оценивания агентной системы
применительно к результатам контрольной работы с 5 заданиями F i g. 8. The structure of the neural network for the assessment module of the agent-based system in relation to the test results with 5 tasks
На входы х.(;' = 1, ..., 5) приведенной на рис. 7 нейросети подаются оценки выполнения заданий по результатам контрольной работы (от 0 до 1). Скрытые нейроны hj ( = 1, ..., 12) имеют тангенциальную функцию активации. Нейроны выходного слоя ук (к = 1, ..., 4) также имеют тангенциальную функцию активации и обозначают одну из оценок: «неудовлетворительно», «удовлетворительно», «хорошо», «отлично». Выбор оценки происходит по принципу выделения нейрона с максимальным значением вывода. Если два или более нейрона имеют одинаковые значения, то выбирается наилучшая оценка. Недостатком данного подхода к моделированию образовательного процесса является необходимость обработки большого объема информации, поступающей от эксперта. Несмотря на это обстоятельство, при данном подходе предусматривается возможность анализа данных, полученных на основе модельных экспериментов. Таким образом, предлагаемая агентная модель направлена на поиск компромиссных в части трудоемкости решений, основанных на экспертной информации и анализе данных.
При разработке модулей оценивания и анализа результатов подсистемы ИИ в рамках ГИОС возникают проблемы выбора тестовых заданий. Для решения указанных проблем используются различные методы и алгоритмы оптимизации. Например, в [18] рассмотрен алгоритм оптимизации тестовых заданий практической части учебного курса с использованием искусственной иммунной системы. При этом множество практических заданий разделяется на классы с помощью дискретной кластеризации, а для выбора целевой функции и ограничений задачи используется модель Г. Марковица. Предлагаемый в задаче алгоритм позволяет получить за относительно небольшое время удовлетворительную аппроксимацию парето-оп-тимального множества для решения задачи выбора тестовых заданий. Отметим, что для решения задач выбора тестовых заданий представляет интерес использование методов машинного обучения.
Заключение
Предложенные модели и методы моделирования систем оценивания знаний обучающихся могут служить основой методики, используемой при разработке и функционировании модулей ГИОС. Разработанные структурные схемы системы для оценивания знаний по математике для школьников различных классов направлены на практическое использование с учетом процессов цифровой трансформации образовательных процессов. Исследование предложенных динамических моделей «учитель» - «модуль ГИОС» - «ученик», «учитель» - «ученик», а также анализ новой нейросетевой агентной модели обучения позволили выявить новые качественные эффекты педагогического процесса. Указанные динамические модели педагогического процесса предназначены для получения качественных результатов, в том числе и с учетом синер-гетических эффектов, и формирования экспертных знаний, которые используются для построения и настройки нейро-сетевой агентной модели обучения. Рассмотренный подход к интеллектуальному оцениванию знаний учащихся в рамках ГИОС на основе построения и обучения нейронных сетей продемонстрировал достаточно высокий уровень эффективности
Современные информационные технологии и ИТ-образование
Том 17, № 1. 2021
ISSN 2411-1473
sitito.cs.msu.ru
А. А. Petrov, O. V. Druzhinina, O. N. Masina
E-LEARNING AND IT IN EDUCATION
187
при решении ряда важных задач, возникающих в образовательном процессе. В целом разработанные модели и полученные результаты могут использоваться в рамках создания методик, обеспечивающих в информационно-образовательной интеллектуальной среде процессы оперативного обучения, контроля и оценки знаний, компетенций и процедур, уровня сформированности предметных и профессиональных компетенций обучающихся. Такие результаты, как обоснование выбора типов нейросетей и типов машинного обучения с учетом целеполагания, а также разработка и обоснование нейросете-вых алгоритмов и тренировочных критериев нейросетей, могут получить дальнейшее развитие для решения задач оценки знаний обучающихся и выявления их творческого потенциала для исследовательской деятельности.
€писок использованных источников
[1] Круглов, А. Ю. Проблемные аспекты исследования и применения искусственного интеллекта в образовании / А. Ю. Круглов. - DOI 10.18127/j20729472-202004-05 // Системы высокой доступности. - 2020. - Т. 16, № 4. - С. 56-63. - Рез. англ.
[2] Басалин, П. Д. Адаптация гибридной интеллектуальной обучающей среды с подкреплением / П. Д. Басалин, Д. А. Куликов, Ю. В. Маскина. - DOI 10.25559/ SITIT0.16.202003.788-798 // Современные информационные технологии и ИТ-образование. - 2020. - Т. 16, № 3. - С. 788-798. - Рез. англ.
[3] Слепцов, А. Ф. Интеллектуальная образовательная среда: теоретические подходы и возможности реализации / А. Ф. Слепцов, М. В. Слепцова // Современные исследования социальных проблем (электронный научный журнал). - 2016. - № 5. - С. 70-88. - URL: https://elibrary ru/item.asp?id=26718684 (дата обращения: 17.01.2021). - Рез. англ.
[4] Васильев, А. Н. Принципы и техника нейросетевого моделирования / А. Н. Васильев, Д. А. Тархов. - М.: Нестор-История, 2014.
[5] Тархов, Д. А. Нейросетевые модели и алгоритмы / Д. А. Тархов. - М.: Радиотехника, 2014.
[6] Reinforcement Learning / A. S. Bhatia, M. K. Saggi, A. Sun-das, J. Ashta. - DOI 10.1002/9781119654834.ch11 // Machine Learning and Big Data: Concepts, Algorithms, Tools and Applications / ed. by U. N. Dulhare, K. Ahmad, K. A. Bin Ahmad. - Chapter: 11. - John Wiley & Sons, Inc., 2020. - Pp. 281-303.
[7] Introduction to Reinforcement Learning / Z. Ding, Y. Huang, H. Yuan, H. Dong. - DOI 10.1007/978-981-15-4095-0_2 // Deep Reinforcement Learning / ed. by H. Dong, Z. Ding, S. Zhang. - Springer, Singapore, 2020. - Pp. 47-123.
[8] Леонтьев, Л. П. Проблемы управления учебным процессом: Математические модели / Л. П. Леонтьев, О. Г Гохман. - Рига: Зинатне, 1984.
[9] Новиков, Д. А. Теория управления образовательными системами / Д. А. Новиков. - М.: Народное образование, 2009.
[10] Ивашкин, Ю. А. Мультиагентное имитационное моделирование процесса накопления знаний / Ю. А.
Ивашкин, Е. А. Назойкин // Программные продукты и системы. - 2011. - № 1. - С. 45-49. - URL: http://swsys. ru/index.php?page=article&id=2711 (дата обращения: 17.01.2021). - Рез. англ.
[11] Майер, Р. В. Многокомпонентная модель обучения и ее использование для исследования дидактических систем / Р. В. Майер // Фундаментальные исследования.
- 2013. - № 10-11. - С. 2524-2528. - URL: https://elibrary ru/item.asp?id=21013880 (дата обращения: 17.01.2021).
- Рез. англ.
[12] Майер, Р. В. Кибернетическая педагогика: имитационное моделирование процесса обучения / Р. В. Майер.
- Глазов: ГГПИ, 2014. - URL: https://elibrary.ru/item. asp?id=21277527 (дата обращения: 17.01.2021). - Рез. англ.
[13] Дружинина, О. В. Построение дифференциальных математических моделей, используемых при разработке гибридной интеллектуальной обучающей среды, с учетом запаздывания и управляющих воздействий / О. В. Дружинина, О. Н. Масина, А. А. Петров. - DOI 10.24888/2500-1957-2021-1-69-80 // Continuum. Математика. Информатика. Образование. - 2021. - № 1(21).
- С. 69-80. - Рез. англ.
[14] Application of intelligent technologies and neural network modeling methods in the development of a hybrid learning environment / O. V. Druzhinina, O. N. Masina, A. A. Petrov, S. V. Shcherbatykh. - DOI 10.1088/1742-6596/1691/1/012125 // Journal of Physics: Conference Series. - 2020. - Vol. 1691.
- Article: 012125.
[15] Карпенко, А. П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой / А. П. Карпенко. - М.: МГТУ, 2017.
[16] Demidova, A. The Generalized Algorithms of Global Parametric Optimization and Stochastization for Dynamical Models of Interconnected Populations / A. Demidova [и др.]. - DOI 10.1007/978-3-030-62867-3_4 // Optimization and Applications. OPTIMA 2020. Lecture Notes in Computer Science / ed. by N. Olenev, Y. Evtushenko, M. Khachay, V Malkova. - Springer, Cham, 2020. - Vol. 12422. - Pp. 40-54.
[17] Хайкин, С. Нейронные сети: полный курс / C. Хайкин. -М.: Вильямс, 2006.
[18] Астахова, И. Ф. Гибридная интеллектуальная информационная система прогнозирования количества тестовых заданий / И. Ф. Астахова, Е. И. Киселева. - DOI 10.25559/SITITO.16.202004.917-926 // Современные информационные технологии и ИТ-образование. -2020. - Т. 16, № 4. - С. 917-926. - Рез. англ.
[19] Monostori, L. On hybrid learning and its application in intelligent manufacturing / L. Monostori, Cs. Egresits. - DOI 10.1016/S0166-3615(97)00064-X // Computers in Industry. - 1997. - Vol. 33, issue 1. - Pp. 111-117.
[20] Azkune, G. A Scalable Hybrid Activity Recognition Approach for Intelligent Environments / G. Azkune, A. Almeida. - DOI 10.1109/ACCESS.2018.2861004 // IEEE Access. - 2018. -Vol. 6. - Pp. 41745-41759.
[21] Khan, F. Hybrid Reality based Education Expansion System for Intelligent Learning / F. Khan, J. Ahamed. - DOI 10.1109/ ITT51279.2020.9320784 // 2020 Seventh International
Vol. 17, No. 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
E-LEARNING, ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ О. В. Дружинина,
О. Н. Масина
Conference on Information Technology Trends (ITT). - Abu Dhabi, United Arab Emirates, 2020. - Pp. 224-227.
[22] Varghese, N. V. Optimization of Deep Reinforcement Learning with Hybrid Multi-Task Learning / N. V. Varghese, Q. H. Mahmoud. - DOI 10.1109/SysCon48628.2021.9447080 // 2021 IEEE International Systems Conference (SysCon). -Vancouver, BC, Canada, 2021. - Pp. 1-8.
[23] Chee, K.-S. Intelligent learning environment: building hybrid system from standard application and Web application / K.-S. Chee, S. Phon-Amnuaisuk. - DOI 10.1109/ICALT.2005.175 // Fifth IEEE International Conference on Advanced Learning Technologies (ICALT'05). - Kaohsiung, Taiwan, 2005. - Pp. 506-510.
[24] Fonseca, T. L. Hybrid Extreme Learning Machine and Backpropagation with Adaptive Activation Functions for Classification Problems / T. L. Fonseca, L. Goliatt. - DOI 10.1007/978-3-030-71187-0_2 // Intelligent Systems Design and Applications. ISDA 2020. Advances in Intelligent Systems and Computing; A. Abraham, V. Piuri, N. Gandhi, P. Siarry, A. Kaklauskas, A. Madureira (eds.). - Springer, Cham, 2012. - Vol. 1351. - Pp. 19-29.
[25] He, K. Hybrid Learning and New Development of "IT in Education" Theory / K. He. - DOI 10.1007/978-3-642-14657-2_46 // Hybrid Learning. ICHL 2010. Lecture Notes in Computer Science; P. Tsang, S.K.S. Cheung, V.S.K. Lee, R. Huang (eds.). - Springer, Berlin, Heidelberg, 2010. - Vol. 6248. - Pp. 513-531.
Поступила 17.01.2021; одобрена после рецензирования 25.03.2021; принята к публикации 03.04.2021.
Об авторах:
Петров Алексей Алексеевич, старший преподаватель кафедры математического моделирования и компьютерных технологий, Институт математики, естествознания и техники, ФГ-БОУ ВО «Елецкий государственный университет им. И. А. Бунина» (399770, Российская Федерация, Липецкая область, г. Елец, ул. Коммунаров, д. 28-1), кандидат технических наук, ORCID: https://orcid.org/0000-0002-3011-9278, [email protected] Дружинина Ольга Валентиновна, главный научный сотрудник, ФГУ «Федеральный исследовательский центр «Информатика и управление» Российской академии наук» (119333, Российская Федерация, г. Москва, ул. Вавилова, д. 44-2); главный научный сотрудник, ФГБУН «Институт проблем управления им. В. А. Трапезникова Российской академии наук» (117997, Российская Федерация, г. Москва, ул. Профсоюзная, д. 65), доктор физико-математических наук, профессор, ORCID: https:// orcid.org/0000-0002-9242-9730, [email protected] Масина Ольга Николаевна, заведующий кафедрой математического моделирования и компьютерных технологий, Институт математики, естествознания и техники, ФГБОУ ВО «Елецкий государственный университет им. И. А. Бунина» (399770, Российская Федерация, Липецкая область, г. Елец, ул. Коммунаров, д. 281), доктор физико-математических наук, доцент, ORCID: orcid.org/0000-0002-0934-7217, [email protected]
Все авторы прочитали и одобрили окончательный вариант рукописи.
References
[1] Kruglov A.Yu. The challenge of artificial intelligence research and application in education. Highly Available Systems. 2020; 16(4):56-63. (In Russ., abstract in Eng.) DOI: https://doi.org/10.18127/j20729472-202004-05
[2] Basalin P.D., Kulikov D.A., Maskina Yu.V. Adapting a Hybrid Intelligent Reinforcement Learning Environment. Sovre-mennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2020; 16(3):788-798. (In Russ., abstract in Eng.) DOI: https://doi. org/10.25559/SITIT0.16.202003.788-798
[3] Sleptsov A.F., Sleptsova M.V. Intelligent educational environment: theoretical approaches and possible implementation. Sovremennye issledovania socialnyh problem = Modern Studies of Social Issues. 2016; (5):70-88. Available at: https:// elibrary.ru/item.asp?id=26718684 (accessed 17.01.2021). (In Russ., abstract in Eng.)
[4] Vasilyev A.N., Tarkhov D.A. Principy i tehnika nejrosetevogo modelirovanija [Principles and techniques of neural network modeling]. Nestor-History, Moscow; 2014. (In Russ.)
[5] Tarkhov D.A. Nejrosetevye modeli i algoritmy [Neural network models and algorithms]. Moscow, Radio engineering; 2014. (In Russ.)
[6] Bhatia A.S., Saggi M.K., Sundas A., Ashta J. Reinforcement Learning. In: U. N. Dulhare, K. Ahmad, K. A. Bin Ahmad (Eds.) Machine Learning and Big Data: Concepts, Algorithms, Tools and Applications. Chapter: 11. John Wiley & Sons, Inc.; 2020. p. 281-303. (In Eng.) DOI: https://doi. org/10.1002/9781119654834.ch11
[7] Ding Z., Huang Y., Yuan H., Dong H. Introduction to Reinforcement Learning. In: H. Dong, Z. Ding, S. Zhang (Eds.) Deep Reinforcement Learning. Springer, Singapore; 2020. p. 47-123. (In Eng.) DOI: https://doi.org/10.1007/978-981-15-4095-0_2
[8] Leontiev L.P., Gokhman O.G. Problemy upravlenija uchebnym processom: Matematicheskie modeli [Problems Training Management: Mathematical model]. Zinätne, Riga; 1984. (In Russ.)
[9] Novikov D.A. Teorija upravlenija obrazovatel'nymisistemami [Control theory of educational systems]. Public Education Publ., Moscow; 2009. (In Russ.)
[10] Ivashkin Yu.A., Nazoikin E.A. Multi-agent simulation modeling of accumulation of knowledge process. Software & Systems. 2011; (1):45-49. Available at: http://swsys.ru/in-dex.php?page=article&id=2711 (accessed 17.01.2021). (In Russ., abstract in Eng.)
[11] Mayer R.V. Multi-component model of learning and its use for research didactic system. Fundamental research. 2013; (10-11):2524-2528. Available at: https://elibrary.ru/item. asp?id=21013880 (accessed 17.01.2021). (In Russ., abstract in Eng.)
[12] Mayer R.V. Kiberneticheskaja pedagogika: imitacionnoe modelirovanie processa obuchenija [Cybernetic Pedagogy: Modeling of the Learning Process]. GSPI, Glazov; 2014. (In Russ.)
[13] Druzhinina O.V., Masina O.N., Petrov A.A. Construction of differential mathematical models used in the development
Современные информационные технологии и ИТ-образование
Том 17, № 1. 2021
ISSN 2411-1473
sitito.cs.msu.ru
O. V. Druzhinina, E-LEARNING AND IT IN EDUCATION
O. N. Masina
of a hybrid intellectual learning environment, taking into account delay and control actions. Continuum. Mathematics. Computer science. Education. 2021; (1):69-80. (In Russ., abstract in Eng.) DOI: https://doi.org/10.24888/2500-1957-2021-1-69-80
[14] Druzhinina O.V., Masina O.N., Petrov A.A., Shcherbatykh S.V. Application of intelligent technologies and neural network modeling methods in the development of a hybrid learning environment. Journal of Physics: Conference Series. 2020; 1691:012125. (In Eng.) DOI: https://doi. org/10.1088/1742-6596/1691/1/012125
[15] Karpenko A.P. Sovremennye algoritmy poiskovoj optimizacii. Algoritmy, vdohnovlennye prirodoj [Modern search engine optimization algorithms. Algorithms inspired by nature]. MSTU, Moscow; 2017. (In Russ.)
[16] Demidova A. et al. The Generalized Algorithms of Global Parametric Optimization and Stochastization for Dynamical Models of Interconnected Populations. In: N. Olenev, Y. Ev-tushenko, M. Khachay, V. Malkova. (Eds.) Optimization and Applications. OPTIMA 2020. Lecture Notes in Computer Science, vol. 12422. Springer, Cham; 2020. p. 40-54. (In Eng.) DOI: https://doi.org/10.1007/978-3-030-62867-3_4
[17] Haykin S. Neural Networks: A Comprehensive Foundation. Prentice Hall; 1998. (In Eng.)
[18] Astachova I.F., Kiseleva E.I. Hybrid Intelligent Information System for Predicting the Number of Test Tasks. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2020; 16(4):917-926. (In Eng.) DOI: https://doi.org/10.25559/ SITI-TO.16.202004.917-926
[19] Monostori L., Egresits Cs. On hybrid learning and its application in intelligent manufacturing. Computers in Industry. 1997; 33(1):111-117. (In Eng.) DOI: https://doi. org/10.1016/S0166-3615(97)00064-X
[20] Azkune G., Almeida A. A Scalable Hybrid Activity Recognition Approach for Intelligent Environments. IEEE Access. 2018; 6:41745-41759. (In Eng.) DOI: https://doi. org/10.1109/ACCESS.2018.2861004
[21] Khan F., Ahamed J. Hybrid Reality based Education Expansion System for Intelligent Learning. 2020 Seventh International Conference on Information Technology Trends (ITT). Abu Dhabi, United Arab Emirates; 2020. p. 224-227. (In Eng.) DOI: https://doi.org/10.1109/ITT51279.2020.9320784
[22] Varghese N.V., Mahmoud Q.H. Optimization of Deep Reinforcement Learning with Hybrid Multi-Task Learning. 2021 IEEE International Systems Conference (SysCon). Vancouver, BC, Canada; 2021. p. 1-8. (In Eng.) DOI: https://doi. org/10.1109/SysCon48628.2021.9447080
[23] Chee K.-S., Phon-Amnuaisuk S. Intelligent learning environment: building hybrid system from standard application and Web application. Fifth IEEE International Conference on Advanced Learning Technologies (ICALT'05). Kaohsi-ung, Taiwan; 2005. p. 506-510. (In Eng.) DOI: https://doi. org/10.1109/ICALT.2005.175
[24] Fonseca T.L., Goliatt L. Hybrid Extreme Learning Machine and Backpropagation with Adaptive Activation Functions for Classification Problems. In: A. Abraham, V. Piuri, N. Gandhi, P. Siarry, A. Kaklauskas, A. Madureira (Eds.) In-
telligent Systems Design and Applications. ISDA 2020. Advances in Intelligent Systems and Computing, vol. 1351. Springer, Cham; 2012. p. 19-29. (In Eng.) DOI: https://doi. org/10.1007/978-3-030-71187-0_2 [25] He K. Hybrid Learning and New Development of "IT in Education" Theory. In: P. Tsang, S.K.S. Cheung, V.S.K. Lee, R. Huang (Eds.) Hybrid Learning. ICHL 2010. Lecture Notes in Computer Science, vol. 6248. Springer, Berlin, Heidelberg; 2010. p. 513-531. (In Eng.) DOI: https://doi. org/10.1007/978-3-642-14657-2_46
Submitted 17.01.2021; approved after reviewing 25.03.2021; accepted for publication 03.04.2021.
Alexey A. Petrov, Senior Lecturer of the Department of Mathematical Modeling and Computer Technologies, Institute of Mathematics, Natural Science and Technology, Bunin Yelets State University (281 Kommunarov St., Yelets 399770, Lipetsk region, Russian Federation), Ph.D. (Technology), ORCID: https://orcid.org/0000-0002-3011-9278, [email protected]
Olga V. Druzhinina, Chief Researcher, Federal Research Center "Computer Science and Control" of Russian Academy of Sciences (44-2 Vavilov St., Moscow 119333, Russian Federation); Chief Researcher, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences (65 Profsoyuznaya St., Moscow 117997, Russian Federation), Dr.Sci. (Phys.-Math.), Professor, ORCID: https:// orcid.org/0000-0002-9242-9730, [email protected] Olga N. Masina, Head of the Department of Mathematical Modeling and Computer technologies, Institute of Mathematics, Natural Science and Technology, Bunin Yelets State University (28-1 Kommun-arov St., Yelets 399770, Lipetsk region, Russian Federation), Dr.Sci. (Phys.-Math.), Associate Professor, ORCID: https://orcid.org/0000-0002-0934-7217, [email protected]
All authors have read and approved the final manuscript.
Vol. 17, No. 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
