CC BY
26
Нечеткие модели функционирования гибридной интеллектуальной обучающей среды продукционного типа
П.Д. Басалин, А.Е. Тимофеев
Аннотация— Предлагается модификация гибридной интеллектуальной обучающей среды, базирующейся на концепции системы, основанной на знаниях продукционного типа, (аналитическая составляющая) и нейросетевых технологиях планирования сценария обучения (синтетическая составляющая). При этом внимание в первую очередь уделено проблеме формализации знаний продукционного типа на инфологическом уровне (уровне эксперта) в виде графа решений, позволяющего описывать нечеткую логику планирования рабочего сценария обучения с учетом индивидуальных особенностей обучаемого. На достаточно глубоком уровне проработана связь инфологической модели с концептуальным представлением знаний в виде набора продукционных правил аналитической составляющей обучающей среды. Отработана технология срабатывания правил (активизации связанных с ними событий) в процессе логического вывода с учетом потребности выдачи информации пользователю, тестирования уровня ее усвоения и определения исхода события. При этом предусмотрено двухуровневое представление событий (компактное и детальное), обеспечивающее определенную гибкость системы. В плане модификации синтетической составляющей обучающей среды до более конструктивного вида доведена схема трансформации графа решений в эквивалентную (по логике «рассуждений») нейронную сеть прямого распространения (многослойный персептрон). Определены функции нейронов, обеспечивающие потактовое управления процессом обучения и фиксацию его текущего состояния в рабочей памяти интеллектуальной обучающей среды. Предусмотрено запоминание всей
последовательности пройденных состояний с целью обеспечения возможности возврата к ним для повторного рассмотрения пройденного материала. Обоснована нецелесообразность управления какими-либо параметрами нейронной сети из-за отсутствия таковых (вся функциональность сети определяется ее структурой).
Ключевые слова— Система, основанная на знаниях; продукционные правила; нейронная сеть; гибридная интеллектуальная обучающая среда; индивидуальный сценарий обучения.
Статья получена 30 декабря 2018. Рекомендована организационным комитетом III Международной научной конференции «Конвергентные когнитивно-информационные технологии»
Басалин Павел Дмитриевич - институт Информационных технологий, математики и механики, Нижегородский государственный университет имени Н.И. Лобачевского (email:[email protected]) Тимофеев Алексей Евгеньевич - институт Информационных технологий, математики и механики, Нижегородский государственный университет имени Н.И. Лобачевского (email: alexey.timofeev@itmm .unn.ru)
I. Введение
В современных условиях развития компетентностного подхода в образовании, закрепленного в качестве основополагающего в федеральных государственных [17] и самостоятельно устанавливаемых вузами [1] образовательных стандартах, основное внимание сосредоточено на формировании у обучаемого общекультурных, общепрофессиональных и
профессиональных компетенций [2], достаточных для его дальнейшей профессиональной деятельности. Это неизбежно приводит к необходимости модернизации рабочих программ курсов с использованием методологических подходов, развиваемых в рамках отечественных и международных проектов (к примеру [19]-[26]), а также создания и использования электронных образовательных средств (например, [3]-[7], [18]).
В работах [8]-[16] авторов данной статьи, посвященных вопросам построения оболочек гибридных систем интеллектуальной поддержки процессов принятия решений в различных областях (в частности образовательной) деятельности, остались без должной глубины рассмотрения проблемы формализации знаний продукционного типа на инфологическом уровне (уровне эксперта) в виде графа решений, а также возможные эвристики его трансформации в эквивалентную (по логике «рассуждений») нейронную сеть.
В данной статье предлагается модификация гибридной интеллектуальной обучающей среды [16], базирующейся на концепции системы, основанной на знаниях продукционного типа, и нейросетевых технологиях планирования сценария обучения. При этом внимание акцентировано на проблеме использования нечеткой логики рассуждений эксперта, закладываемой в основу графа решений обучающей среды, что позволяет повысить гибкость функционирования системы в целом и максимально адаптировать процесс обучения к индивидуальным особенностям обучаемого.
В плане модификации синтетической составляющей обучающей среды к более конструктивному виду приведена схема трансформации графа решений в эквивалентную (по логике «рассуждений») нейронную сеть прямого распространения. Определены функции нейронов, обеспечивающие потактовое управления процессом обучения и фиксацию его текущего состояния в рабочей памяти интеллектуальной обучающей среды.
II. Теоретическая часть
Традиционно процесс обучения представлен в пространстве состояний и формируется в виде последовательности событий e}, e2, ..., ek, каждое из которых (например, e) связано с выводом на терминал неделимого логически законченного фрагмента изучаемого материала и возможным тестированием уровня его усвоения t, обучаемым. Последний оценивается по непрерывной шкале [0,1] как усредненный результат тестирования и, возможно, субъективной самооценки обучаемого (при отсутствии фазы тестирования значение t, по умолчанию принимается равным 1).
Каждому событию в базе знаний аналитической составляющей интеллектуальной обучающей среды поставлено в соответствие продукционное правило, антецедент которого определяет условия активации события, указанного в консеквенте, в виде перечня имен событий с их исходами, без активизации которых данное событие невозможно. С продукционным правилом связан фрагмент изучаемого материала, представленный на двух уровнях детализации (компактном и детальном), и тесты, определяющие уровень усвоения материала (там, где это требуется). Под исходом si события ei понимается результат нечеткой операции логического следования уровня его усвоения ti из исходов предшествующих событий, указанных в антецеденте правила, который интерпретируется как коэффициент уверенности усвоения материала события.
Имя активизированного события и значение коэффициента уверенности фиксируются в рабочей памяти системы, меняя ее состояние.
Для описания знаний эксперта на инфологическом уровне использован формализм графа решений, позволяющего компактно и наглядно описывать нечеткую логику рассуждений эксперта.
В общем случае нечеткой логики граф решений - это ориентированный помеченный граф с вершинами двух типов:
• вершины условий (типа «овал»), из которых могут исходить несколько ребер, соответствующих различным исходам события, имя которого указано в вершине-овале;
• вершины выводов (типа «прямоугольник»), имеющие один вход и один выход для промежуточных выводов, и не имеющие выхода в случае окончательного вывода.
Вершина вывода содержит имя события, востребованного текущей ситуацией, определяемой предшествующей непрерывной цепочкой вершин условий, возможно начинающейся с вершины промежуточного вывода.
III. РЕАЛИЗАЦИОННАЯ ЧАСТЬ
На рисунке 1 представлен пример фрагмента графа решений, отражающего нечеткую логику формирования сценария обучения на инфологическом уровне для
дисциплины «Схемотехника и организация вычислительных систем» с использованием (для компактности) следующих имен событий:
ех - введение понятия вычислений;
е2 - введение понятия вычислительной системы
(ВС);
е3 - введение понятия архитектуры ВС;
е4 - многоуровневое представление архитектуры
ВС;
е5 - базовый естественно-математический
уровень.
Правила, сгенерированные по фрагменту графа решений, представленному на рисунке 1, выглядят следующим образом:
ЕСЛИ Событие ех не активизировано ТО Активизировать компактное представление события ех
ЕСЛИ Событие е> активизировано И Исход события ех в интервале [0; 0.3) ТО Активизировать детальное представление события ех
ЕСЛИ Событие е> активизировано И Исход события ех в интервале [0.3; 1) ТО Активизировать компактное представление события ех
ЕСЛИ Событие е> активизировано И Исход события ех равен 1 И Событие е2 не активизировано ТО Активизировать компактное представление события е2
ЕСЛИ Событие ех активизировано И Исход события ех равен 1 И Событие е2 активизировано И Исход события е2 в интервале [0; 0.3) ТО Активизировать детальное представление события е2
ЕСЛИ Событие ех активизировано И Исход события ех равен 1 И Событие е2 активизировано И Исход события е2 в интервале [0.3; 1) ТО Активизировать компактное представление события е2
ЕСЛИ Событие ех активизировано И Исход события ех равен 1 И Событие е2 активизировано И Исход события е2 равен 1 И Событие е3 не активизировано ТО Активизировать компактное представление события е3
ЕСЛИ Событие ех активизировано И Исход события ех равен 1 И Событие е2 активизировано И Исход события е2 равен 1
И Событие е3 активизировано И Исход события е3 в интервале [0; 0.3) ТО Активизировать детальное представление события е3
ЕСЛИ Событие ех активизировано И Исход события ех равен 1 И Событие е2 активизировано И Исход события е2 равен 1 И Событие е3 активизировано И Исход события е3 в интервале [0.3;1) ТО Активизировать компактное представление события е3
Рис. 1. Фрагмент графа решений, отражающего нечеткую логику формирования сценария обучения на инфологическом уровне
ЕСЛИ Событие ех активизировано И Исход события ех равен 1 И Событие е2 активизировано И Исход события е2 равен 1 И Событие е3 активизировано И Исход события е3 равен 1 ТО Активизировать компактное представление события е4
ЕСЛИ Событие е4 активизировано И Исход события е4 в интервале [0; 1) ТО Активизировать детальное представление события е4
ЕСЛИ Событие е4 активизировано
И Исход события е4 равен 1 И Событие е5 не активизировано ТО Активизировать компактное представление события е5
ЕСЛИ Событие е4 активизировано И Исход события е4 равен 1 И Событие е5 активизировано И Исход события е5 в интервале [0; 0.3) ТО Активизировать детальное представление события е5
ЕСЛИ Событие е4 активизировано И Исход события е4 равен 1 И Событие е5 активизировано И Исход события е5 в интервале [0.3; 1) ТО Активизировать компактное представление события е5
Технология срабатывания правил (активизации связанных с ними событий) в процессе логического вывода имеет свою специфику, состоящую в необходимости выдачи информации пользователю, тестирования уровня ее усвоения и определения исхода события. В модифицированной версии предусмотрено двухуровневое представление событий (компактное и детальное), обеспечивающее определенную гибкость системы.
Помимо набора продукционных правил для аналитической составляющей обучающей среды подсистема приобретения знаний формирует как основу синтетической составляющей нейронную сеть прямого распространения (многослойный персептрон), эквивалентную (по логике «рассуждений») исходному графу решений.
Алгоритм трансформации графа решений в эквивалентную нейронную сеть функционирует по следующим правилам:
каждой вершине вывода ставится в соответствие свой нейрон, на выходе которого фиксируется исход связанного с ним события после его активизации;
каждой вершине условия сходящихся к вершине вывода цепочек вершин-овалов, некоторые из которых могут начинаться с вершины промежуточного вывода, ставится в соответствие входная ветвь нейрона;
нейроны располагаются по слоям согласно правилу: каждый нейрон последующего слоя должен иметь входные связи только с нейронами предшествующих слоев и хотя бы одну входную связь с каким-нибудь нейроном предыдущего, смежного с ним слоя;
каждой вершине условия графа решений ставится в соответствие нейрон сенсорного слоя;
сигналы выходов всех нейронов выводятся каждый на свой нейрон моторного слоя.
Построенная нейронная сеть для приведенного выше графа решений изображена на рисунке 2.
В рассматриваемой версии оболочки гибридной интеллектуальной обучающей среды к более конструктивному виду приведена схема трансформации графа решений в эквивалентную (по логике «рассуждений») нейронную сеть прямого распространения (многослойный персептрон). Четко
определены функции нейронов, обеспечивающие потактовое управления процессом обучения и фиксацию его текущего состояния в рабочей памяти обучающей среды. Предусмотрено запоминание последовательности пройденных состояний для обеспечения возможности возврата к ним с целью «освежения» пройденного материала.
sfi, 1 ♦^.-....^..-.---Ю-tf^i, 1
2 -sf'.v'
л, j -*•
-sal1
ffi, 1 -sPiJ3,1
ff 1,2 -** £lJ3,2
SP-I, 2 Х^^Ю-*•
sps, 1 ' " -* j
»-----g?s, 2
Рис. 2. Нейронная сеть, сформированная по графу решений
Сигналы сети:
8Р1= 1 - событие е1 активизировано в такт р;
8Р1= 2 - значение исхода события е1 в такт р;
Следует отметить, что все функции потактового формирования рабочего сценария обучения полностью обеспечиваются структурой нейронной сети, не требуя управления какими-либо ее параметрами.
IV. Экспериментальная часть
Модифицированный вариант оболочки гибридной интеллектуальной обучающей среды продукционного типа в настоящее время находится на стадии завершения программной реализации и подготовки к опытной эксплуатации со структурированными фрагментами знаний по дисциплине «Схемотехника и организация вычислительных систем».
V. Заключение
Предложенная в данной статье модифицированная версия оболочки гибридной интеллектуальной обучающей среды продукционного типа, базирующаяся на нечеткой модели представления знаний на инфологическом уровне в виде графа решений, отличается гибкостью, предоставляя пользователю более широкие возможности в плане формирования индивидуального рабочего сценария обучения. Этими возможностями можно управлять с учетом специфики конкретных предметных областей, на которые настраивается оболочка, а также особенностей контингента обучаемых, меняя структуру графа решений и, возможно, пороговые значения исходов событий.
Библиография
[1] Гергель В.П., Кузенков О.А. Разработка самостоятельно устанавливаемых образовательных стандартов Нижегородского госуниверситета в области информационно-коммуникакционных технологий // Школа будущего. - 2012. - № 4. - С. 100-105.
[2] Кузенков О.А., Тихомиров В.В. Использование методологии "Tuning" при разработке национальных рамок компетенций в области ИКТ // Современные информационные технологии и ИТ-образование. - 2013. - № 9. - С. 77-87.
[3] Кузенков О.А., Кузенкова Г.В., Бирюков Р.С. Разработка фонда оценочных средств с использованием пакета Math-Bridge // Образовательные технологии и общество. - 2016. - Т. 19. - N° 4.
- С. 465-478.
[4] Киселева Н.В. Электронный образовательный ресурс по качественно-численным методам исследования неавтономных динамических систем // Современные информационные технологии и ИТ-образование. - 2018. - Т.14. - № 1. - С. 281292. URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/364
[5] Грезина А.В., Панасенко А.Г. Изучение курса физики в институте информационных технологий, математики и механики ННГУ на базе системы электронного обучения // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)» . -2018. - Т. 21. - № 1. - С. 487-493. - ISSN 1436-4522. URL: https://www.j-ets.net/ETS/russian/depository/v21_i1/pdf/19.pdf
[6] Грезина А.В., Панасенко А.Г. Использование современных технологий в преподавании физики при подготовке бакалавров // Современные информационные технологии и ИТ-образование. -2018. - Т.14. - №1. - С. 293-303. URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/366
[7] Макаров Е.М. Использования Java для проверки компетенций по геометрическому моделированию // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)». - 2018. - V. 21. - № 1. - C. 494-505. - ISSN 1436-4522. URL: https://www.j-ets .net/ETS/russian/depository/v21_i1/pdf/20.pdf
[8] Басалин П.Д. Организация интеллектуальной обучающей среды с применением новых информационных технологий // Вестник ВГАВТ. Межвузовская серия «Моделирование и оптимизация сложных систем». - Н. Новгород, 2002. - С. 21-25.
[9] Басалин П.Д., Безрук К.В., Радаева М.В. Модели и методы интеллектуальной поддержки процессов принятия решений: Учебное пособие. - Нижний Новгород: Нижегородский госуниверситет, 2011. - 129 с.
[10] Басалин П.Д., Безрук К.В. Архитектура оболочки гибридной системы нтеллектуальной поддержки процессов принятия решений // Нейрокомпьютеры: разработка, применение. - 2012. -№ 8. - С. 26-34.
[11] Басалин П.Д., Белоусова И.И. Интерактивные формы обучения в образовательном процессе // Вестник Нижегородского университета им. Н.И. Лобачевского. - 2014. - № 3-4. - С. 18-21.
[12] Басалин П.Д., Тимофеев А.Е. Интерактивные формы обучения компьютерным наукам // Преподавание математики и компьютерных наук в высшей школе: материалы Междунар. науч.-метод. конф. (16-17 мая 2017 г.) / науч. ред. Е.К.Хеннер; Перм. гос. нац. исслед. ун-т. - Пермь, 2017. - С. 4-8. URL: https://elis.psu.ru/node/425200
[13] Басалин П.Д., Кумагина Е.А., Неймарк Е.А., Тимофеев А.Е., Фомина И.А., Чернышова Н.Н. ИТ-образование с применением интеллектуальной обучающей среды // Современные информационные технологии и ИТ-образование. - 2017. - Т. 13.
- № 4. - С. 105-111. URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/312
[14] Басалин П.Д., Тимофеев А.Е. Оболочка гибридной системы интеллектуальной поддержки процессов принятия решений // Научно-технический журнал «Системы управления и информационные технологии». - Москва-Воронеж: Научная книга. - 2018. - № 1(71). - С. 24-28.
[15] Басалин П.Д., Тимофеев А.Е. Оболочка гибридной интеллектуальной обучающей среды продукционного типа // Международный электронный журнал «Образовательные технологии и общество (Educational Technology & Society)». -2018. - V. 21. - № 1. - C. 396-405. - ISSN 1436-4522. URL: https://www.j-ets.net/ETS/russian/depository/v21_i1/pdf/12.pdf
[16] Басалин П.Д., Кумагина Е.А., Неймарк Е.А., Тимофеев А.Е., Фомина И.А., Чернышова Н.Н. Реализация гибридной интеллектуальной обучающей среды продукционного типа // Современные информационные технологии и ИТ-образование. -2018. - Т. 14. - № 1. - С. 256-267. URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/360
[17] Zaharova I.V., Kuzenkov O.A. Experience in implementing the requirements of the educational and professional standards in the
field of ict in russian education // Modern information technologies and IT-education. - 2016. - V. 12. - № 3-1. - P. 17-31.
[18] Makarov E., Spitters B. The Picard Algorithm for Ordinary Differential Equations in Coq // Interactive Theorem Proving. - ITP 2013. - V. 7998 / ed. by S. Blazy, C. Paulin-Mohring, D. Pichardie. — Berlin, Heidelberg : Springer, 2013. — P. 463-468. — (Lecture Notes in Computer Science). URL: https://link.springer.com/chapter/10.1007/978-3-642-39634-2_34
[19] Using SEFI framework for modernization of requirements system for mathematical education in Russia / Zakharova, I., Kuzenkov, O., Soldatenko, I., Yazenin, A., Novikova, S., Medvedeva, S., Chukhnov, A. // Proceedings of the 44th SEFI Annual Conference. - 2016. -Tampere, Finland. - P. 15.
[20] Modernization of math-related courses in engineering education in Russia based on best practices in European and Russian universities / Soldatenko, I., Kuzenkov, O., Zakharova, I., Balandin, D., Biryukov, R., Kuzenkova, G., Yazenin, A., Novikova, S. // Proceedings of the 44th SEFI Annual Conference. - 2016. - Tampere, Finland. - P. 16.
[21] Bedny A., Erushkina L., Kuzenkov O. Modernising educational programmes in ICT based on the Tuning methodology // Tuning Journal for Higher Education. - 2014. - V. 1. - № 2. - P. 387. DOI: 10.18543/tjhe-1(2)-2014pp387-404
[22] Alpers B. Das SEFI Maths Working Group "Curriculum Framework Document" und seine Realisierung in einem Mathematik-Curriculum fur einen praxisorientierten Maschinenbaustudiengang // Lehren und
Lernen von Mathematik in der Studieneingangsphase. Herausforderungen und Losungsansatze. Wiesbaden, Germany: Springer Spektrum. - 2016. - P. 645-659. URL: https://keynote.conference-
services.net/resources/444/5118/pdf/CERME10_0522.pdf
[23] Math-Bridge: Bridging the gaps in European remedial mathematics with technology-enhanced learning / Sosnovsky, S., Dietrich, M., Andres, E., Goguadze, G., Winterstein, S., Libbrecht, P., Siekmann, J., & Melis, E. // In T. Wassong, D. Frischemeier, P. R. Fischer, R. Hochmuth, & P. Bender (Eds.), Mit Werkzeugen Mathematik und Stochastik lernen - Using Tools for Learning Mathematics and Statistics. - Berlin/Heidelberg, Germany: Springer, 2014. - P. 437451. DOI: 10.13140/2.1.1142.3367
[24] Delamare F., Winterton J. What is competence? // Human Resource Development Intrnational. - № 8. - 2005. - P. 27-46. DOI: 10.1080/1367886042000338227
[25] Gonzales H., Wangenaar R. Universities contribution to Bologna Process. - Bilbao: University of Deusto, 2008. - 161 P. - ISBN: 9784-9830-648-4. URL: http://tuningacademy.org/wp-content/uploads/2014/02/Universities-Contribution_EN.pdf
[26] "Teachers" opinions on quality criteria for competency assessment programs / Baartman L.K.J., Bastiaens T. J., Kirschner P.A., van der Vleuten, Cees P.M. // Teaching and Teacher Education. - 2007. -23(6). - P. 857-867. DOI: 10.1016/j.tate.2006.04.043
Fuzzy models for the functioning of the rule-based hybrid intelligent learning environment
P.D. Basalin, А.Е. Timofeev
Abstract— A modification of the hybrid intellectual learning environment based on the concept of a knowledge based system of the production type, (analytical component) and neural network technologies for learning scenario planning (a synthetic component) is proposed. Specifically, attention is primarily given to the problem of formalization of production-type knowledge at the conceptual level (expert level) in the form of a solution graph that allows us to describe the fuzzy logic of the learning scenario planning, taking into account the individual characteristics of the learner. At a sufficiently deep level, the relationship between the infological model and the conceptual representation of knowledge in the form of a set of product rules for the analytic component of the learning environment is described. The technique of triggering rules (activation of associated events) in the process of logical inference is designed with taking into account the need to provide information to the user, testing the level of its assimilation and determining the outcome of the event. Two-level representation of events (compact and detailed) is proposed to provide a certain flexibility to the system. In terms of modification of the synthetic component of the learning environment to a more detailed form, the scheme for transforming the graph of solutions into an equivalent (according to the logic of "reasoning") feed-forward neural network (multi-layer perceptron) is brought. Neuron activation functions are defined which provide tact-by-tact management of the learning process and fixing its current state in the working memory of the intellectual learning environment. It is planned to memorize the full sequence of passed states in order to ensure the possibility of returning to them for a second consideration of the material that has been passed. The inexpediency of controlling any parameters of the neural network due to the lack of such networks is justified (all the functionality of the network is determined by its structure).
Keywords— Knowledge based system; production rules; neural network; hybrid intellectual learning environment; individual learning scenario.
REFERENCES
[1] Gergel' V.P., Kuzenkov O.A. Razrabotka samostojatel'no ustanavlivaemyh obrazovatel'nyh standartov Nizhegorodskogo gosuniversiteta v oblasti informacionno-kommunikakcionnyh tehnologij // Shkolabudushhego. - 2012. - № 4. - P. 100-105.
[2] Kuzenkov O.A., Tihomirov V.V. Ispol'zovanie metodologii "Tuning" pri razrabotke nacional'nyh ramok kompetencij v oblasti IKT // Sovremennye informacionnye tehnologii i IT-obrazovanie. - 2013. -№ 9. - P. 77-87.
[3] Kuzenkov O.A., Kuzenkova G.V., Birjukov R.S. Razrabotka fonda ocenochnyh sredstv s ispol'zovaniem paketa Math-Bridge // Obrazovatel'nye tehnologii i obshhestvo. - 2016. - V. 19. - № 4. - P. 465-478.
[4] Kiseleva N.V. Electronic educational resource on qualitative-numeric research of non-autonomous dynamic systems // Sovremennye informacionnye tehnologii i IT-obrazovanie. - 2018. - V. 14. - № 1.
- P. 281-292. URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/364
[5] Grezina A.V., Panasenko A.G. Izuchenie kursa fiziki v institute informacionnyh tehnologij, matematiki i mehaniki NNGU na baze sistemy jelektronnogo obuchenija // Mezhdunarodnyj jelektronnyj zhurnal «Obrazovatel'nye tehnologii i obshhestvo (Educational Technology & Society)» . - 2018. - V. 21. - № 1. - P. 487-493. -ISSN 1436-4522. URL: https://www.j-ets .net/ETS/russian/depository/v21_i1 /pdf/ 19.pdf
[6] Grezina A.V., Panasenko A.G. Use of modern technologies in teaching physics during education of buchelors // Sovremennye informacionnye tehnologii i IT-obrazovanie. - 2018. - V.14. - №1. -P. 293-303. URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/366
[7] Makarov E. Ispol'zovaniya Java dlya proverki kompetencij po geometricheskomu modelirovaniyu // Mezhdunarodnyj ehlektronnyj zhurnal «Obrazovatel'nye tekhnologii i obshchestvo (Educational Technology & Society)». - 2018. - V. 21. - № 1. - P. 494-505. -ISSN 1436-4522. URL: https://www.j-ets .net/ETS/russian/depository/v21_i1/pdf/20.pdf
[8] Basalin P.D. Organizacija intellektual'noj obuchajushhej sredy s primeneniem novyh informacionnyh tehnologij // Vestnik VGAVT. Mezhvuzovskaja serija «Modelirovanie i optimizacija slozhnyh sistem». - N. Novgorod, 2002. - P. 21-25.
[9] Basalin P.D., Bezruk K.V., Radaeva M.V. Modeli i metody intellektual'noj podderzhki processov prinjatija reshenij: Uchebnoe posobie. - Nizhnij Novgorod: Nizhegorodskij gosuniversitet, 2011. -129 P.
[10] Basalin P.D., Bezruk K.V. Hybrid intellectual decision making support system architecture // Nejrokomp'jutery: razrabotka, primenenie. - 2012. - № 8. - P. 26-34.
[11] Basalin P.D., Belousova I.I. Interactive learning forms in the educational process // Vestnik Nizhegorodskogo universiteta im. N.I. Lobachevskogo. - 2014. - № 3-4. - P. 18-21.
[12] Basalin P.D., Timofeev A.E. Computer science interactive learning // Prepodavanie matematiki i komp'juternyh nauk v vysshej shkole: materialy Mezhdunar. nauch.-metod. konf. (16-17 May 2017) / nauch. red. E.K.Henner; Perm. gos. nac. issled. un-t. - Perm', 2017. -P. 4-8. URL: https://elis.psu.ru/node/425200
[13] Basalin P.D., Kumagina E.A., Nejmark E.A., Timofeev A.E., Fomina I.A., Chernyshova N.N. IT-education using intellligent learning environments // Sovremennye informacionnye tehnologii i IT-obrazovanie. - 2017. - V. 13. - № 4. - P. 105-111. URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/312/256
[14] Basalin P.D., Timofeev A.E. Hybrid intelligent decision support system shell // Nauchno-tehnicheskij zhurnal «Sistemy upravlenija i informacionnye tehnologii». - Moskva-Voronezh: Nauchnaja kniga.
- 2018. - V. 71. - № 1. - P. 24-28.
[15] Basalin P.D., Timofeev A.E. Obolochka gibridnoj intellektual'noj obuchajushhej sredy produkcionnogo tipa // Educational Technology & Society. - 2018. - V. 21. - № 1. - P. 396-405. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/depository/v21_i1/pdf/12.pdf
[16] Basalin P.D., Kumagina E.A., Nejmark E.A., Timofeev A.E., Fomina I.A., Chernyshova N.N. Rule-based hybrid intelligent learning environment implementation // Sovremennye informacionnye tehnologii i IT-obrazovanie. - 2018. - V. 14. - № 1. - P. 256-267. URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/360
[17] Zaharova I.V., Kuzenkov O.A. Experience in implementing the requirements of the educational and professional standards in the field of ict in russian education // Modern information technologies and IT-education. - 2016. - V. 12. - № 3-1. - P. 17-31.
[18] Makarov E., Spitters B. The Picard Algorithm for Ordinary Differential Equations in Coq // Interactive Theorem Proving. - ITP 20I3. - V. 7998 / ed. by S. Blazy, C. Paulin-Mohring, D. Pichardie. — Berlin, Heidelberg : Springer, 20I3. — P. 463-468. — (Lecture Notes in Computer Science). URL: https://link.springer.com/chapter/I0.I007/978-3-642-39634-2_34
[19] Using SEFI framework for modernization of requirements system for mathematical education in Russia / Zakharova, I., Kuzenkov, O., Soldatenko, I., Yazenin, A., Novikova, S., Medvedeva, S., Chukhnov, A. // Proceedings of the 44th SEFI Annual Conference. - 20I6. -Tampere, Finland. - P. I5.
[20] Modernization of math-related courses in engineering education in Russia based on best practices in European and Russian universities / Soldatenko, I., Kuzenkov, O., Zakharova, I., Balandin, D., Biryukov, R., Kuzenkova, G., Yazenin, A., Novikova, S. // Proceedings of the 44th SEFI Annual Conference. - 20I6. - Tampere, Finland. - P. I6.
[21] Bedny A., Erushkina L., Kuzenkov O. Modernising educational programmes in ICT based on the Tuning methodology // Tuning Journal for Higher Education. - 20I4. - V. I. - № 2. - P. 387. DOI: I0.I8543/tjhe-I(2)-20I4pp387-404
[22] Alpers B. Das SEFI Maths Working Group "Curriculum Framework Document" und seine Realisierung in einem Mathematik-Curriculum fur einen praxisorientierten Maschinenbaustudiengang // Lehren und Lernen von Mathematik in der Studieneingangsphase.
Herausforderungen und Losungsansatze. Wiesbaden, Germany: Springer Spektrum. - 2016. - P. 645-659. URL: https://keynote.conference-
services.net/resources/444/5118/pdf/CERME10_0522.pdf
[23] Math-Bridge: Bridging the gaps in European remedial mathematics with technology-enhanced learning / Sosnovsky, S., Dietrich, M., Andrés, E., Goguadze, G., Winterstein, S., Libbrecht, P., Siekmann, J., & Melis, E. // In T. Wassong, D. Frischemeier, P. R. Fischer, R. Hochmuth, & P. Bender (Eds.), Mit Werkzeugen Mathematik und Stochastik lernen - Using Tools for Learning Mathematics and Statistics. - Berlin/Heidelberg, Germany: Springer, 2014. - P. 437451. DOI: 10.13140/2.1.1142.3367
[24] Delamare F., Winterton J. What is competence? // Human Resource Development Intrnational. - № 8. - 2005. - P. 27-46. DOI: 10.1080/1367886042000338227
[25] Gonzales H., Wangenaar R. Universities contribution to Bologna Process. - Bilbao: University of Deusto, 2008. - 161 P. - ISBN: 9784-9830-648-4. URL: http://tuningacademy.org/wp-content/uploads/2014/02/Universities-Contribution_EN.pdf
[26] "Teachers" opinions on quality criteria for competency assessment programs / Baartman L.K.J., Bastiaens T. J., Kirschner P.A., van der Vleuten, Cees P.M. // Teaching and Teacher Education. - 2007. -23(6). - P. 857-867. DOI: 10.1016/j.tate.2006.04.043
