CC BY
46
Анализ интеллектуальных механизмов и интеграция адаптивных методов обучения в систему MathBridge
Павлов Александр Дмитриевич Аспирант института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, 8(999)1699009 googlabot@gmail.com
Аннотация
В работе рассматривается интеграция адаптивной модели обучения реализованной в инструментальных средствах МОНАП в функциональные компоненты MathBridge. В соответствии с заданной целью решены следующие задачи: анализ и сравнение интеллектуальных механизмов инструментальных средств MathBridge и МОНАП; реализация на основе веб-технологий основных элементов инструментальных средств МОНАП; разработан прототип интеллектуальной обучающей системы (ИОС) с использованием инструментальных средств МОНАП, основанный на веб-технологиях, обеспечивающий адаптивное обучение основам геометрии; спроектированы прототипы задач в системе MathBridge по основам геометрии.
The paper discusses the integration of the adaptive learning model implemented in the MONAP toolkit into the functional components of MathBridge. In accordance with the given goal, the following tasks were solved: analysis and comparison of intellectual mechanisms of MathBridge and MONAP tools; implementation of the main elements of the MONAP tools on the basis of web technologies; a prototype of an intellectual learning system (ITS) using the MONAP tools, based on web technologies, providing adaptive learning of the fundamentals of geometry; projected prototypes of tasks in the MathBridge system on the fundamentals of geometry.
Ключевые слова
интеллектуальная обучающая система, байесовский подход, адаптивное управление процессом обучения, оценка навыков/умений, учебный контент intelligent tutoring system, Bayesian approach, adaptive control of the learning process, assessment of skills/abilities, learning content
Введение
Во многих странах система инженерного, технического и естественнонаучного образования стоит перед рядом фундаментальных вызовов. Эффективность и своевременность решения проблем инженерного образования являются факторами, которые определят успешность развития национальных экономик на годы вперед. Весьма показательно, что большинство проблем являются
действительно глобальными и актуальны не только для государств с развивающимися экономиками, но для любой страны, обладающей стабильным инженерными сектором и успешной системой образования (напр., Англия и США) [1-6].
Существенно увеличить эффективность обучения возможно с помощью электронных средств обучения. Наиболее эффективными из них являются интеллектуальные обучающие системы (ИОС), способные адаптивно подбирать обучающий и тестирующий материал в зависимости от текущей компетенции обучаемого [7-9]. Перспективными инструментальными средствами для проектирования ИОС и нашедшими практическое применение как в Российской Федерации, так и в Европейском Союзе являются МОНАП и MathBridge.
MathBridge - это набор инструментальных средств для проектирования ИОС, основанных на технологиях веб, которые позволяют динамически генерировать интерактивные (математические) задачи, адаптированные под конкретные цели студента, его предпочтения, способности и знания. Содержимое курса обучения представлено в семантическом формате, основой которого является формат xml. Соответствующее содержание извлекается из базы знаний и для каждого пользователя индивидуально согласно педагогическим правилам генерируется курс обучения. Вслед за генерацией, курс обучения демонстрируется пользователю через стандартный веб-браузер. Одной их отличительных особенностей MathBridge является интеграция автономных математических сервисов (например, таких как GeoGebra). Данная технология предлагает средства для познавательного обучения, по-настоящему сложные упражнения, а также обучение методам доказательств [7].
Недостатком инструментальных средств MathBridge является недостаточная адаптивность к ходу обучения. Адаптационные механизмы МОНАП являются более универсальными, что сказывается на общей эффективности обучения и процессе создания учебных курсов. С другой стороны, MathBridge содержит подсистему «решателя» - которая позволяет выдавать промежуточные ответы на сложные математические задачи, а также содержит больше функциональных возможностей для визуализации процесса обучения.
Для устранения вышеописанных недостатков и предоставления преподавателю больше гибкости при создании учебных курсов было принято решение интегрировать инструментальные средства МОНАП в систему MathBridge.
В данной работе рассматриваются инструментальные средства MathBridge и МОНАП предназначенные для проектирования ИОС. Описывается процесс интеграции инструментальных средств МОНАП в систему обучения MathBridge. Инструментальные средства МОНАП интегрируются в WEB с использованием технологий ASP.NET, что позволяет осуществить гибкий переход практически без потери существующего функционала. Описывается структура систем, их достоинства и недостатки, процесс создания учебных материалов, а также основные элементы ИОС, такие как:
□ учебные курсы
□ тестирующие материалы
□ контроль процесса обучения
□ различные режимы работы (ученик, преподаватель, администратор)
Анализ инструментальных средств MathBridge
Отличительной особенностью платформы MathBridge является ее функциональная гибкость и практичность использования. Обладая всеми свойствами и возможностями инструментальных средств для разработки интеллектуальной обучающей системы, MathBridge способна поддерживать процесс обучения,
осуществляемый в рамках традиционного университетского (или школьного) курса обучения как с использованием нескольких интеллектуальных технологий, так и без их использования [1].
В MathBridge используется единый формат хранения данных OMDoc. В отличие от большинства других инструментальных средств проектирования ИОС, MathBridge хранит знания о предметной области и учебный материал, включая информацию об обучаемом и его успеваемости, в единой базе. С точки зрения структуры, как модель предметной области, так и учебные материалы MathBridge, разделены на атомарные объекты, называемые элементами знаний («knowledge items»). Элементы знаний сгруппированы в коллекции учебного материала и выражены в формате OMDoc и OWL, который широко используется для представления математических документов любой степени сложности [8]. Разделение педагогического материала на индивидуальные объекты и использование общепринятого и открытого стандарта для их представления повышает потенциальную видимость педагогического материала, его открытость для поиска, а также улучшает совместимость учебного материала с другими системами, что позволяет использовать существующие наработки других систем со схожим форматом хранения педагогического материала.
Формат OMDoc имеет вложенную иерархическую структуру схожую по синтаксису с форматом xml, что позволяет выделять разнообразные типы элементов знаний и описывать элементы максимально гибко и подробно. Верхние иерархические уровни предназначены для концептуальных и сопутствующих элементов системы.
Концептуальные элементы системы предназначены с одной стороны так же для обучения студентов, а с другой являются элементами модели предметной области и основой для представления знаний обучаемого. Типы концептуальных элементов знаний могут быть следующие - статические, динамические, структурные.
Статические элементы в свою очередь знаний разделяются на леммы, теоремы, аксиомы и т.д.
Динамические элементы представлены упражнениями, структурные предназначены для создания курсов, экзаменов и тестов.
Метаданные и мультиязычность - как уже было описано, метаданные представляют собой иерархическую сетевую структуру для поддержания коллекции педагогического материала состоящей из множества педагогических объектов различных типов.
Как сами коллекции, так и индивидуальные педагогические объекты формально описаны с точки зрения их свойств и атрибутов. Между собой педагогические объекты связаны отношениями нескольких различных типов, образуя тем самым сетевые структуры. Как отношения между объектами, так и их свойства представлены в виде метаданных, подразделяющихся на три вида [1]:
П описательные метаданные, используемые в административных целях для облегчения каталогизации педагогических объектов, осуществления доступа к ним, управлением сторонними лицензиями и т.д.;
П дидактические метаданные, помогающие авторам педагогического материала устанавливать разнообразные учебные параметры объекта (например, сложность упражнения);
П семантические метаданные, определяющие связи между педагогическими объектами.
Метаданные имеют определяющее значение как для общей структуры MathBridge, так и для отдельных инструментальных средств платформы. Обеспечивая семантический доступ к педагогическим объектам, поддерживают генерацию курсов, участвуют в процессе моделирования знаний обучаемых и последующей интеллектуализации педагогического материала.
Мультиязычность - отличительная особенность инструментальных средств MathBгidge позволяющая в зависимости от настройки языка операционной системы обучаемого автоматически подбирать его родной язык. Интерфейс и учебный материал MathBгidge были переведены на семь языков: английский, немецкий, французский, испанский, финский, голландский и венгерский. Обучаемый в любой момент времени может выбрать язык, отличный от выбранного системой автоматически и переключится на любой из доступных, на котором он хочет работать с системой и с учебным материалом. Язык индивидуальных учебных объектов может быть переключен в интерактивном режиме в независимости от основного языка системы; что является важной функций для обучающихся, вынужденных проходить обучение на иностранном языке. Подсистема поиска может принимать запросы на одном языке, а выдавать результаты на другом.
Обучение и контроль в MathBгidge представлены несколькими компонентами. На рисунке 1 представлен интерфейс, обеспечивающий доступ к основным функциональным возможностям инструментальных средств проектирования ИОС MathBгidge. Локализованная стартовая страница (именуется в интерфейсе как приборная панель) обеспечивает доступ к различным виджетам: курсы, созданные автором, тестирующие материалы, вопросники, закладки. В режиме работы администратора или автора курсов доступен режим «Авторинг», позволяющий создавать различные педагогические единицы, такие как:
П тесты,
П учебные курсы,
П теоретический материал (аксиомы, теоремы, доказательства примеры и т.д.).
Учет успеваемости ведется на вкладке «Управление» в режиме «Отчеты».
Рис. 1. Стартовая страница MathBridge. Панель управления
Во время работы обучающегося с педагогическим материалом ИОС MathBгidge интерфейс системы разделен на три основные части: левая панель («Подсказки») используется для навигации по иерархической структуре курса; правая панель предоставляет доступ к дополнительной информации о педагогическом материале (например, метаданные) и вспомогательным функциям системы
(сортировка, поиск, и т.д.). Верхняя панель обеспечивает навигацию по основным элементам системы, таким как [10, 11]:
П Приборная панель. Предназначена для доступа к основным элементам системы: курсы, тесты и т.д.
П Авторинг. Доступен только для преподавателей - создателей курсов и администраторов. Предназначен для редактирования существующих и создания новых педагогических материалов.
П Управление. Доступен как для студентов, так и для преподавателей. Предназначен для вывода отчетов, просмотра содержимого курсов, вывода информации о студенте: в какие курсы записан, к какой группе принадлежит и т.д.
П Мой профиль. Позволяет сменить данные текущего пользователя, такие как имя, E-mail, язык интерфейса, область обучения и т.п.
П Помощь. Описывает основные элементы текущей страницы и дает инструкции по навигации.
Центральная панель непосредственно отображает педагогический материал. Каждый терминальный узел в иерархической структуре курса соответствует элементарной (атомарной) теме, для которой автор курса составил страницу с набором педагогических объектов.
Интеллектуальные адаптационные механизмы инструментальных средств MathBridge
Каждое взаимодействие обучаемого с педагогическим материалом регистрируется в лог-файлах MathBridge. Данные лог-файлов впоследствии используются ИОС для моделирования текущих компетенций обучаемого и отслеживания его прогресса. Подсистема моделирования обучаемого использует его ответы на упражнения и их подзадачи (будь они правильные, неправильные или частично правильные) для вычисления уровня его обученности. Каждое выполненное обучаемым упражнение связано с тем или иным атомарным педагогическим элементом (теорема, пример, аксиома и т.д.) предметной области, используя эти связи и анализируя ответы обучаемого ИОС MathBridge пытается определить, насколько хорошо тот или иной обучаемый овладел необходимыми компетенциями. Правильный ответ обучаемого интерпретируется как свидетельство роста знаний и ведет к увеличению вероятности того, что студент овладел релевантными знаниями.
Подсистема генерации курсов позволяет студентам автоматически собирать индивидуальные курсы из педагогических объектов, имеющихся в общей базе материала. Полученные курсы оптимизированы исходя из текущего состояния модели обучаемого, заданной цели и сценария [4]. MathBridge поддерживает несколько режимов автоматической генерации курсов: обучаемый может выбрать курс, помогающий исследовать новую тему; курс, тренирующий определенную часть предметной области, курс готовящий к экзамену, и т.д. Каждый курс создается на основе заложенных автором методических правил, определяющих общую структуру создаваемого курса, и поставленной учебной задачи. Подсистема генерации использует модель обучаемого и метаданные педагогических объектов для формирования дидактически-разумной последовательности учебного материала. Педагогические метаданные (например, трудность упражнения) и семантические метаданные (например, отношения "требуемый - последующий") играют особенно важную роль. На рисунке 2 представлен режим генерации курса.
Рис. 2. Режим автоматической генерации нового курса
Интерактивные упражнения инструментальных средств MathBridge встроенные в курс поддерживают непрерывный процесс оценки знаний обучаемых и с каждой решенной задачей обновляют текущие метаданные обучаемого. Помимо этого, каждый студент получает возможность сразу же после изучения теоретического материала применить его на практике.
Упражнения, создаваемые инструментальными средствами MathBridge поддерживают ветвление, могут иметь древовидную структуру и состоять из множества шагов с разнообразными интерактивными визуализирующими элементами и богатым диагностическим функционалом. На каждом этапе решения сложного упражнения обучаемому может быть предоставлена обратная связь, которая может являться как элементарным диагностическим сообщением
(«правильно/неправильно»), так и сгенерированным адаптивным дидактически-обоснованным объяснением причин ошибки и возможных способов ее решения. Для некоторых областей математики с использованием инструментальных средств MathBridge имеется возможность создавать интерактивные упражнения с помощью внешних систем. На данный момент с MathBridge интегрирован набор систем вывода IDEAS, которые могут не только генерировать упражнения, но и пошагово диагностировать ответы студента, определять часть решения ответственного за ошибку и генерировать релевантное объяснение [5].
Как показано на рисунке 3, в инструментальные средства MathBridge включена подсистема IDEAS, позволяющая в автоматическом режиме генерировать математическую задачу (вычислить производную, решить линейное/квадратное уравнение и т.д.) и промежуточные правильные шаги решения при нажатии на кнопку «Подсказка».
Рис. 3. Подсистема «решателя» для математических задач IDEAS
При нажатии на кнопку «Решение» подсистема способна полностью решить задачу со всеми промежуточными шагами и вывести результат и ответ (рисунок 4).
Рис. 4. Полное решение задачи со всеми промежуточными шагами
При создании педагогических материалов имеются следующие интеллектуальные механизмы:
1. Интеллектуальное наполнение статических педагогических единиц.
Интеллектуальность статических учебных объектов обусловлена активным наполнением, позволяющим визуализировать формулы, в реальном режиме времени изменяя параметры переменных и получая визуальный отклик. Помимо этого, редактор статических педагогических единиц позволяет вставлять рисунки различных форматов (.jpg, .png и др.), формулы LaTeX. Рисунок 5 иллюстрирует интеллектуальные возможности статических учебных единиц: статические рисунки, апплеты GeoGebra, интерактивные формулы.
Каждая атомарная педагогическая единица связывается с помощью метаданных с определенными упражнениями в процессе создания курса. Впоследствии эти метаданные используются при создании автоматических курсов и выявлении компетенций обучаемого.
Для поддержания мультиязычности в учебном процессе возможно создание учебных материалов на нескольких языках.
Рис. 5. Возможное интеллектуальное наполнение статических учебных единиц
2. Интеллектуальное наполнение динамических педагогических единиц Динамические учебные объекты MathBгidge обладают богатым интеллектуальным наполнением: активные формулы, использующие переменные параметры и семантический ввод; формулы LaTeX; статические изображения; создание разветвленных упражнений с проверкой правильного ответа на каждом шаге (рисунок 6).
Рис. 6. Линейное адаптивное упражнение
3. Интеллектуальное наполнение структурных педагогических единиц
Заключается в способе учета ответов обучающегося. Основными являются:
П Efforts. Параметром учета является количество попыток решения задачи. Даже при неправильном ответе обучаемому засчитывается определенное усвоение материала
П Success. Наиболее простой способ контроля освоения курса, параметром является количество правильных ответов обучаемого.
П Mastery. Комбинированный режим, при котором учитываются такие параметры задачи как сложность, время решения, правильность ответа.
Интеграция функциональных возможностей МОНАП в MathBridge и создание прототипов учебных курсов
Для интеграции функциональных возможностей инструментальных средств МОНАП в MathBridge была использована технология ASP.NET и язык программирования C#. Оригинальная версия МОНАП была основана на декстопной версии Windows Forms платформы Microsoft Visual Studio и языка C#. Использование технологии ASP.NET позволило практически не вносить изменение в существующую структуру оригинальной системы, что значительно облегчает интеграцию - нет необходимости переписывать существующие методы и структуру самой системы.
Так как инструментальные средства МОНАП и MathBridge слабо совместимы, в частности [7-15]:
П имеют разную структуру модели обучаемого. МОНАП хранит такие данные как вектор вероятностей правильного применения учебной операции. MathBridge для оценки навыков использует только такие данные как условная трудность (заданная разработчиком курса), время решения задачи и т.п.
П различный способ хранения данных. MathBridge использует OMDoc метаданные в то время как МОНАП хранит информацию в реляционной базе данных;
П разный язык разработки систем - MathBridge написан на языке программирования Java, МОНАП - на языке программирования C#.
Было принято решение реализовать интеграцию МОНАП в MathBridge в виде встроенной ссылки, как показано на рисунке 7.
Authoring Ц
D Войти как: adpavlov
► МСМОЫЯ
► Метпд
► Определен«
► Замелев ипи другой reter
► Доказательство
► Упражнение
► пвержлен»« Л Пример
D**_8ÊT_reiatit)n_M ♦ M_SET_3ssirigrnen. O«_ßoci_£auivaiefi DH_SET_Fbnc_Eí2 DW_ALG_Op»r&Prtd ОМ_2ЕТ_иатр1е_2
МОНАП JI Приборная панель
Li Ф Ф ?
Авюринг Управление Мой профиль Помощь
ai
Выйти
Preview of DM SET asiingment axample__7
Копировать a Moé рабочее пространство
DM_SE T_as s i ng ment_example_7
Например, пусть на множестве всех целых чисел предикат Р(х) означает л — четное число, тогда М={х\ х — четное число} состоит из четных и только четных чисел. В тех случаях, когда при определенны множества уточняется, что предикат Р введён на заранее заданном множестве S, записывается:
M=\xeS: Pix}} илиM=[x:xeSn />(.vj|.
Порождающей процедурой можно задать числа Фибоначчи: M={<v fli + a¡sa2s], k>I}.
При задней множеств перед предикатом или порождающей пропедурой, т. е. перед любым определяющим условием, поставлено двоеточие, В литературе, кроме двоеточия, может применяться вертикальная черта, т. е. вместо записи Pf* Л может использоваться следующая
форма записи: М=(,т1 Р(х) ). Иногда множество М=[х: Pix) | записывают в виде: М=Мл№
» Больше
А
л Доступно на-
Русский V
л Свойства-
ni Пример
л Существенное содержание
л Подробности
Авторы: nbalitova Переводчики: nbaWova Двге:
22 Сентябрь 2016 г Праве;
Рис. 7. Ссылка на прототипную ИОС «Геометрия»
При переходе по выделенной ссылке обучаемый попадает в прототипную подсистему МОНАП, основанную на веб-технологиях. Веб-МОНАП содержит все основные функциональные элементы локальных инструментальных средств МОНАП, такие как: характеристики среды обучения, список правил, свойства задач, учебные задачи. На рис. 8 показан интерфейс веб-версии МОНАП.
МОНАП ГЕОМЕТРИЯ
среда обучения
Правила Свойства задач Учебна Е задачи
Правило 1.
Если треугольники равны, то выполняется одно из трек условий: 1, Две стороны (АВ, ВС) и угол мувду ними (а) одного треугольника, соответственно равны двум сторонам (ОР, РЕ) И углу между ними (3) другого треугольника
ШЛШ
2. Сторона (AB) и два прмлежащих к ней угла (a, al ) одного треугольника соответственно равны стороне (DF) и двум прилежащим к ней углам (ß, ßl) другого треугольника
&
А
А.
Рис. 8. Интерфейс веб-версии МОНАП
Таким образом, различные вариации инструментальных средств обеспечивают максимальную гибкость для преподавателя-разработчика курсов при проектировании учебных материалов. Система MathBгidge оснащена решателем математических задач и богатыми средствами для визуализации процесса обучения в то время как инструментальные средства МОНАП позволяют создавать адаптивные ИОС, «подстраивающиеся» под текущие компетенции обучаемого. Использование наиболее подходящей для текущей учебной задачи системы обеспечивает наибольшую эффективность при создании курсов по различным учебным дисциплинам.
Заключение
В работе произведен анализ и сравнение интеллектуальных адаптивных возможностей инструментальных средств проектирования ИОС МОНАП и MathBгidge. Приведены достоинства и недостатки обеих систем, спроектирована прототипная веб-версия ИОС «Геометрия», за основу которой была взята ее локальная версия, реализованная с использованием инструментальных средств МОНАП [6]. Так как невозможно создать универсальные инструментальные средства, которые бы содержали «решатель» для проектирования ИОС в любой предметной области, то можно сделать вывод, что система «решателя» MathBгidge больше пригодна для математических ИОС, в то время как инструментальные средства МОНАП является более адаптивными. Выбор наиболее подходящих инструментальных средств зависит от потребностей преподавателя-разработчика учебных курсов.
Литература
1. Сосновский С.А., Гиренко А.Ф., Галеев И.Х. Информатизация математической компоненты инженерного, технического и естественнонаучного обучения в рамках проекта MetaMath. // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" (http://ifets.ieee.org/russian/periodical/ioumal.html) - 2014. - V.17. - №4. - C.446-457. -ISSN 1436-4522.
2. Erica Melis, Eric Andres, Jochen Budenbender, Adrian Frischauf, George Goguadze, Paul Libbrecht, Martin Pollet, Carsten Ullrich. ActiveMath: A Generic and Adaptive Web-Based Learning Environment. // International Journal of Artificial Intelligence in Education (2001), 12, 385-407.
3. Kohlhase, M. OMDoc - An open markup format for mathematical documents [version 1.2]. // Berlin/Heidelberg, Germany: Springer Verlag. 2006.
4. Ullrich, C. Pedagogically founded courseware generation for Web-based learning - an HTNplanning-based approach implemented in PAIGOS. // Berlin/Heidelberg, Germany: Springer Verlag. 2008.
5. Heeren, B., Jeuring, J., van Leeuwen, A., & Gerdes, A. Specifying Rewrite Strategies for Interactive Exercises. // Mathematics in Computer Science (2010), 3(3), 349-370.
6. Герасимов Н.В., Павлов А.Д. Проектирование обучающей среды инструментальными средствами серии МОНАП. Международная молодежная научная конференция «XXII Туполевские чтения (школа молодых ученых)» материалы конференции сборник докладов. Российский фонд фундаментальных исследований, Казанский национальный исследовательский технический университет им. АН. Туполева-КАИ (КНИТУ-КАИ). 2015. С. 218-223.
7. Галеев И.Х. Модели и методы построения автоматизированных обучающих систем (обзор) // Информатика. Научно-технический сборник. Серия Кадровое обеспечение. Выпуск 1. - М.: ВМНУЦ ВТИ, 1990. - С.64-72.
8. Галеев И.Х., Чепегин В.И., Сосновский С.А. МОНАП-II - авторские средства проектирования интеллектуальных обучающих систем // Управляющие системы и машины, № 3-4. 2002 г. - С. 80-86. - ISSN 0130-5395.
9. Захарова И.В., Кузенков О.А. Опыт реализаций требований образовательных и профессиональных стандартов в области ИКТ в Российском образовании // Современные информационные технологии и ИТ-образование. 2016. Т. 12. № 3-1. С.17-31.
10 . Медведева С.Н. Разработка интерактивных электронных образовательных ресурсов для e-learning. // Всероссийская научно-практическая конференция с международным участием «Новые технологии, материалы и оборудование российской аэрокосмической отрасли» АКТО-2016 10-11 августа 2016 г. - С. 977980
11. Новикова С.В., Валитова Н.Л., Кремлева Э.Ш. Особенности создания учебных объектов в интеллектуальной системе обучения математике Math-Bridge // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2016. V. 19. № С. 451-462. URL: http://ifets.ieee.org/russian/p eriodical/jo urnal .html
12. Галеев И.Х. Развитие адаптивных технологий обучения // Вестник Воронежского государственного университета. Серия: проблемы высшего образования. Воронежский государственный университет. -2004. - №2.- С. 76-83.
13. Галеев И.Х. Модель обучения в МОНАП-ПЛЮС // Искусственный интеллект -96. КИИ-96. Сборник научных трудов пятой национальной конференции с международным участием. Т.1. - Казань, 1996. - С.17-25.
14. Галеев И.Х. Свойства учебных задач при алгоритмизации в обучении // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2011. - V.14. - №2. - C.289-299. - ISSN 14364522. URL: http://ifets.ieee.org/russian/periodical/journal.html
15. Galeev I., Sosnovsky S., Chepegin V. MONAP-II: the analysis of quality of the learning process model // in Valery Petrushin, Piet Kommers, Kinshuk and IldarGaleev (ed): Proceedings of IEEE International Conference on Advanced Learning Technologies (ICALT'2002), Kazan, Tatarstan, Russia, September 9-12, 2002, pp. 116-120.
