CC BY-NC
18Архитектура интеллектуальной системы тестирования уровней сформированности предметных компетенций
Нехаев Игорь Николаевич
кандидат технических наук доцент, Поволжский государственный технологический университет 424007, Россия, Республика Марий Эл, г. Йошкар-Ола, пл. Ленина, 3, каб. 534а-1
Nekhaev Igor Nikolaevich PhD in Technical Science
associate professor of the Department of Applied Mathematics and Information Technologies at Volga State
University of Technology
424007, Russia, respublika Marii El, g. Ioshkar-Ola, pl. Lenina, 3, kab. 534a-1
El [email protected] Жуйков Илья Владимирович аспирант, Поволжский государственный технологический университет 424007, Россия, Республика Марий Эл, г. Йошкар-Ола, пл. Ленина, 3, каб. 529а-1
Zhuykov Ilya Vladimirovich
post-graduate student of the Department of Applied Mathematics and Information Technologies at Volga State
University of Technology
424007, Russia, Republic of Mari El, Yoshkar-Oa, pl. Lenina, 3, room No. 529a-1
Бастраков Роман Валерьевич
программист, Поволжский государственный технологический университет 424007, Россия, Республика Марий Эл, г. Йошкар-Ола, пл. Ленина, 3, каб. 529а-1
Bastrakov Roman Valeryevich Programmer, Povolzhsky State Technological University 424007, Russia, respublika Marii El, g. Ioshkar-Ola, pl. Lenina, 3, kab. 529a-1
Статья из рубрики "Образовательные программные системы"
Аннотация. В статье рассматривается архитектура компьютерной системы тестирования, обладающей признаками интеллекта. Интеллектуальность системы тестирования заключается в адаптивности процесса тестирования, в возможности диагностики и выявлении ошибок решения и обеспечивается использованием базы знаний предметной области, структуры усложнения кейсовых заданий, экспертной подсистемы, компетентностной модели обучающихся.Предметом исследования является способ и результаты реализации автоматизированной оценки степени сформированности предметных компетенций у обучающихся на основе анализа их решений задач, генерируемых в соответствии со структурой усложнения типовых задач. Рассматриваются варианты использования системы интеллектуального тестирования в контексте онлайн-обучения, компонентная архитектура реализуемой системы как подсистемы обучения, встраиваемой в LMS Moodle, диаграммы функционирования и применения системы. Исследование состоит в анализе архитектуры реализованной
среды решения учебных задач и структуры принятия решения об уровне сформированности предметных компетенций у обучающегося. Анализируются результаты внедрения подсистемы в реальный онлайн-курс. Основными выводами проведенного исследования являются: используемая архитектура подсистемы является достаточно гибкой и делает возможным обеспечить оформление и логирование решений пользователей системы тестирования, предоставляет свободу обучающемуся в конструировании возможных решений; сравнительный анализ решения с решениями агентов-экспертов позволяет оценить рациональность решений; построение компетентностной карты обучающегося в виде оверлейной модели позволяет оценить уровень сформированности предметных компетенций в соответствии с уровнем сложности решаемых задач, позволяет организовать адаптивное тестирование, учитывающее индивидуальные особенности обучающихся; система является открытой для дальнейшего развития за счет внедрения мультиагентных и нейросетевых решений.
Ключевые слова: интеллектуальная система тестирования, архитектура интеллектуальной системы, варианты использования системы, роли пользователей, решетка усложнения задач, агентно-ориентированная среда, уровни сформированности компетенций, классификация обучающихся, игровая среда обучения, карта сформированности компетенций
DOI: 10.25136/2306-4196.2017.4.23840
Дата направления в редакцию: 10-08-2017
Дата рецензирования: 10-08-2017
Дата публикации: 17-09-2017
Abstract. The article concerns the computer testing system architecture, possessing the elements of intelligence. The intelligence of the testing system involves adaptability of the testing process, as well as the ability to diagnose and identify errors in the decision process, and it is provided for by the use of the knowledge base of the subject area, the structure of the complexity of case tasks, as well as the expert subsystem and the competency model of students. The subject of the study concerns method and results of implementing an automated assessment of the level of formed subject competencies among the students based upon an analysis of their task decisions generated in accordance with the structure of the level of complication of typical tasks. The options for the use of the intellectual testing system in the context of online learning involve the options of the component architecture of the implemented system as learning subsystems embedded in LMS Moodle, diagrams of the system functioning and usage. The research involves the analysis of the implemented environment architecture for solving learning tasks, as well as and the structure of decision-making concerning the level of the formed subject competencies of the students. The results of introducing a subsystem into a real online course are analyzed. The main results of the study are as follows: the architecture of the subsystem used is sufficiently flexible and makes it possible to provide the registration and logging of decisions for users of the testing system, provides the freedom of the student in the construction of possible solutions; comparative analysis of the solution with the decisions of the agent-experts makes it possible to evaluate the rationality of the solutions; construction of student competency map as overlay model makes it possible to assess the level of the formed subject competencies in accordance with the level of complexity of tasks; it allows organizing adaptive testing that takes into account the
individual characteristics of students; the system is open for further development through the introduction of multi-agent and neural network solutions.
Keywords: intelligent testing system, architecture of intelligent system, use case diagrams, user roles, lattice of complication of tasks, agent-oriented environment, levels of formed competencies, classification of students, gaming learning environment, card of formed competencies
Введение
Ранее, авторами была поставлена задача конструирования интеллектуальной системы тестирования, позволяющей идентифицировать уровни сформированности предметных компетенций [1, 2] и рассмотрены лежащие в основе построения такой системы модели
4]. Были сформулированы основные признаки современной системы тестирования и обучения:
• предоставляет возможность оформить решение задачи;
• автоматически оценивает не только ответ, но и решение задачи;
• анализирует ошибки решения обучающихся, выдает обратную связь;
• поддерживает диалог, обучает;
• накапливает статистическую информацию об обучающихся и использует ее для организации адаптивного обучения;
• оценивает и фиксирует уровень достижений, уровень сформированности предметных компетенций;
• обеспечивает управление обучением.
Там же были сформулированы интегральные требования к системам тестирования и обучения: гибкость, аналитичность, управляемость, адаптивность, интеллектуальность
Бурное развитие онлайн-обучения, применения онлайн-курсов в формальном обучении требует и применения новых сред обучения, в которых обучающиеся самостоятельно выбирают свои траектории обучения, получают компетентностные задачи, решают их, получают обратную связь, корректируют свои решения, и самостоятельно добиваются достижения запланированных уровней.
Появление мультиагентных, нейросетевых моделей и технологий обработки данных и обучения машин, технологий создания программных систем на основе баз знаний приводит к необходимости разработки и реализации новых архитектур обучающих систем, которые обладают такими важными свойствами, как открытость, адаптивность, прозрачность, интеллектуальность.
Многие существующие системы управления обучением (LMS) отвечают перечню требований к современным системам обучения (гибкость, аналитичность, управляемость) и доказали свою эффективность временем.
Цель работы
Представление и анализ архитектуры интеллектуальной системы тестирования уровней сформированности предметных компетенций, интегрированной в LMS MOODLE. Исследование свойств среды автоматизированного обучения, сконструированной на основе описанной архитектуры.
Решаемые задачи
Представить возможные варианты использования и функционал проектируемой интеллектуальной системы тестирования (ИСТ).
Описать архитектуру модулей и компонентов ИСТ и схему её интеграции в виде модуля в системе управления обучения (LMS) MOODLE. Проанализировать свойства данной архитектуры.
Описать реализацию конкретной среды обучения с использованием разработанного модуля ИСТ. Провести анализ полученных результатов, перспектив дальнейшего развития и использования разработанного модуля тестирования, полезность генерируемых артефактов.
Проект модуля интеллектуального тестирования
Как было уже сказано ранее, существующие LMS, в частности LMS MOODLE, обладают многими необходимыми признаками современных систем обучения. Если проанализировать какие из них имеют место быть или имеют возможность потенциально присутствовать во вновь создаваемых элементах, то получится следующая картина:
• предоставляет возможность оформить решение задачи (реализовано в LMS с использованием таких элементов курса, как форум, задание, семинар, виртуальный практикум программирования - VPL);
• автоматически оценивает не только ответ, но и решение задачи (возможно для задач программирования с использованием таких элементов курса, как VPL или может быть реализовано с помощью дополнительных модулей);
• логирует и анализирует ошибки решения обучающихся, выдает обратную связь (может быть реализовано в VPL или может быть реализовано с помощью дополнительных модулей);
• поддерживает диалог, обучает (может быть реализовано имеющимися средствами, но не очень удобно, гораздо удобнее можно это сделать с помощью внешних инструментов, внедряя диалоги в онлайн-курс с использованием SCORM-пакетов или Tin Can модулей);
• накапливает статистическую информацию об обучающихся и использует ее для организации адаптивного обучения (только накопление реализовано);
• оценивает и фиксирует уровень достижений, уровень сформированности предметных компетенций (встроено и реализовано, кроме уровня сформированности предметных компетенций - это реализовано пока очень формально и без хорошего проектирования, подбора и специальной калибровки заданий курса);
• обеспечивает управление обучением (основная задача, решаемая LMS).
Видим, что часть задач решается с помощью встроенных в LMS функций (накопление статистической информации, оценка и фиксация уровня достижений, управление обучением), другая часть задач (организация адаптивного диалога с пользователем) может быть решена за счет внешних инструментов с помощью стандартов SCORM, Tin Can, а часть задач может быть решена только с помощью специализированных модулей, например, модуль VPL и пока только в узком контексте обучения программированию (оформление решения в операционном пространстве, логирование решения, оценка решения). И есть задачи, которые могут быть решены только с помощью создания новых модулей (анализ решения, диагностика ошибок в решении, разбор ошибок, идентификация уровней сформированности предметных компетенций).
Поэтому основной задачей было создание такого внешнего модуля с реализованной в нем интеллектуальной системой тестирования (ИСТ), который дополнял бы функционал LMS и мог бы быть встроен в LMS, в частности в LMS MOODLE.
Ранее были выделены подсистемы, которые необходимо было реализовать в составе модуля ИСТ и выделены основные роли пользователей И СТ. С тех пор была добавлена еще одна подсистема оценки уровня сформированности предметных компетенций (см. рис. 1).
Рис. 1. Структурная схема интеллектуальной системы тестирования
При проектировании системы необходимо детализировать варианты использования подсистем для разных ролей пользователей.
С учетом того, что ИСТ должна реализовать некоторую операциональную среду решения задач и некоторые функции экспертных систем (диагностика ошибок, оценка рациональности) необходимо начинать создание такой системы с описания предметной области знаний, с использованием понятий которой и будут формулироваться задачи, оформляться решения и конструироваться экспертные оценки. Были выделены роли экспертов и основные варианты использования системы ими (рис. 2).
Рис. 2. Варианты использования интеллектуальной системы тестирования при описании предметной области знаний и подготовке структуры тестовых задач.
Рис. 3. Взаимодействие экспертов и инженера знаний при создании учебного модуля, состоящего из структуры экспертных модулей и банка типовых тестовых задач (ТТЗ)
Основной задачей главного эксперта является очертить круг решаемых задач (перечень абстрактных задач) и описать базовые используемые понятия и операции для их решения. Также он может добавлять описание типовых ситуаций (кейсов) и типовых задач. В задачу других экспертов входит описание методов для решения типовых задач, а также добавление новых понятий, ситуаций и типовых задач, с ними связанных (рис. 3).
Инженер знаний играет вспомогательную роль - он помогает реализовать задуманное
экспертами в конкретной среде программирования и вычислении.
Ранее была принята концепция использования мультиагентности при создании среды решения задач [4]. Это означает, что формулируемые задачи (кейсы) могут решаться как человеком, как программными агентами (например, созданные экспертами), так и их симбиозом. Поэтому обучающийся в среде решения задач представлен своим интеллектуальным агентом (ИА), под которым может пониматься как сам человек, так и программная реализация, созданная им, и интерфейс среды решения сразу был адаптирован под универсального агента, за которым может скрываться как обучающийся, так и программный агент, способный решать поставленные задачи (рис. 4). Более того, при обучении программированию или конструированию ИА, ИСТ может дать возможность и самим обучающимся загружать программных ИА.
Обучающийся при тренировочном тестировании может сам выбирать любую типовую задачу из структуры усложнения. При контрольном тестировании типовые задачи для него подбирает агент-тестировщик в соответствии с уровнем тестируемого.
Рис. 4. Варианты использования интеллектуальной системы тестирования обучающимся
Использование принципа мультиагентности при проектировании ИСТ позволяет ввести понятие команды ИА, решающих совместно задачу. Как уже говорилось выше, задача может решаться симбиозом нескольких агентов, один из которых является координатором-менеджером работы остальных агентов. Работа менеджера должна отличаться от работы остальных агентов. Результатом его работы должна быть декомпозиция исходной задачи на подзадачи, анализ способностей агентов, делегирование решения подзадач способным агентам команды, анализ и коррекция структуры нерешенных задач после не/решения ими делегированных задач (рис. 5).
Рис. 5. Варианты использования интеллектуальной системы тестирования обучающимся
при командном решении задач
Для реализации ИСТ необходимо реализовать несколько программных модулей и их взаимодействие. Рассмотрим архитектуру взаимодействия модулей и компонентов.
Архитектура компонентов модуля интеллектуального тестирования
Для создания базового учебного модуля знаний реализован модуль редактора базы знаний предметной области. Основными пользователями данного модуля являются главный эксперт и инженер знаний. Созданные в данном редакторе учебные модули используются в качестве входных данных для модулей редактора типовых тестовых заданий, редактора структуры усложнения ситуаций и редактора экспертных модулей знаний (см. рис. 6).
Рис. 6. Структура взаимодействия программных модулей при создании модели предметной области ИСТ
Для организации адаптивного тестирования важно создать и использовать структуру постепенного усложнения ситуаций для формирования структуры тестовых задач, в которых эти ситуации используются как исходные. Для создания такой структуры
задается отношение частичного порядка усложнения ситуаций [4]. Для описания подобной структуры разработан модуль редактора структуры усложнения ситуаций, результатом работы которого является решетка усложнения ситуаций.
Редактор типовых тестовых заданий предназначен для создания экспертами типовых учебных задач, в том числе сложных, кейсовых задач, используя структуру усложнения типовых ситуаций (типовых для экспертов, но не для обучающихся) и перечень абстрактных задач, ранее описанных в учебном модуле знаний.
Для создания экспертных модулей, являющихся надстройкой над базовым учебным модулем знаний, реализован редактор экспертных модулей знаний, позволяющий экспертам создавать методы возможных решений кейсовых задач и при необходимости вводить дополнительные понятия и ситуации, требующиеся для описания методов.
После описания экспертом и инженером знаний базового учебного модуля знаний, структуры усложнения ситуаций и типовых тестовых задач, преподаватель на онлайн-курсе может приступать к созданию заданий на онлайн-курсе с помощью модуля редактора тестов. Задание может явно указывать набор используемых для тестирования типовых тестовых задач, а может формулировать задачу для ИА «Тестировщик», с указанием ограничения на уровень сложности предъявляемых тестируемому задач, времени, отводимому на решение теста и цели тестирования. Основной целью тестировщика по умолчанию является уменьшение неопределенности (энтропии) карты компетенций тестируемого ИА. Карта компетенций показывает степень уверенности ИСТ в том, что испытуемый способен решить данную типовую задачу. Редактор тестов позволяет создавать наборы типовых тестовых задач, с указанием необходимого для тестирования количества генерируемых конкретных тестовых заданий (с конкретными исходными данными), максимального балла за решение каждого ТТЗ и алгоритма оценивания результатов.
Результаты тестирования, включающие в себя логи действий интеллектуального агента тестируемого при решении задачи и его ответы, передаются в модуль анализа и модуль начисления баллов.
Модуль начисления баллов использует данные, введенные преподавателем при создании тестового задания на онлайн-курсе, для вычисления балльно-рейтинговой оценки, которая автоматически выставляется в журнал оценок онлайн-курса за решение данного тестового задания.
Модуль анализа решения может анализировать логи решения задачи с использованием различных ИА-аналитиков, в основе работы которых могут использоваться как привычные экспертные системы с булевой логикой (решил/не решил), так и экспертные системы с нечеткой логикой, формирующие вероятностные суждения. Результаты работы ИА-аналитиков используются для обновления компетентностной карты ИА обучающегося, строящейся в виде оверлейной модели над структурой типовых тестовых задач. Данный компонент позволяет проверять представленное решение и оценивать рациональность решений, сравнивая его с решением ИА-экспертов.
Такая архитектура модулей позволяет решить задачу описания типовых учебных ситуаций, типовых учебных задач (кейсовых задач), позволяет сконструировать
структуру усложнения тестовых задач, организовать адаптивное тестирование с учетом уровня сложности этих заданий и организовать проверку и диагностику ошибок в решении, оценку решения.
Интеграция модуля с LMS MOODLE
LMS Moodle имеет модульную архитектуру, благодаря которой возможности системы могут легко расширяться сторонними разработчиками Расширение функциональных возможностей, которые отсутствуют в базовой версии, возможно за счет установки дополнений (плагинов) - новых блоков, локальных плагинов и модулей элементов курса. При разработке плагинов использовался интерфейс программирования приложений Moodle API, для полной поддержки всех возможностей LMS Moodle, а также для возможности обновления плагинов при обновлении ядра системы Moodle.
Проектируемая интеллектуальная система тестирования для интеграции в LMS Moodle разделена на следующие основные компоненты (рис. 7):
• локальный плагин, включающий в себя большинство модулей редакторов системы;
• блок курса с элементами навигации для перехода в требуемые редакторы;
• модуль элемента курса, предоставляющий интерфейс преподавателю для создания и редактирования тестовых заданий и обучающимся для их решения.
Рис. 7. Структура компонентов ИСТ
Структура служебных файлов и каталогов, а также структура наследования базовых классов, полностью соответствует спецификации Moodle, применяемой при разработке
плагинов
Разработанный локальный плагин включает в себя модуль редактора базы знаний предметной области, редактор типовых тестовых заданий, редактор структуры усложнения ситуации, редактор экспертных модулей и модуль анализа решения,
необходимых для работы экспертов и инженера знаний. Для этой цели был разработан MVC фреймворк (от англ. Model-View-Controller, шаблон проектирования модель-представление-контроллер). Данный фреймворк встроен в LMS Moodle как часть локального плагина, но с небольшими изменениями (при работе с базой данных) его можно вынести как самостоятельный сервис (рис. 8). Фреймворк разработан на PHP 5.6. Является быстрым и безопасным за счет подгрузки только необходимых в данный момент времени классов и встроенной валидации данных в базовой модели.
——h ^ main
Рис. 8. Общая структура папок фреймворка, разработанного для реализации плагина ИСТ
Папка actions - содержит в себе подпапки, которые по сути являются контроллерами с экшенами, в которых описывается взаимодействие представлений и бизнес-логики игры.
Папка components - содержит в себе необходимые для работы фреймворка классы.
Папка images предназначена для хранения картинок, используемых в GUI.
В папке managers - содержатся классы - менеджеры, для удобства вызова их методов в
экшенах и моделях.
В папке models содержаться модели, разнесенные по своим модулям, а также в корне папки лежит базовая модель basicmodel.php - от которой унаследованы все остальные модели.
В папке themes содержаться файлы скриптов JavaScript и таблицы стилей CSS, а также картинки.
В папке views содержаться представления, также разнесенные по своим модулям, которые отвечают за вывод GUI.
Данная архитектура частично заимствована из популярных фреймворков, например YII и Y112[6]. Но в отличие от популярных фреймворков при инициализации приложения подключаются только необходимые классы. Благодаря этому инициализация приложения происходит намного быстрее. Все модели приложения унаследованы от базовой модели, в которой содержатся методы работы с базой данных и методы валидации данных, поэтому некоторые модели содержат в себе только метод, определяющий правила валидации данных, и/или переопределены методы работы с базой данных.
Для навигации по модулям редакторов локального плагина был написан блок курса Moodle, позволяющий экспертам и инженеру знаний получить быстрый доступ к нужному редактору.
Модуль элемента курса содержит необходимые для преподавателя и обучающегося на онлайн-курсе инструменты работы с интеллектуальной системой тестирования, а именно: редактор тестов, модуль тестирования и модуль начисления баллов.
Модуль тестирования может использовать различных ИА-тестировщиков для организации тестирования в зависимости от поставленной задачи тестирования (рис. 9)
Предоставляется возможность для обучающихся тренироваться и проходить контрольное тестирование, регистрировать и отлаживать интеллектуальных агентов, загружать исходный код программного модуля агента (если предусмотрено заданием), просматривать своё решение задач, рейтинг агентов по различным показателям, просматривать свою компетентностную карту знаний (досье ИА обучающегося) и полученные баллы за решение задач контрольного тестирования.
Рис. 9. Схема реализации модуля тестирования при мультиагентном подходе
Преподаватель также имеет возможность просмотреть не только баллы, полученные обучающимся за решение задач, но их решения, скачать и проверить загруженные программные модули агентов обучающихся (например, на плагиат).
Модель используемой предметной области. Реализация игровой среды
Для апробации сконструированного модуля ИСТ был выбран онлайн-курс по «Конструированию интеллектуальных агентов» на портале открытого образования
Волгатеха [7]. Выбор данного курса для внедрения на нем модуля ИСТ был обусловлен несколькими соображениями. Первое - это то, что возможности модуля для обучения можно было усилить применением геймификации непосредственно. Цель онлайн-курса и модуля обучения - научить слушателей конструировать поисковых ИА, которые находят решение задач в рамках данной предметной области. В качестве модели предметной области был выбран мир лабиринта. Учебная задача в рамках данного мира формулировалась как приключенческая задача поиска золота в различных по сложности условиях (рис. 10). Идея модели игры взята из книги Стюарта Рассела и Питера Норвига «Искусственный интеллект: современный подход»
Фактически, по своей сути модель предметной области является моделью игры. И поэтому будет намного легче вовлечь обучающихся в выполнение данного задания.
Второе - это то, что задача конструирования ИА не сильно отличается от формализованной задачи программирования. В обоих случаях пользователем разрабатывается программный модуль, который автоматизировано проверяется на наборе тестовых задач. И это значительно облегчает организацию тестирования. И добавляет возможность начисления очков при наступлении определенных событий и построение рейтинга агентов.
Третье - это то, что данная предметная область конечна, т. е. количество всевозможных состояний данного мира, хоть и велико, но все-таки конечно. В отличие от мира математики, физики и т.п. Это означает, что можно попробовать найти оптимальное решение любой задачи и оценить степень рациональности предложенных решений автоматически. И это означает, что можно сконструировать структуру усложнения
всевозможных игровых ситуации и типовых задач и воспользоваться ею для организации адаптивного тестирования.
Рис. 10. Мир лабиринта с возможными обвалами, живым монстром и кладом.
Четвертое - это то, что несмотря на конечность состоянии данной предметной области, можно ее усложнять (увеличивать размер лабиринта, кол-во обвалов и монстров, увеличивать количество действующих в мире одновременно агентов, добавлять функционала монстрам и т. д.) и увеличивать число возможных действий агента. Можно всегда будет добиться того, чтобы формально тестовое задание имело все основания называться кейсовым заданием. Т. е. имелось бы множество возможных решений задачи и выбор действия агента определялся бы его текущим опытом и используемой стратегией. А правильность или рациональность выбранного решения определялась бы исходя из набранных очков / стоимости выполнения поставленной задачи.
Для разработчиков модуля ИСТ особенно важно, что формально решение задачи поиска золота в лабиринте ничем не отличается от решения любой формализованной задачи -есть исходные данные, есть ситуации (отношения между объектами), есть возможные действия с этими объектами, последовательность которых оформляется как решение, которое можно будет потом проанализировать. Поэтому данную предметную область можно использовать для апробации моделей и анализа свойств реализованного модуля ИСТ.
Игровая среда предметной области тестирования выгодно отличается от обычной среды тестирования тем, что дает немедленную обратную связь на каждое действие ИА тестируемого при решении задачи, а не только на конечный результат решения.
Для реализации игровой среды тестирования был использован раннее описанный МУС
фреймворк. Добавлены соответствующие папки «дате» в соответствующие разделы, содержащие файлы моделей, контроллеров, представлений и тем, в структуру каталогов (рис. 11).
-actions
-game
-images
-game
-models
-game
-agents
-themes -game
-ess
-views -game
Рис. 11 Структура дополнительных папок фреймворка конкретной (игровой) среды тестирования
Таким образом, при добавлении новых предметных областей тестирования используется принцип модульности - в соответствующих разделах будут просто появляться новые папки с обозначением новой предметной области.
Пркиегр МИТрйПЬНЫ! игр .Н1ЙД11 1Л1Д [2 У|И1МЬ>. AlHlrifllHV Ivjn Q
Q Добавить hoevk) попытку
Пот для копирований хэша в ёуфер обмена
Попе доя #слироезчч? хэшз в ^фер обмена
о [HASH - b54tMbtS3fe244iг27-1743бЬО»е?2ЬсО] Поиск клада. неи1веотныи Пооириит. l-2 | Польлка-5
*" ©
Хэш игры Автор Абстрактная задача! Типовая тестовая задач л Очки агента Действий
Ь34Ьэ№3«е244®227474Э6М*е22Ьс0 Aiidreyshev Ivan Найти Золото Порск «ладе Неизвестный Лабиринт L-2 10S ©
b^a№3le244e22747436bd#e22bcO ijidrey?hev (van Ндйтн ЗОЛОТО Поиск клада Неизвестный Лабиринт L-2 -49 ©
ЬЭ*ИЮЭОД44«ЭТ474ЭвИ»н22Ьс0 Andrtyshev Ivan Найти Золото покк клада неизвестный лабиринт L-2 142 в
ьЗД9Ы8Ж44«227474Э$М4е:221к0 AndreyShev Ivan найти Золото поиск клада неизвестный Лабиринт l-2 104 ©
Ь34ЬаЫ83«е244е2274743бМае22Ьс0 Andreysitev Ivan найти Золото Поиск клада Неизвестный Лабиринт L-2 116 ©
ф JhASH- «H3M2ltii1aSaefl786reSe4i7l4«>t>3j поиск клада. Ненгвктмын Лавмрннг L-J | Попытка-? s:i ф
о [HASH - tHUMadl54ScJ2i7b773j;b4i9be««Sl Поиск клада. Ненэвестн ый Лабиринт. L 2 | ГЪпьпы1 ш ©
Рис. 12. Интерфейс модуля ИСТ просмотра и создания контрольных попыток тестирования
Для организации обмена информацией между ИА обучающегося и средой решения задач (рис. 9), посредником взаимодействия ИА-обучающегося и базы знаний предметной области, использовался API-интерфейс. При GET-запросе от ИА-агента отправляется
хэш-код (HASH), содержащий информацию о агенте и текущей игровой задаче и выбранное действие агента. В ответ агент получает информацию о доступном ему состоянии игры и количество игровых баллов за ход. Хэш-код ИА-обучающегося узнает после инициации обучающимся процесса прохождения контрольного тестирования и генерации конкретной тестовой задачи (КТЗ) (рис. 12).
При тренировке обучающийся может сам выбрать типовое тестовое задание (ТТЗ) (рис. 13).
mefoped портал открытого образования волгатеха
я В -a-jric ** с"5ьтия sli'cmiypcn Название агента
girryapitest Тип агента
Выбор типовой тестовой мдачи Сохранить
Добаялени* игры агеиг» Выбор типовой тестовой идачк
п
Найти Золото
Поиск клада. Известный Лабиринт. 1-3 Поиск клада. Неизвестный Лабиринт. 1*3
Помех клада- Известим Пабирмнт. I 2
Поиск клада. Неизвестный Лабиринт. 1.-2 Поиск клада, Известный Лабиринт. 1-1 Поиск клада. Неизвестный Лабиринт.
Рис. 13. Интерфейс выбора типовой тестовой задачи обучающимся в тренировочном режиме использования ИСТ
Если же обучающийся проходит контрольное тестирование, то тестировщик в соответствии с заданием на онлайн-курсе сам выбирает ТТЗ. В зависимости от настроек обучающемуся дается несколько попыток выполнения ТТЗ. При каждой новой попытке выполнения ТТЗ генерируются новые исходные данные - новая КТЗ. Для решения данной КТЗ у обучающегося также может иметься несколько попыток. На рис. 12 показан пример с тремя попытками выполнения ТТЗ и 5-ю попытками выполнения КТЗ. Баллы, полученные за 5 попыток, могут усредняться или браться по наилучшей попытке или по последней попытке в зависимости от опций задания, установленных преподавателем.
После завершения попытки, обучающийся может просмотреть свое решение, используя логи (рис. 14).
Описание структуры компетентностью задач
Для формирования структуры типовых задач, самые сложные из которых и являются компетентностными задачами, необходимо:
А. Задать отношения усложнения с использованием элементов описания ситуаций (простых высказываний) или «элементарных» ситуаций:
например, «карта известна» < «карта неизвестна», «монстра нет» < «монстр жив», «обвалов нет» < «имеется один обвал» < «имеется два обвала»;
Рис. 14. Интерфейс просмотра решения задачи
Б. Сформировать описание множества ситуаций как логических комбинаций простых высказываний; например, «карта известна» И «обвалов нет» И «монстр жив»;
В. Задать отношение усложнения ситуаций с использованием заданного отношения усложнения на множестве «элементарных» ситуаций (см. рис. 15).
Г. Сформулировать ТТЗ с использованием какой-то типовой ситуации, уточнив исходные данные и, выбрав абстрактную задачу, которую требуется решить (цель).
Выполнение последнего пункта и определяет структуру получаемых ТТЗ. Она полностью определяется структурой усложнения используемых для формулировки ТТЗ ситуаций.
Для простоты апробации ИСТ была выбрана простейшая структура ситуаций и ТТЗ (рис. 16). Ситуации 1,2,3 характеризуются тем, что карта известна в отличие от соответствующих ситуаций 4,5,6, которые отличаются от ситуаций 1,2,3 только этим элементом описания. Поэтому можно считать, что Сит.1 < Сит.4, Сит.2 < Сит.5, Сит.3 < Сит.6. Кроме этого решетка ситуаций на рис. 16 также задает отношение порядка на множестве ситуаций Сит.1<Сит.2<Сит.3 и на множестве ситуаций Сит.4<Сит.5<Сит.6 соответственно. Ситуации 1 и 4 характеризуются отсутствием обвалов и монстра. Ситуации 2 и 5 усложняют ситуации 1 и 4 тем, что появляются обвалы, а в ситуациях 3 и 6 - еще и монстры.
№ Более ар о ста я ситуация Более сложная ситуация
1 Поиск клада в известном Лабиринте. 1,-1. • карта известна; • обвалов нет, • мон етров н ет. Поиск клада в известном Лабнрннте. 1,-2, • карта известна, • 2 обвала; • монстров нет.
2 Поиск клала в известном Лабиринте. 1,-2. • карта известна; • 2 обвала; • мои строе н ет Поиск клада в известном Лабнрннте. 1_ 3. • карта известна, • 2 обвала; • I монстр.
3 Попек клада в неизвестном Лабпринте. Т.-1. • карта неизвестна; • обвал об н ег; • монстров нет. Попек клада в нензвестном Лабнрннте. Ь-2. • карта нензвестаа; • 2 обвала; • монстров нет
4 Попек клада в неизвестном Лабиринте. Ь-2. • карта неизвестна; • 2 обвала; ■ мон строе н гг. Попек клада в нензвестном Лабиринте. Ь-Д. * карта нензвестаа; * 2 обвала; * I монстр.
Рис. 15. Примеры пар ситуаций, удовлетворяющих отношению усложнения ситуаций
Рис. 16. Пример простой структуры усложнения ситуаций для учебной области знаний «Лабиринт»
Данная структура ситуаций индуцирует аналогичную структуру из 6 задач:
ТТЗ-1 ТТЗ-2 ТТЗ-3 ТТЗ-4 ТТЗ-5 ТТЗ-6
Поиск клада. Известный лабиринт. L-1» - соответствует ситуации Сит.1; Поиск клада. Известный лабиринт. L-2» - соответствует ситуации Сит.2; Поиск клада. Известный лабиринт. L-3» - соответствует ситуации Сит.3; Поиск клада. Неизвестный лабиринт. L-1» - соответствует ситуации Сит.4; Поиск клада. Неизвестный лабиринт. L-2» - соответствует ситуации Сит.5; Поиск клада. Неизвестный лабиринт. L-3» - соответствует ситуации Сит.6.
Все задачи имеют одинаковые остальные исходные параметры (начальное состояние мира и цель игры).
Рис. 17. Решетка усложнения ситуаций для учебной области знаний «Лабиринт»
На практике, необходимо выделять более детализированные описания ситуаций, которые более тонко описывают различные уровни сложности задач. Например, в ситуациях неизвестности карты учитывать локализован или не локализован монстр, известно ли количество и расположение обвалов, агента. В этом случае, решетка усложнения ситуаций будет намного сложнее (рис. 17). Но для учебных целей мы всегда можем ограничиться какой-то ее частью.
Анализ результатов апробации ИСТ
Положительные свойства архитектуры модуля ИСТ - модульность, гибкость, расширяемость, интеллектуальность, мультиагентноFсть - важны, но не менее важно показать практическую полезность данной системы, вытекающие в том числе и из свойств архитектуры. Поэтому было проведено внедрение данной системы в учебный процесс. Более 50 студентов второго курса бакалавриата направления «Программная инженерия» были поделены на группы по 2-3 человека. Каждая группа разрабатывала своего агента. Старший группы тестировал агента на открытом онлайн-курсе курсе
«Конструирование интеллектуальных агентов» [7] и полученные баллы распределялись между членами группы по дисциплине «Теория управления (виртуальными сущностями)».
В соответствии с упрощенной структурой тестовых задач (см. выше) на онлайн-курсе было создано три задания (рис. 18). Каждое задание ИСТ на курсе было простым и подразумевало решение только одной типовой задачи.
т&ореб ПОРТАЛ ОТКРЫТОГО ОБРАЗОВАНИЯ ВОЛГАТЕХА
О о проекте - О iCytv
Л В начало В События В Мои курсы Текущий куре *_Э Скрыть блэ^
Для студентов конструирование интеллектуальных агентов^^ практикум
Последние объявления
ВНИМАНИЕ! в VPL. Используется по умолчанию PYTHON 3
Л 124S №СФ* Н*т*М
ВНИМАНИЕ! Разный uri при тестировании и при контрольном выполнении задания API-агентом
Управление курсом 0 Оценки
Переключиться к роли... . X Вернуться к моей обычной роли
' Последние действия ^ Личный кабинет
-ф- Вернуться на курс 'Конструирование интеллектуальных агентов'
ПРАКТИКУМ
А - вернуться а управляющим елок курса
управляющий блок:тем Тема 3. практикум недели ^
'я тема 3. Инструкция по еыполн&н^кэ практического аддлнйя 3-й надела ' додос ■ *}
Ц Тема 3. практикум -ща6л0ны и искодоыг данные
иЛ. 1
ц найди клдд 11 уровень}
найди клад (2 уровень} ^ Щ найди клад (3 уровень) ^ реализация ар -агента [2017053100] рг№г)п|п|
Задания ИСТ гю поиску в пабиринте, интегрированною 9 онлайн-курс
i
Рис. 18. Размещение заданий ИСТ на онлайн-курсе платформы MOODLE
В задании «Найди клад (1 уровень)» необходимо было решить ТТЗ-4, в заданиях «Найди клад (2 уровень)», «Найди клад (3 уровень)» - задачи ТТЗ-5 и ТТЗ-6 соответственно. Согласно выбранной решетке усложнения задач каждая следующая задача была сложнее предыдущей. Результаты тестирования это подтверждают (см. табл. 1). Перед выполнением задания обучающийся мог сколько угодно тестировать своего агента на любой сгенерированной КТЗ, выбрав предварительно любую ТТЗ (рис. 13). Если же обучающийся при выполнении задания выбирал контрольное тестирование, то происходила генерация КТЗ того уровня, который соответствовал условию задания. Агенту давалось максимум 3 попытки решения задачи (рис. 12). В каждой попытке генерировалась случайные разные КТЗ. Результатом выполнения одной попытки была сумма баллов за 5 запусков агента (5 попыток решения одной КТЗ). Обучающийся за решение задания мог получить максимум 10 баллов, если все 5 запусков агента обучающегося в последней попытке были успешными.
Всего было сгенерировано 254 различных КТЗ, на которых тренировались и тестировались ИА обучающихся. Зафиксировано 1750 попыток прохождения агентами игр и 79 попыток контрольных тестирований. Пятеро слушателей курса не справились ни с одним заданием и образовали «нулевой» кластер обучающихся. Кластерный анализ ненулевых результатов выделил дополнительно три кластера обучающихся (рис. 19). Они явно отличаются результатами выполнения заданий разного уровня сложности. И главным индикатором стало задание «Найди клад (2 уровень)» (рис. 20).
Табл.1. Конечные ненулевые результаты выполнения заданий ИСТ на онлайн-курсе
Имя ИСТ: Найди клад (1 уровень) ИСТ: Найди клад (2 уровень) ИСТ: Найди клад (3 уровень) Сумма баллов
Ivan 10 10 10 30
Анна 10 10 10 30
Илья 10 10 8 28
п I-11-11-1
Ришт 10 10 8 28
Николай 10 10 8 28
Алексей 10 8 8 26
Антон 10 8 8 26
Николай 10 10 6 26
Артем 10 8 6 24
Olga 10 10 4 24
Дмитрий 8 8 6 22
Дмитрий 10 8 4 22
Артём 10 4 8 22
Лена 10 6 4 20
Алексей 10 4 6 20
Вадим 8 6 6 20
Александр 10 4 4 18
Тимур 10 2 6 18
Яна 10 4 4 18
Мксим 10 0 0 10
Андрей 10 0 0 10
СРЕДНЕЕ: 9,8 6,7 5,9
Рис. 19. Дендрограмма образования кластеров результативных агентов обучающихся
Хорошо видно, что 1-й кластер обучающихся (зеленый цвет) справился только с заданиями 1-го уровня сложности и не справился с остальными заданиями. Красный кластер обучающихся выполнил почти 80% заданий 2 и 3. Черный кластер обучающихся
справился более чем с 80% заданий 2-го уровня, и от 40% и до 100% с заданиями 3-го уровня. Все это позволяет сказать, что мы видим достаточно четко обозначенные границы уровней сформированности компетенций (рис. 20).
Рис. 20. Границы образования кластеров обучающихся, соответствующих разным уровням сформированности компетенций; ^Т_1, ^Т_2, ^Т_3 - обозначают 3 задания ИСТ; точки соответствуют обучающимся, цвет соответствует кластеру обучающихся.
Таким образом, используемый метод конструирования структуры усложнения типовых задач позволяет выделять уровни сформированности предметных компетенций и
определять способ их диагностирования коррекции структуры тестовых заданий а также использовать полученные решетки ситуаций и тестовых задач для организации адаптивного тестирования.
Нечеткость границы между красным и черным кластерами свидетельствует о недостаточной детализации ситуаций и необходимости учета их дополнительных свойств, таких как сложность локализации обвалов и поиска золота, если его локация совпадает с локацией обвала.
Заключение
Разработана архитектура и создан прототип интеллектуальной системы тестирования. Архитектура ИСТ обладает такими важными свойствами, как модульность, гибкость, расширяемость, мультиагентность, интеллектуальность, что позволяет:
• встраивать модуль ИСТ в качестве элемента онлайн-курса, используя локальный плагин;
• переносить модуль ИСТ с одного портала MOODLE на другой, на новые версии портала;
• организовать асинхронную параллельную работу экспертов и обучающихся с ИСТ;
• добавлять модели новых предметных областей тестирования;
• организовать адаптивное тестирование обучающихся, в зависимости от того, какие они задачи смогли решить и какие не смогли решить с использованием решетки усложнения ситуаций и тестовых задач;
• организовать тестирование как слушателей курса, так и их программных агентов (полезно при обучении предметам, использующим программные реализации решений);
• организовать соревнование команд агентов, команд обучающихся;
• подключать новых интеллектуальных агентов для организации тестирования;
• использовать различных агентов для анализа решений, анализировать получаемые карты компетенций и проводить селекцию агентов;
• использовать агентов экспертов для анализа решений тестовых задач и оценки рациональности решений обучающихся.
Применение ситуационного подхода при анализе решений предоставляет возможности детального анализа получаемых решений, построения агентов-менеджеров, которые
лишь декомпозируют задачу и делегируют решения подзадач другим агентам использования полученных решений для автоматизированного построения агентов-экспертов методом Q-learning. Открываются очень интересные возможности по анализу принятия решений обучающимися и их агентами в различных ситуациях и автоматизированной коррекции (расширении, упрощении) структуры типовых ситуаций. Все это открывает обширные возможности по конструированию эффективных обучающих ИА - онлайн-тьюторов, онлайн-менторов, которые могут настраиваться персонально на каждого слушателя онлайн-курса и обеспечить эффективность обучения.
Библиография
1. Нехаев И. Н. Интеллектуальная система адаптивного тестирования уровня усвоения знаний / И. Н. Нехаев, А. А. Власов // КИИ-2010. Двенадцатая национальная конференция по искусственному интеллекту с международным участием (20 - 24 сентября 2010 г., г. Тверь, Россия). Сборник трудов.-М.: Физматлит, 2010, Т. 3, С. 257-263.
2. Нехаев И. Н. О подходе к построению интеллектуальной системы диагностики пробелов знаний / И. Н. Нехаев, И. В. Жуйков // Информационные технологии в профессиональной деятельности и научной работе. Сборник материалов Всероссийской научно-практической конференции с международным участием.-Йошкар-Ола, ПГТУ, 2014, С. 30-38.
3. Жуйков И. В. Применение системного подхода при создании интеллектуальной системы тестирования уровня усвоения знаний / И. В. Жуйков, И. Н. Нехаев // Современные проблемы фундаментального образования в техническом вузе. Йошкар-Ола, ПГТУ, 2014. С. 144-148.
4. Нехаев И. Н., Жуйков И. В. Модели принятия решения в интеллектуальной системе тестирования уровней сформированности предметных компетенций // Кибернетика и программирование.-2016.-№ 4.-С.18-34. DOI: 10.7256/2306-4196.2016.4.19863. URL: http://e-notabene.ru/kp/article_19863.html
5. Local plugins - MoodleDocs - Moodle.org [Электронный ресурс]. - Режим доступа: https://docs.moodle.org/dev/Local_plugins - Заглавие с экрана. - (Дата обращения: 09.08.2017)
6. Overview - Application Structure - The Definitive Guide to Yii 2.0 [Электронный
ресурс]. - Режим доступа: http://www.yiiframework.com/doc-2.0/guide-structure-overview.html - Заглавие с экрана. - (Дата обращения: 09.08.2017)
7. Конструирование интеллектуальных агентов - Описание курса [Электронный ресурс]. - Режим доступа: https://mooped.net/local/coursemanage/courseinfo.php? id = 8 - Заглавие с экрана. - (Дата обращения: 09.08.2017)
8. Russell S. Artificial Intelligence: A Modern Approach, 3rd edition. / Russell S., Norvig P. // Upper Saddle River, New Jersey, Prentice Hall, 2010
9. Нехаев И. Н. О применении бикластерного анализа результатов тестирования для оценки уровня сформированности предметных компетенций. / И. Н. Нехаев, М. И. Красильников, В. Г. Наводнов, Л. Н. Шарафутдинова, А. А. Колчев // Вестник МарГТУ, серия «Экономика и управление», Т. 3, 2010, С. 20-32.
10. Красильников М. И. Исследование классификационных свойств структуры тестовых заданий, предназначенных для оценки уровней сформированности предметных компетенций / М. И. Красильников, И. Н. Нехаев // «РЕГИОН: системы, экономика, управление». Воронеж, 2011. № 4(15). С. 151-163.
11. Wickler, G., Potter, S., Tate, A.: Using I-X Process Panels as Intelligent To-Do Lists for Agent Coordination in Emergency Response, International Journal of Intelligent Control and Systems (IJICS), Special Issue on Emergency Management Systems, 2006, 11(4): P. 248-259.
References (transliterated)
1. Nekhaev I. N. Intellektual'naya sistema adaptivnogo testirovaniya urovnya usvoeniya znanii / I. N. Nekhaev, A. A. Vlasov // KII-2010. Dvenadtsataya natsional'naya konferentsiya po iskusstvennomu intellektu s mezhdunarodnym uchastiem (20 - 24 sentyabrya 2010 g., g. Tver', Rossiya). Sbornik trudov.-M.: Fizmatlit, 2010, T. 3, S. 257-263.
2. Nekhaev I. N. O podkhode k postroeniyu intellektual'noi sistemy diagnostiki probelov znanii / I. N. Nekhaev, I. V. Zhuikov // Informatsionnye tekhnologii v professional'noi deyatel'nosti i nauchnoi rabote. Sbornik materialov Vserossiiskoi nauchno-prakticheskoi konferentsii s mezhdunarodnym uchastiem.-Ioshkar-Ola, PGTU, 2014, S. 30-38.
3. Zhuikov I. V. Primenenie sistemnogo podkhoda pri sozdanii intellektual'noi sistemy testirovaniya urovnya usvoeniya znanii / I. V. Zhuikov, I. N. Nekhaev // Sovremennye problemy fundamental'nogo obrazovaniya v tekhnicheskom vuze. Ioshkar-Ola, PGTU, 2014. S. 144-148.
4. Nekhaev I. N., Zhuikov I. V. Modeli prinyatiya resheniya v intellektual'noi sisteme testirovaniya urovnei sformirovannosti predmetnykh kompetentsii // Kibernetika i programmirovanie.-2016.-№ 4.-S.18-34. DOI: 10.7256/2306-4196.2016.4.19863. URL: http://e-notabene.ru/kp/article_19863.html
5. Local plugins - MoodleDocs - Moodle.org [Elektronnyi resurs]. - Rezhim dostupa: https://docs.moodle.org/dev/Local_plugins - Zaglavie s ekrana. - (Data obrashcheniya: 09.08.2017)
6. Overview - Application Structure - The Definitive Guide to Yii 2.0 [Elektronnyi resurs]. - Rezhim dostupa: http://www.yiiframework.com/doc-2.0/guide-structure-overview.html - Zaglavie s ekrana. - (Data obrashcheniya: 09.08.2017)
7. Konstruirovanie intellektual'nykh agentov - Opisanie kursa [Elektronnyi resurs]. -Rezhim dostupa: https://mooped.net/local/coursemanage/courseinfo.php?id = 8 -Zaglavie s ekrana. - (Data obrashcheniya: 09.08.2017)
8. Russell S. Artificial Intelligence: A Modern Approach, 3rd edition. / Russell S., Norvig P.
// Upper Saddle River, New Jersey, Prentice Hall, 2010 9. Nekhaev I. N. O primenenii biklasternogo analiza rezul'tatov testirovaniya dlya otsenki urovnya sformirovannosti predmetnykh kompetentsii. / I. N. Nekhaev, M. I. Krasil'nikov, V. G. Navodnov, L. N. Sharafutdinova, A. A. Kolchev // Vestnik MarGTU, seriya «Ekonomika i upravlenie», T. 3, 2010, S. 20-32.
10. Krasil'nikov M. I. Issledovanie klassifikatsionnykh svoistv struktury testovykh zadanii, prednaznachennykh dlya otsenki urovnei sformirovannosti predmetnykh kompetentsii / M. I. Krasil'nikov, I. N. Nekhaev // «REGION: sistemy, ekonomika, upravlenie». Voronezh, 2011. № 4(15). S. 151-163.
11. Wickler, G., Potter, S., Tate, A.: Using I-X Process Panels as Intelligent To-Do Lists for Agent Coordination in Emergency Response, International Journal of Intelligent Control and Systems (IJICS), Special Issue on Emergency Management Systems, 2006, 11(4): P. 248-259.
