CC BY
67
УДК 005 : 519.718.7
В. А. Углев, В. А. Устинов, Б. С. Добронец
Сибирский федеральный университет пр. Свободный, 79, Красноярск, 660041, Россия E-mail: uglev-v@yandex.ru
МОДЕЛЬ СТРУКТУРНОЙ АДАПТАЦИИ ЭЛЕКТРОННЫХ УЧЕБНЫХ КУРСОВ С ПОМОЩЬЮ ОБУЧАЮЩЕГО КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ
Вводится понятие «обучающего компьютерного тестирования» как ведущего инструмента индивидуализации стратегии предъявления материала электронных учебных курсов в процессе дистанционного или самостоятельного обучения. Обсуждаются вопросы интеграции электронных учебных курсов с обучающими компьютерными тестами, а также индивидуализации процессов обучения и контроля, опирающиеся на структурную модель курса.
Ключевые слова: обучающее тестирование, компьютерное тестирование, автоматизированная обучающая система, электронный учебный курс, адаптация, личностно-ориентированный подход, индивидуализация траектории обучения, структурная модель курса.
Введение
Применение вычислительной техники для нужд системы образования многими специалистами оценивается как перспективное направление. Концепция массового образования и равных возможностей требует разработки таких механизмов обучения, которые могут быть эффективно применены не только в системе классического (аудиторного) образования, но и при самостоятельном (дистанционном) обучении. В связи с этим возникают задачи составления эффективно работающих электронных учебных курсов и разработки соответствующего программного обеспечения, подкрепленных новыми методологическими образовательными концепциями и государственными стандартами.
В качестве объекта исследования выберем проблему повышения эффективности диагностики знаний в автоматизированных обучающих системах как инструмента по достижению оптимального педагогического воздействия в условиях дистанционной формы обучения в рамках личностно-ориентированной стратегии образовательного процесса.
Схематично процесс самостоятельного изучения учебной дисциплины с помощью электронных учебных курсов можно представить в виде кибернетического процесса с обратной связью (рис. 1). Очевидно, что при изучении курса необходимы механизмы, позволяющие системе в автоматическом режиме оценить уровень знаний пользователя на их соответствие с требованиями учебного стандарта и принять решение по поводу дальнейших действий. В качестве результатов оценки может быть выработано решение как о соответствии продемонстрированных знаний цели обучения, так и о необходимости повторного обращения к учебному материалу. При этом требуется индивидуальный подход к каждому обучаемому, позволяющий оптимизировать траекторию дальнейшей работы с учебным материалом. От адекватности данного механизма будет зависеть как эффективность работы всей автоматизированной системы, так и скорость, и качество освоения новых для пользователя знаний.
Целью процесса индивидуализации будет оптимизация траектории представления учебного материала относительно требований обучения и информации о текущем уровне знаний пользователя. Для этого требуется иметь не только качественный учебный материал, но и знать цели обучаемого по отношению к выбранной дисциплине, а также эффективные алгоритмы индивидуализации учебного и контрольного материалов.
Цели работы с электронными учебными курсами пользователь может определить в виде одной из трех следующих форм:
• выполняется учебный стандарт в полном объеме;
ISSN 1818-7900. Вестник НГУ. Серия: Информационные технологии. 2009. Том 7, выпуск 2 © В. А. Углев, В. А. Устинов, Б. С. Добронец, 2009
• пользователь сам указывает, какую направленность знаний он хочет получить (ознакомительную, теоретическую, практическую, обычную стандартизированную, углубленную, расширенную и пр. с указанием своего профиля);
• пользователь сам указывает, какие именно разделы ему необходимо знать по результату прохождения курса.
Рис. 1. Схема процесса взаимодействия пользователя с автоматизированной обучающей системой: x - обучающе-контролирующее воздействие; h - оценка знаний; 5 - управляющее воздействие
В результате на базе автоматизированной обучающей системы должен формироваться такой вариант ЭУК, который будет отвечать индивидуальным потребностям обучаемого как в плане дидактических единиц, так и в плане тестового контроля. От цели так же будет зависеть и адаптация последовательности предъявления материала пользователю, учитывая его профиль, скорость обучения и текущий уровень знаний.
В качестве инструмента обратной связи электронного учебного курса и пользователя могут применяться различные методики оценки усвоения материала: решение практических задач, научно-исследовательская (творческая) работа, компьютерное тестирование, on-line семинары и консультации, квалификационная работа или непосредственное взаимодействие с учителем-консультантом (тьютором). Остановимся на компьютерном тестировании, как на наиболее распространенном инструменте оценки знаний в условиях дистанционного и самостоятельного обучения [Аванесов, 1994], подразумевающего отсутствие достаточного числа педагогов-экспертов.
В качестве предмета исследования рассмотрим проблему применения педагогического компьютерного тестирования как инструмента эффективной обратной связи пользователя с учебным курсом. Тот факт, что в литературе ведется всестороннее обсуждение вопроса эффективности тестового контроля и его применимости для задач обучения, свидетельствует об отсутствии устоявшихся взглядов на эту область знаний. Компьютерным тестам вменяют неадекватность алгоритмов оценивания и примитивизм внутренней логики работы. Посмотрим, насколько эти утверждения истинны для существующих программ тестирования и использующих их автоматизированных систем.
Целью исследования станет выработка методических рекомендаций, позволяющих повысить эффективность обучения на базе электронных учебных курсов с помощью специальных (обучающих) педагогических компьютерных тестов. Но прежде определим ряд основных понятий, на которые мы будем опираться в рамках данной работы.
Автоматизированная обучающая система (АОС) - пакет прикладных программ, выполняющих функции формирования учебного материала, его хранения, предъявления (обучения), контроля знаний, планирования стратегии обучения и анализа результирующей информации (формирование отчетности), функционирующих на основе метаинформации,
получаемой ситуационно и заложенной разработчиками (моделей курса, обучаемого и стратегии), и интеллектуальных алгоритмов [Цибульский и др., 2004а].
Под электронным учебным курсом (ЭУК) мы будем понимать совокупность элементов учебного материала (текст, графика, мультимедийные объекты и пр.), для которого с помощью АОС определены структура, семантические связи и другие параметры, позволяющие осуществлять стандартизированный учебный процесс [Устинов, Углев, 2007].
Модель курса (дисциплины) - совокупность данных о структуре учебного материала ЭУК, стратегиях его изложения, эталонные показатели освоения (стандарты), а также их взаимосвязь с другими элементами АОС (внешними информационными источниками, справочниками и глоссарием, контролирующим материалом и т. д.).
Адаптация - процесс подстройки параметров различных элементов АОС, позволяющий повысить управляемость и эффективность учебного процесса в рамках парадигмы личност-но-ориентированного обучения (в этом смысле будет также использоваться термин индивидуализация).
Педагогическое компьютерное тестирование (КТ) - совокупность методических и организационных мероприятий, обеспечивающих разработку педагогических тестов, подготовку и проведение стандартизованной процедуры измерения уровня подготовленности испытуемых, а также подготовку и анализ результатов, осуществляющихся с помощью специального программного обеспечения на ЭВМ [Данилова, 2005].
Проблема индивидуализации учебного материала при использовании
компьютерного тестирования
Компьютерное тестирование как ведущий инструмент по индивидуализации работы в АОС активно исследовался с 40-х гг. прошлого века Б. Скиннером, Н. Краудером, В. Беспалько, П. Гальпериным и многими другими педагогами 1. Подход, где в соответствии с принципами кибернетики [Винер, 1968] от результатов контроля изменялась последовательность предъявления материала ЭУК, получил название программируемое обучение.
Независимо от метода реализации программируемого обучения в АОС использовался итоговый педагогический тест: оценке подлежали один или все разделы ЭУК и выставлялся общий балл. Воздействие на тестируемого осуществлялось либо за счет перехода к учебному курсу (конкретной дидактической единице), либо за счет блокировки изучения следующего материала до тех пор, пока очередной тест не будет пройден. Исходя из парадигмы итогового тестирования, задачи обучения в процессе его проведения не рассматривались. Соответственно, в системах КТ, сопровождавших ЭУК, были реализованы только механизмы контроля уровня знаний.
Рассмотрим текущее положение дел на рынке программного обеспечения в области КТ. Выберем в качестве критерия оценки систем КТ их возможности для оптимизации траектории обучения в ЭУК. Механизм, обеспечивающий автоматическое регулирование состава и баланса тем изучаемого курса, а также глубины их раскрытия относительно цели обучения, будем называть индивидуализацией. Следовательно, критериями выработки индивидуальной учебной программы (включая функцию контроля) для АОС будет динамика оценок уровня знаний относительно целей работы с ЭУК.
Применение в ЭУК систем КТ предполагает определенный уровень технической и методологической реализации процесса проверки знаний. Во-первых, необходимо определиться с задачами проведения мероприятий контроля. Принято выделять следующие задачи, решаемые с помощью проведения педагогического тестирования: классификация (предварительный контроль, текущий контроль, тематический контроль, рубежный и итоговый контроль [Захаров и др., 2005]); селекция; обучение; мониторинг и пр. Нас интересует задача обучения, которую ни в коем случае не следует отождествлять с различными видами задачи классификации.
Во-вторых, требуется наличие специализированных методик, позволяющих интегрировать процессы оценивания знаний и адаптации представления учебного материала. Это каса-
1 Подробнее о подходах и моделях программируемого обучения и эволюции взглядов на АОС можно прочитать в работах [Чепегин, 1999; Беспалько, 1970; Гальперин, 1967; Цибульский и др., 2004а; 2004б].
ется как организационных, так и чисто технических вопросов, отдавая приоритет задаче обучения перед всеми остальными.
В-третьих, должна существовать программная реализация системы КТ, обладающая возможностью обеспечить на практике эффективную обратную связь подсистем контроля и предоставления учебного материала посредством механизма адаптации. Рассмотрев программные решения, присутствующие на рынке программного обеспечения или представленные в ряде научных изданий, мы можем условно разделить системы педагогического КТ на пять групп, ранжировав их по признаку усиления обучающего потенциала: аудиторно-ориентированные (классические); аудиторно-ориентированные, с расширенными функциями оценивания; интернет-ориентированные; предметно-ориентированные и ЭУК-ориентирован-ные. Несложно заметить, что подавляющая часть систем КТ, присутствующая на рынке программного обеспечения, относится к первым четырем группам, так как в них отсутствуют или существенно упрощены функции анализа данных о пользователе, интеграции с ЭУК, сужено поле регистрируемых факторов и пр. Парадоксально, но результаты проведенного исследования показали, что классический (итоговый) подход к организации, проведению и оценке результатов КТ при переходе к дистанционному контролю знаний в подавляющем большинстве случаев не претерпел никаких изменений.
Было выяснено, что автоматизированная корректировка стратегии подачи материала по результатам проведения КТ имеет ряд ограничений. Перечислим несколько основных ограничений:
• примитивность механизма подсчета итоговых баллов;
• высокая погрешность оценки (более 10 % [Половко, 2004]);
• искусственная изоляция процесса тестирования от обучения;
• сужение поля анализируемых факторов 2 ;
• упрощение понятия структура курса;
• уравнивание всех тестируемых, без учета целей работы с ЭУК.
Эти ограничения, взятые в комплексе, существенно снижают эффект применения КТ в образовании и упрощают лишь заключительную (контрольную) фазу изучения дисциплины для педагога. В результате значительно сужаются возможности традиционного КТ, дискредитируя его среди педагогов-профессионалов 3 и делая неэффективным для совершенствования процесса обучения.
Отсюда следует, что ЭУК-ориентированные системы контроля, включенные в полноценные АОС, должны быть укомплектованы соответствующим набором сервисов по созданию ЭУК и КТ, а также их тесной интеграции. В них изначально предполагается, что процесс обучения должен быть связан с последующей проверкой знаний. Но техническая реализация подобных программных пакетов обычно не предусматривает специальной методики по выработке оптимальной обратной связи с ЭУК, сводя эффект от тестирования к очередному рубежному контролю: применяемые функции адаптации не носят системного, концептуального характера, а переход к учебному материалу ограничивается прямой «переброской» в текст теоретической части курса (технология гипертекстового перехода). Интерес вызывают некоторые модели 4, но там существенно упрощен подход к процессу адаптации, а так же не затронуты методологические вопросы организации и проведения КТ (парадигма классического итогового тестирования). В качестве примера подобных систем можно привести программный пакет eCourse Publisher.
2 В исследованных авторами методиках применяется следующее методологическое допущение: считается, что пользователь честно проходит тестирование, не имея намерения фальсифицировать результаты контроля. Несмотря на ограниченные возможности систем компьютерного тестирования при дистанционной и самостоятельной формах обучения, существует необходимость и возможность регистрировать и анализировать некоторые доступные особенности процесса КТ, не ограничиваясь итоговой суммой баллов.
3 Пугачев А. А. Высокоуровневое, специализированное программное обеспечение, пакет eCourse Publisher (http://www.grnm.ru/ articles.html).
4 Жукова И. Г., Сипливая М. Б., Шабалина О. А. Концепция открытой адаптивной контрольно-обучающей системы на основе персоонализации процесса обучения (http://systech.miem.edu.ru/2003/n1/ Zhukova.htm); Пугачев А. А. Высокоуровневое, специализированное программное обеспечение, пакет eCourse Publisher (http://www.grnm.ru/ articles.html).
Структурная модель курса как основа для индивидуализации предъявления контролирующего и учебного материалов
Чтобы четко представить состояние проблемы оценки знаний в ЭУК, следует в первую очередь рассмотреть сам объект индивидуализации - траекторию работы пользователя с АОС. Она изменяется каждый раз, когда пользователь прошел очередное тестирование и поэтому требует детального описания. Исходя из необходимости учета различных целей пользователя, а так же адаптации управляющего (контролирующего) воздействия, следует обратиться к тому, что же из себя представляет ЭУК.
Электронный учебный курс как совокупность учебно-методического материала должен иметь гибко настраиваемую структуру, позволяющую реализовать различные цели обучения. Его основными компонентами будут: рабочая программа учебного курса (комплекса учебных курсов); теоретический блок учебного курса; лабораторный практикум с циклом исследовательских задач; прикладное программное обеспечение для статистического анализа результатов обучения; банк тестовых заданий; база знаний, модели обучаемого и дисциплины [Устинов, Углев, 2007].
Очевидно, что содержательный состав ЭУК для отдельной дисциплины изначально зависит от рабочей программы курса (образовательного стандарта). Таким образом, последовательность изложения (предъявление) материала в ЭУК становится эквивалентом классического книжного подхода. Представим модель структуры дисциплины в виде ориентированного графа 5, содержащего четыре иерархических уровня (рис. 2.).
Рис. 2. Структурная модель организации материала в ЭУК
Уровень дисциплин (К) - вершина иерархической структуры, для которой разрабатывается государственный стандарт, определяющий цели и задачи курса, перечень основных разделов. Он должен содержать информацию о возможном информационном наполнении курса.
Уровень разделов (Я) - множество тематических разделов, группирующих дидактические единицы так, чтобы наиболее эффективно разделить учебный материал для дальнейшего изучения и контроля.
Уровень дидактических единиц (В) - непосредственно учебный материал, выполняющий функции информирования (теоретический учебный и справочный материал), тренировки (задачи). Он состоит из ссылок на учебный материал, его уровней освоения (теоретический (общий), методологический, практический, смешанный, дополнительный, справочный), вида работы (информирование, тренировка), коэффициентов сложности и важности, формы представления (текстовая, графическая, мультимедийная). Отдельная дидактическая единица мо-
5 Представление дисциплины, состоящей только из четырех уровней, вполне оправдано, так как уровни К и Я служат исключительно для упорядочения данных на этапе их описания, а В и Т содержат сам учебный материал. Ниже модель курса будет детализирована.
жет отражать как стандартный материал, так и дополнительный (расширенный), принадлежащий различным авторам.
Уровень понятий и тестов (T) - пространство терминов предметной области и тестовых
заданий, необходимых для изучения теоретического материала. Словарь содержит характеристику каждого термина: момент введения в учебном курсе (идентификатор подраздела), использующие его темы, вид (основной, общий, вспомогательный). Для каждой дидактической единицы так же формируется набор тестовых заданий, обеспечивающий всесторонний контроль каждого элемента учебного материала.
Хранение данных в виде структурной модели организовать достаточно просто, но для решения многовариантного представления одной дисциплины в разрезе различных целей работы с ней - явно недостаточно. Следовательно, требуется расширить данную структуру, введя в нее дополнительные связи.
Введем дополнительный уровень реализации, с помощью которого будем иметь возможность перекомпоновки курса непосредственно для различных вариантов его представления. Этот уровень является виртуальным и не требует дублирования данных, т. е. очередная реализация курса будет «собираться» из элементов множества D на уровне связей с базовой структурой хранимых данных с рис. 2. У педагога появляется возможность реализации авторского курса на базе единой АОС: бывают ситуации, когда одну дисциплину читают разные специалисты, излагающие собственный уникальный опыт при рассмотрении некоторых разделов учебного курса, т. е. ЭУК должен способствовать самореализации педагога, но при этом не навязывать его подход другим авторам. Студент же получает такой учебный курс, который может быть автоматически сформирован из множества элементов уровня дидактических единиц, за счет наличия дополнительной метаинформации: идентификаторов «родительского» раздела, набора связей с первичными дидактическими единицами, включая различные весовые коэффициенты при связях между структурными элементами относительно их важности и профильности.
Таким образом получается семантическая сеть, обладающая возможностью многовариантного представления, в зависимости от специфики запроса пользователя [Углев, 2008а]. Наличие обратных связей делает из простой цепочки разделов гибко настраиваемую сеть, в каждом узле которой можно осуществить анализ текущих знаний пользователя.
Допустим, что известны начальный уровень знаний и цель изучения ЭУК. Необходимо таким образом построить процесс подачи учебного материала пользователю, чтобы начальная последовательность вывода материала и дальнейшая траектория перемещения по курсу соответствовала этой исходной информации. Тогда следует скомпоновать учебный и контрольный материал на освоение исходных понятий и отношений, привлекая для этого модель ЭУК, т. е. специфику связей полученной семантической сети. Используя аналогичным образом формальное описание ЭУК, появляется возможность формировать любые промежуточные и итоговые выборки тестовых заданий, упражнений, исследовательских задач для любой совокупности разделов ЭУК, участвующей в целевой реализации курса.
Представим процесс предъявления учебного материала в виде двух этапов: первый - когда пользователь знакомится с учебным курсом (последовательное изучение реализации курса, адаптированного под цель обучения); и второй - когда при той же структуре материала необходимо перемещаться для повторения только нужных (не до конца усвоенных) разделов ЭУК. Порядок изложения, а следовательно, и уровень усвоения материала, на любом этапе косвенно зависят от наличия знаний предыдущих этапов. Фундаментом знаний становятся понятия и их четкая семантическая взаимосвязь внутри предметной области. С одной стороны, последовательное изучение способствует комплексному овладению дисциплиной. Но с другой стороны, становится проблематично в автоматическом режиме учесть предрасположенность обучаемого к освоению той или иной информации, выявить его знания и предложить оптимальную траекторию обучения, учесть индивидуальные цели работы с ЭУК. При выходе на контроль многие из элементов данной цепочки забываются, другие не поняты, а третьи восприняты неверно.
Возникает задача оптимизации стратегии предъявления учебного материала относительно определенного эталона. Парадигма личностно-ориентированного обучения предполагает нелинейное перемещение по дидактическим единицам курса (например, технология Hyper
Text 6), что предъявляет к работе АОС и модели ЭУК специальные требования. Это связано, в первую очередь, с тем, что скорость восприятия материала и необходимая (целевая) глубина познания у всех людей различны.
Имея определенные условия учебного процесса в момент времени tf (оценку текущего знания пользователя и цель обучения относительно курса, соотношения разделов курса и взаимосвязь дидактических единиц в момент времени i), всегда можно эффективно сформировать контрольный и обучающие тесты, используя для этого метаинформацию о реализации ЭУК. Для этого рассмотрим процесс пошаговой оптимизации, зависящей от текущего уровня знаний h и цели работы обучаемого с курсом. Модель обучаемого (G), содержащая данные о динамике вектора h и особенностях индивидуального освоения дисциплины (форме представления материала, текущей стратегии, скорости обучения и пр.), должна учитываться при управлении процессом обучения следующим образом:
р(t)-h(G,D,t)|| ^min, (1)
где h - вектор эталонного знания разделов дисциплины.
Итак, рассмотрев вопрос «что адаптировать?» и «чем адаптировать?», можно сделать вывод, что для принципиального улучшенная ЭУК-ориентированных систем КТ в АОС должен быть реализован оригинальный подход контроля, отличный от итогового тестирования, позволяющий реализовать индивидуальный подход к стратегии предъявления учебного материала.
Обучающее КТ: определение и методика его интеграции с ЭУК
Процесс программированного обучения, какой алгоритм индивидуализации не лежал бы в его основе, всегда опирается на результаты контрольных мероприятий и модель курса. Исходя из выявленных трудностей применения парадигмы итогового тестирования в представленных на рынке средствах КТ, можно предложить модифицированный подход, ориентированный на тесты обучающего типа. Рассмотрим понятие обучающее компьютерное тестирование (ОКТ), под которым будем понимать такую систему КТ, которая ориентирована на достижение оптимальных показателей обучения для отдельного пользователя посредством тесной интеграции с ЭУК, комплексной оценки знаний и механизма адаптации [Углев, 2007а; 2007б]. Основное отличие ОКТ от классического подхода КТ заключается в том, что в основу процесса контроля закладывается цель обучения 7. Основные положения методики ОКТ подробно рассмотрены в ряде работ [Углев, 2006б], поэтому здесь следует уточнить такие аспекты ОКТ, как особенность интеграции обучающих тестов с ЭУК и реализация механизма индивидуализации в АОС. Сначала остановимся на вопросе описания ОКТ в составе АОС.
Проектирование эффективно работающей АОС подразумевает наличие правил и методов описания взаимодействия ее различных компонентов. Поэтому структура модели дисциплины (метаинформации об ЭУК) нуждается в конкретизации. Исходя из фактической структуры данных (см. рис. 2) и дополнительного уровня реализации, в АОС должны быть предусмотрены формальные методы описания как дидактических единиц, так и контрольного материала (обучающих тестов), взаимодействующих через модель курса [Углев, 2007в]. На наш взгляд, взаимосвязь дидактических единиц с пространством терминов и набором тестовых заданий можно представить в виде семантической сети. Ее формирование определяется совокупностью связей взаимодействия множеств D и T следующим образом: термины связываются с каждой дидактической единицей и компонентами банка тестовых заданий по отдельности; тестовые задания закрепляются за каждым элементом соответствующего учебного материала, а не за разделом из R.
6 Пугачев А. А. Высокоуровневое, специализированное программное обеспечение, пакет eCourse Publisher (http://www.grnm.ru/ articles.html).
7 К сожалению, какой бы богатый опыт не был наработан в области программированного обучения, представления разработчиков систем АОС и КТ о том, что такое обучающее тестирование и как его следует реализовы-вать, поражает упорным следованием канонам парадигмы итогового тестирования в ущерб образовательному процессу. До сих пор эта область тестирования остается наименее изученной [Аванесов, 1994; Углев, 2008б].
Задача адаптации, реализуемая стратегией предъявления материала курса и (1), требует специальной структуры данных и обучающих тестов. Каждое тестовое задание, хранящееся в базе данных АОС, можно отнести к конкретному подразделу ЭУК через принадлежность его элементам. Таким образом, все характеристики, которые имеет подраздел (уровень освоения, вид работы, соответствие цели изучения), автоматически становятся применимы и к отдельным тестовым заданиям (которые можно переопределить). Задания теста так же дополняется индивидуальными признаками: вид тестового задания, подсказка, уровень сложности, связь с дидактическим материалом и ключевыми терминами.
Структура курса определяет структурный состав тестовой выборки (ТВ), т. е. набора тестовых заданий, которые включаются во множество предъявляемых пользователю вопросов при очередном проведении процесса тестирования. Благодаря заранее известным цели обучения и текущей оценке уровня знаний, в модели курса осуществляется подстройка стратегии предъявления учебного материала и наполнения ТВ заданиями. Для этого используется
эталонное состояние вектора к, сформированного для каждой цели, и соотношение разделов, позволяющих инициализировать начальное состояние обучающего теста. Заранее настраиваемые разработчиком параметрами ОКТ будут являться объем ТВ и нормативный баланс разделов курса в ТВ.
Из приведенной структуры следует, что обучающий тест должен обладать таким же составом и набором связей, что и реализация ЭУК для отдельно взятой цели. При этом от корректности формирования модели курса будет зависеть скорость достижения тех целей, которые были выбраны обучаемым при записи на ЭУК.
Прежде чем перейти к рассмотрению процесса адаптации, следует сказать несколько слов об эффективности методов проведения ОКТ в АОС. Опираясь на содержимое модели курса следует отметить, что для автоматической коррекции индивидуальной траектории обучения не достаточно оценивать уровень знаний, опираясь исключительно на сумму баллов решенного теста. Требуется расширить поле учитываемых при определении уровня знаний факторов, включив анализ результатов обработки семантической структуры курса, динамику обучения и параметры самого процесса тестирования [Углев, Устинов, 2007].
Анализ структуры курса нацелен на то, чтобы учитывать не только сложность ТВ, но и возможность угадывания верных ответов на тестовые задания, а также проверять силу причинно-следственных зависимостей материала в разрезе разделов, дидактических единиц и понятийного аппарата изучаемого курса.
Динамика обучения предполагает изменение состояния знаний обучаемого (к) по ходу освоения курса. Это позволяет с определенной долей достоверности судить о скорости освоения материала, интенсивности самообучения, случайности ошибок в определенных разделах теста, опираясь на статистику работы с обучающим тестом [Углев, 2006].
Учет параметров процесса тестирования может дать много полезного для оценивания знаний и учебно-контрольного материала. В первую очередь, это данные о скорости решения тестовых заданий, распределения верных и пропущенных ответов, процент используемого времени, факты просмотра (ознакомление без решения) и прерывания теста. Сюда включается и анализ адекватности начальных настроек системы КТ (число задаваемых вопросов, нормативное время, алгоритм выбора вопросов из банка тестовых заданий) [Углев, Устинов, 2006]. Очевидно, что анализ такого количества факторов при оценивании результатов теста подразумевает наличие сложного и продуманного механизма обработки и вывода информации. Особенно важно, чтобы данный подход был эффективен не только для индивидуализации самого теста (тестовой выборки), но и при формировании стратегии предъявления учебного материала.
Адаптация материала ЭУК через обучающие тесты
При обсуждении процесса адаптации следует учитывать некоторые особенности автоматизированного (самостоятельного) обучения. Во-первых, консультации с педагогом обычно носят краткий и несистематичный характер (даже при дистанционном обучении через Интернет). Во-вторых, стремление пользователя сдать очередной этап обучения посредством теста требует проверки знаний целого комплекса дидактических единиц за одно контрольное
мероприятие 8. В-третьих, для формирования целостного восприятия курса требуется наличие возможности доступа сразу ко всем элементам ЭУК, что усложняет состав и объем ТВ, а также методы анализа результатов обучающего тестирования.
Рассматривая структуру АОС, все ее компоненты можно разделить на три категории: содержательной, координирующей и обеспечивающей. К первой можно отнести содержимое ЭУК (включая интегрируемый материал) и банк обучающих тестовых заданий; ко второй -модели курса, обучаемого, подсистему обучения (планирование стратегии и модуль предъявления учебного материала), подсистему ОКТ, модуль анализа данных; третью категорию будут формировать компоненты, отвечающие за конструирование ЭУК и ОКТ, администрирование, генерацию отчетов и пр. Нас больше всего интересует вторая группа, а именно взаимосвязь ее компонентов при реализации индивидуальной траектории обучения.
При таком подходе к структуре компонентов АОС будет рационально расширить возможности обучающих систем. В число дополнительных функций, затрагивающих не только АОС, как в 9[Пугачев], но и систему КТ, включим следующие:
• представление учебного и словарного материалов в виде семантической сети;
• реализация модели обучаемого и предметной области;
• разработка алгоритма адаптации учебного и тестового материала, относительно цели обучения;
• разработка гибкой методологии, позволяющей повысить адекватность диагностики знаний обучаемого.
На практике, даже в системах eCourse Publisher 10 и АСТ [Тягунова, 2003], адаптация теста, как и самого алгоритма предъявления учебного материала, осуществляется без глубокого анализа причинно-следственных связей структуры курса и не учитывает дифференциацию целей обучения.
Процесс адаптации, как инструмент эффективного управления индивидуальной траекторией освоения учебного материала, на наш взгляд, в своей работе должен опираться на следующие элементы:
1. Параметры отдельных тестовых заданий: сложность априорная, сложность апостериорная, вид задания (теоретический, практический, комбинированный), форма задания и пр.
2. Параметры баланса разделов теста: число вопросов на раздел, соотношение разделов в ТВ, семантические связи между разделами ЭУК, принадлежность раздела к числу изученных на момент тестирования и т. д.
3. Параметры настройки системы КТ: время тестирования, норма времени на одно задание, длинна ТВ, метод выбора вопросов из банка тестовых заданий 11, ограничение по числу попыток тестирования, набор оценочных шкал и алгоритмов их преобразования.
4. Задачи обучаемого: цель обучения, цель контроля, расхождение текущего и желаемого состояний знаний обучаемого.
Рассмотрим механизм автоматизированной подстройки стратегии обучения (адаптации). Критерием адаптации будет выбрано отношение (1), подразумевающее достижение оптимального эффекта работы пользователя с ЭУК и ОКТ для изучения курса [Углев, 2006а]. При этом важно раскрыть следующие аспекты.
• Как осуществляется оценивание результатов прохождения теста?
• Каким образом окт взаимодействует с дидактическими единицами?
• Как ускорить процесс освоения материала за счет адаптации тв к знаниям обучаемого?
• Как совместить процессы оценивания и адаптации в рамках одной аос?
8 Модели Н. Краудера или Б. Скиннера в таких ситуациях не достаточно эффективны, так как наличие сложного теоретического материала не позволяет эффективно разбить курс на элементарные части [Чепегин, 1999]. В результате проверка кратковременной памяти и блокировка перемещения по курсу становятся не рациональны при описании в АОС многих специальных дисциплин.
9 Пугачев А. А. Высокоуровневое, специализированное программное обеспечение, пакет eCourse Publisher (http://www.grnm.ru/ articles.html).
10 Там же.
11 Подавляющее большинство авторов методик КТ подчеркивают важность наличия механизма случайного выбора вопросов при формировании ТВ. При этом они не предлагают обоснованных алгоритмов формирования ТВ, оперируя упрощенной структурой банка тестовых заданий.
• Как произвести оптимизацию предъявления учебного материала?
• Как осуществить прямую и косвенную корректировку траектории обучения?
Рассмотри данные аспекты по порядку. Оценивание текущего уровня знаний обучаемого,
исходя из предложенной структуры курса, состава обучающего теста и модели дисциплины, должно носить комплексный характер: неоднозначность и противоречивость данных, которые могут появиться при различных «внештатных» ситуациях, требуют адекватного множества вариантов реакции АОС. Для этого необходимо осуществлять анализ сразу целого комплекса факторов, имеющих различный вклад при выявлении итогового балла. Отметим, что этот процесс проблематично представить в аналитической форме, поэтому рационально использовать стратегию продукционного вывода. На наш взгляд, наилучшим выбором технологии обработки данных будет экспертный анализ (экспертная система) [Углев, 2006б; Давыдова, 2008; Протасов, 2003]. С ее помощью можно формализовать процесс оценивания, воспользовавшись опытом и знаниями работников сферы образования (экспертов).
Вопрос интеграции тестовых заданий с дидактическими единицами носит концептуальный характер. Как уже было сказано, основной целью ОКТ должно быть обучение, поэтому требуется обеспечить переход из ОКТ сразу к тому дидактическому материалу, который вызывает у обучаемого затруднение. При этом переход должен осуществлять сам пользователь, выбирающий из рекомендуемого для повторения материала наиболее для него актуальный (отдельные термины, разделы курса, задачи и пр.). Это достигается за счет привязки каждого задания теста к дидактической единице курса (учебному материалу) и набору используемых терминов. В этой ситуации не следует излишне детализировать связи, так как многие из них можно получить из модели курса автоматически, но и игнорировать возможность целенаправленного перехода не рационально. Таким образом, при формировании ЭУК отделение структур контрольного и учебного материалов является не только методологически не оправданным, но и препятствующим обучению.
Повышение обучающего эффекта от использования ОКТ можно добиться, организовав структурную адаптацию самой ТВ по (1), демонстрирующую еще одну особенность обучающего тестирования. Процесс формирования ТВ должен опираться не только на цель обучения и структуру ЭУК, но и на текущие достижения пользователя: каждая следующая ТВ должна учитывать уровень знаний каждого раздела дисциплины, изменяя баланс их соотношения. Подобная организация обратной связи приведет к усилению мощности тех разделов тестовой выборки, в которых пользователь проявил меньше знаний. Но не стоит подходить к процессу адаптации упрощенно, как это принято при адаптации ТВ в других методиках КТ: где ошибок больше, там и увеличим число вопросов. Здесь следует подходить взвешенно: увеличивать нужно мощность тех разделов в ТВ, которые изучены недостаточно полно и приводят к дальнейшим ошибкам в других разделах. Поэтому экспертный анализ причинно-следственных связей взаимодействия учебного материала должен занимать одно из ведущих мест при адаптации ТВ. О качестве обучения с использованием ОКТ можно судить по критериям надежности оценки, скорости обучения и времени тестирования.
Возникает уместный вопрос: как адекватно оценивать знания, если структура ТВ меняется, а пользователь получает подсказки и возможность выхода в учебный курс? Для его разрешения следует предусмотреть два режима тестирования: контрольный и обучающий. Контрольный режим имеет стабильную структуру тестовой выборки, определяемую вектором Н, и не предусматривает получения вспомогательного материала. Обучающий режим предусматривает все виды помощи, включая переход в ЭУК. Таким образом, адаптация ТВ осуществляется в обучающем режиме по результатам прохождения теста в контрольном режиме. Поэтому активная позиция обучаемого, стремящегося после проверки собственных знаний осуществить тренировку и повторение материала, является одним из ключевых элементов освоения ЭУК.
Процесс оптимизации предъявления учебного материала осуществляется в два этапа. Первый этап заключается в оптимизации начальной компоновки учебного курса из множества элементов уровня В относительно цели работы пользователя с ЭУК. Приведенные в первой части статьи три целевых формы работы с курсом дают различные наборы дидактических единиц в составе реализации ЭУК. Опираясь на семантическую связь внутри учебного материала и настройки модели курса, автоматически выбирается такая последовательность
изложения дидактических единиц, которая отражает нужную цель в разрезе параметров важности, наследственности, трудности (специализации) и вида материала [Углев, 2008а]. Все эти настройки извлекаются из семантических связей как показано, например, на рис. 3.
Рис. 3. Пример взаимосвязей материала внутри реализации ЭУК
На рисунке видно, что между элементами множества В, принадлежащих конкретной реализации ЭУК, устанавливается как система прямых связей, служащих для структурирования последовательности материала, так и обратных связей, отражающих семантическую зависимость. Все учебные элементы сгруппированы по принадлежности к одному из четырех разделов, но их индексы могут принципиально не совпадать с теми, под которыми они хранятся в структуре данных АОС (см. рис. 2.). Тот же принцип относится и к наборам тестовых заданий, прикрепленным к каждой дидактической единице.
Второй этап рассматриваемого аспекта происходит аналогично процессу адаптации ТВ: пройдя очередной контроль, экспертная система АОС оценивает Н и принимает решение по поводу того, какие разделы пользователь знает хорошо, какие слабо, а какие он не знает по причине плохого освоения других разделов (эти данные можно отследить по структуре семантических связей и статистики работы с ЭУК). Таким образом, всегда можно автоматически выработать ряд рекомендаций, учитывая зависимость учебного материала друг от друга (см. рис. 3) и цели изучения дисциплины. В этом случае важную роль в структуре АОС играют модель курса, база знаний экспертной системы и ОКТ.
Оптимизация траектории индивидуального обучения может проявляться двумя способами: прямым и косвенным. Прямой метод заключается в том, что пользователь проходит обучение; после чего проверяет свои знания и, по результатам выработанных системой рекомендаций, осуществляет повторное обращение к указанным АОС частям ЭУК. Косвенный метод базируется на том, что обращение к ЭУК происходит из подсистемы ОКТ в процессе тестирования. Изучив курс, пользователь переходит к контрольному тестированию; затем осуществляет цикл тренировок с «точечными» переходами к тому учебному материалу, который вызвал у него затруднения при решении очередного тестового задания; после этого снова обращается к контрольному тестированию и повторяет этот цикл до тех пор, пока не достигнет необходимого уровня знания учебного материала. Для обеих стратегий важен результат работы подсистемы ОКТ по анализу причинно-следственных связей в семантической сети модели курса и генерации индивидуальных рекомендаций по работе с ЭУК (подробнее см. в: [^1еу, 8ашгта, 2008]).
Обеспечивая функционирование предложенных методов интеллектуального анализа, данные из модели курса, модели обучаемого и процесса тестирования обрабатываются и подаются на
вход экспертной системы. Здесь учитываются как различные конфигурации курса, построенные относительно конкретных целей обучения, так и динамика освоения дидактического материала. При этом база знаний формируется для абстрактного курса, а учет особенностей целей изучения и другие параметры загружаются из базы данных АОС, где хранятся все переменные структуры ЭУК и пользователей. Однако рассмотрение структуры экспертной системы и базы знаний - тема, выходящая за рамки исследуемого здесь вопроса.
Результаты исследования и выводы
Предложенная в данной работе методика индивидуализации предъявления учебного и тестового материалов ориентированна на наличие в АОС сложной многофункциональной структуры ее компонентов. Их взаимосвязь требует наличия развитых модели курса и базы знаний, которые должны нести информацию о процессе обучения и тестирования. Комплексный подход сочетания возможностей ЭУК и ОКТ должен стать основой для выработки эффективного и обоснованного обучающего воздействия с учетом целей пользователя.
Важно отметить, что от того, как интерпретировать термин обучающее тестирование, будут существенно зависеть особенности проведения контрольных мероприятий и в частности техническая реализация системы КТ. Возможность учитывать цели пользователя при работе с ЭУК, а так же расширить применение механизмов статистической и интеллектуальной обработки данных о пользователе и курсе при ОКТ - это цель, которую следует рекомендовать разработчикам, создающим современные АОС.
Часть из рассматриваемых элементов методики ОКТ реализована и апробирована авторами в первой версии программного пакета СиТест [Углев, 2006в]. Интеграция экспертной системы с тестирующим пакетом осуществляется за счет встраиваемого программного модуля Ат_тоёи1. Подготавливаемые в программе РЬМ_ВшЫег продукционные экспертные системы с нечеткой логикой подключаются к системе КТ как внешние модули и могут быть независимо адаптированы для нужд конкретного учебного процесса. На данном этапе исследования осуществляется создание второй версии программы СиТест, реализующей все предложенные здесь методы, а также ведется работа по формированию и оптимизации баз знаний.
Подводя итог, следует отметить, что задача повышения качества обучения при дистанционном или самостоятельном освоении электронных курсов, при всей ее богатой истории, до сих пор в полном объеме не решена. Поэтому использование возможностей обучающего компьютерного тестирования как инструмента индивидуализации траектории обучения может стать одним из подходов, позволяющих повысить эффективность автоматизированного обучения.
Список литературы
Аванесов В. С. Методические и теоретические основы тестового педагогического контроля: Дис. ... д-ра пед. наук. М., 1994. 326 с.
Беспалько В. П. Программированное обучение. Дидактические основы. М.: Высшая школа, 1970. 300 с.
Винер Н. Кибернетика или управление и связь в животном и машине. М.: Советское радио, 1968. 330 с.
Гальперин П. Я. Программированное обучение и задачи коренного усовершенствования методов обучения // К теории программированного обучения. М., 1967.
Данилова С. Д. Адаптивная, нечеткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения: Дис. ... канд. техн. наук. М., 2005.153 с.
Давыдова Н. А. Применение адаптивных интеллектуальных алгоритмов в процессе обучения // Новые информационные технологии в образовании: Материалы Междунар. науч.-практ. конф.: В 2 ч. Екатеринбург, 2008. Ч. 1. С. 73-75.
Захаров А. А., Кравцов О. В., Новиков Е. А. и др. Система электронного тестирования. Разработка тестовых материалов и компьютерное тестирование: Учеб.-метод. пособие. Красноярск: ИПЦ КГТУ, 2005. 68 c.
Половко А. М. Компьютерные технологии оценки знаний методами тестирования // Информационные технологии. 2004, № 8. С. 46-51.
Тягунова Т. Н. Философия компьютерного тестирования. М.: МГУП, 2003. 246 с.
Углев В. А. Обучающее компьютерное тестирование // Теоретические и прикладные вопросы современных информационных технологий: Материалы VIII Всерос. науч.-техн. конф. Улан-Удэ: ВСГТУ, 2007а. С. 312-316.
Углев В. А. Комплексный подход к процессу оценивания при обучающем компьютерном тестировании // Теория и практика измерения латентных переменных в образовании: Материалы 1Х Всерос. науч.-практ. конф. Славянск-на-Кубани: СГПИ, 2007б. С. 151-155.
Углев В. А. Представление знаний в задачах автоматизированного обучения // Системы и модели: границы интерпретации: Материалы Всерос. науч. конф. Томск: ТГПУ, 2007в. С.190-192.
Углев В. А., Устинов В. А. К вопросу об эффективности анализа факторов при обучающем компьютерном тестировании // Информационные технологии в образовании и науке: Материалы Всерос. науч.-техн. конф. М.: МФА, 2007. Ч. 1. С. 203-208.
Углев В. А. Модель оценивания при обучающем адаптивном компьютерном тестировании // Информационно-вычислительные технологии и их приложения: Сб. ст. V Международной науч.-техн. конф. Пенза: РИО ПГСХА, 2006. С. 312-315.
Углев В. А., Устинов В. А. Оценка возможностей случайных тестовых выборок // Вестн. Хакасского технического института - филиала КГТУ. 2006, № 21. C. 260-269.
Углев В.А. Модель адаптации при обучающем адаптивном компьютерном тестировании // Теоретические и прикладные вопросы современных информационных технологий: Материалы Всерос. науч.-техн. конф. Улан-Удэ: ВСГТУ, 2006а. C. 238-242.
Углев В. А. Обучающее адаптивное тестирование с применением экспертных систем // Информационные технологии в образовании и науке: Материалы Всерос. науч.-практ. конф: В 3 ч. М.: МФА, 2006б. Ч. 3. С. 606-611.
Углев В. А. Система обучающего адаптивного компьютерного тестирования. М.: ОФАП, 2006в (номер госрегистрации (ЕСПД) 03524577.01414-01).
Углев В. А. Модель индивидуализации траектории обучения в автоматизированных обучающих системах с применением обучающих тестов и экспертных систем // Нейроинформа-тика, ее приложения и анализ данных: XVI Всероссийский семинар. Красноярск, 2008а. С. 153-157.
Углев В. А. Проблема целеполагания при организации компьютерного тестирования для процесса обучения // Системный анализ в проектировании и управлении: Материалы XII Международной науч.-практ. конф.: В 3 ч. СПб.: Политехн. ун-т., 2008б. Ч. 3. С. 132-133.
Устинов В. А., Углев В. А. Структура электронного учебного курса // Информатика и образование. 2007. № 8, С. 123-125.
Цибульский Г. М., Кутьин А. М., Герасимова Е. И. и др. Автоматизированные обучающие системы // Математические методы и моделирование. Вестник КГТУ. Красноярск. 2004а. Вып. 33. С. 267-286.
Uglev V.A., Samrina F.I. Using of Possibilities in Learning Tests for Individualization of Displaying Material in Electronic Education Courses // Modern Techniques and Technologies: The fourteenth International Scientific and Practical Conference of Students, Postgraduates and Young Scientists (MTT'2008), Tomsk, Tomsk Polytechnic University. Tomsk: TPU Press, 2008а. P.96-100.
Протасов А. С. Создание интеллектуальных средств адаптивного тестирования (www.bitpro.ru/ito/2003/VII/VII-0-2057.html).
Цибульский Г. М., Герасимова Е.И., Ерошин В.А. Модели обучения автоматизированных обучающих систем // Системотехника. 2004б. № 2 (http://systech.miem.edu.ru/2004/n2/ Cibulskiy.htm).
Чепегин В. И. ПСС - система обучения в стиле «Попробуй свои силы» (http://wwwis.win.tue.nl/asum99/).
Материал поступил в редколлегию 18.04.2009
V. A. Uglev, V. A. Ustinov, B. S. Dobronets
MODEL OF STRUCTURAL ADAPTATION OF ELECTRONIC EDUCATION COURSES BY USING LEARNING COMPUTER TESTING
Introduced the term «Learning Computer Testing» as a leading instrument of strategy individualization of displaying learning materials in Electronic Education Courses in the process distance or independent education. The discussed question of integration of Electronic Education Courses with Learning Computer Tests and adaptation one of education processes and controlling rely on the structural model of the course.
Keywords: learning testing, computer testing, automated education system, electronic education course, adaptation, person-oriented approach, individualization of education trajectory, structural model of the course.
