CC BY
93
электронное научно-техническое издание
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС 77 - 48211. Государственная регистрация №0421200025. ISSN 1994-0408
77-48211/434633 Метод и алгоритм диагностики уровня усвоения учебного материала на основе учета семантико-логических взаимосвязей контрольных заданий
Инженерное образование # 08, август 2012 автор: Макаров А. В.
УДК 378:53+004.04:004.822
Муромский институт (филиал) Владимирского государственного университета
им. А.Г. и Н.Г. Столетовых
оуег.рЬ@§таП. сот
Введение
Сегодняшний уровень развития информационно-коммуникационных технологий определяет широчайший круг задач, успешно решаемых с их использованием. За последнее десятилетие значительно возросла доля применения информационных технологий (ИТ) в решении задач, связанных с образовательной областью. Все чаще задачи обучения, не предъявляющие критичные требования к прямому контакту преподаватель-ученик, решаются средствами информационно-образовательных систем.
В общем виде процесс обучения, моделируемый в рамках информационно-образовательной системы, можно представить в виде простейшей замкнутой последовательности шагов, изображенной на рисунке 1. Одним из важнейших этапов представленной последовательности, от достоверности и полноты результатов выполнения которого напрямую зависит то, что и в какой последовательности будет изучать ученик, является этап диагностики уровня усвоения учебного материала. Помимо этого стоит отметить тот факт, что ИТ в области образования наиболее часто применяются в решении именно задач диагностики усвоения учебного материала.
Диагностика уровни yCUDCHHF учебного материала Построен и е/корректировка индивидуальной образовательной траектории Компиляция изучаемого W. Изучены
г учойнеп) материала V Mdini
Рисунок 1 — Замкнутая последовательность шагов процесса обучения
Исключительная значимость качества выполнения процедур диагностики уровня усвоения учебного материала, как отдельного образовательного инструмента, так и в составе информационно-образовательной системы, определяет актуальность исследования вопросов, связанных с повышением степени объективированности и расширением полноты результатов рассматриваемых процедур диагностики.
Базовая автоматизированная диагностика уровня усвоения учебного материала содержит в себе следующие этапы [4, 6]:
- определение структуры и содержания контрольно-измерительного материала;
- проведение непосредственно процедуры диагностики и сохранение соответствующих результатов;
- анализ результатов диагностики и определение количественных и качественных параметров уровня усвоения учебного материала.
В роли определяющего элемента процедуры диагностики уровня усвоения учебного материала выступает структура, содержание контрольно-измерительного материала, а также методы и алгоритмы расчета диагностических показателей, включая количественные оценки верности решения контрольных заданий. При этом от выбора метода структурирования контрольных заданий напрямую зависит насколько может быть в дальнейшем реализованы управление процессом выполнения процедуры диагностики и количественного и качественного анализа ее результатов.
1. Обзор и анализ современных методов диагностики уровня усвоения учебного материала
Рассмотрим современные методы диагностики уровня усвоения учебного материала с точки зрения применения в них подходов к структурированию контрольно-измерительного материала и алгоритмов расчета количественной оценки верности решения контрольного задания. Существующие методы структурирования контрольно-измерительного материала [8, 9], получившие широкое распространение в различных информационно-образовательных системах, сосредоточены в своей массе на группировку совокупности единиц контрольно-измерительного материала на иерархию подмножеств. Как правило, каждое из подмножеств тестовых заданий определяется соответствующей усредненной сложностью, содержащихся в нем заданий, что позволяет по результатам прохождения процедуры диагностики делать некоторые качественные выводы об уровне владения материалом.
Анализ работ [6, 7, 8] позволяет говорить о слабой освещенности вопроса структурирования контрольно -измерительных материалов в рамках методов диагностики уровня усвоения учебного материала. В значительной степени современные исследования в области диагностики учащихся ориентированы на решение задач управления процессом диагностики, его адаптации к учащемуся [3, 9]. Обзор современных источников, посвященных тестовым методам контроля знаний, позволяет говорить о досаточно глубокой проработанности вопроса анализа содержательной составляющей контрольно-измерительного материала [11, 12]. Вместе с этим к ключевым недостаткам существующих на сегодняшний день и широко применяемых в информационно-образовательных системах автоматизированных методов диагностики уровня усвоения учебного материала следует отнести [1, 3, 5]:
- высокую трудоемкость ручного формирования структуры и содержания контрольно-измерительных материалов;
- низкую объективированность результатов диагностики при содержании в составе контрольно -измерительного материала контрольных вопросов закрытого типа;
- недостаточное сохранение информации о процессе прохождения учеником процедуры диагностики;
- слабые возможности по обеспечению семантико-структурного анализа результатов диагностики;
- ориентированность анализа результатов процедуры диагностики на получение простейших количественных оценок уровня владения материалом;
- недостаточная мотивация учащегося к непосредственно изучению учебного материала — вместо этого ученик нацелен на освоение техники решения отдельных контрольных заданий, что, в конечном счете, нарушает смысловую цепочку «контроль как мотивация к изучению».
С ростом востребованности информационно-образовательных систем, в частности направленных на решение задач дистанционного обучения, наблюдается закономерная актуализация вопросов, связанных с проектированием и практической разработкой и вне дрением методов и алгоритмов диагностики уровня усвоения учебного материала. Зачастую рассматриваемые недостатки традиционных подходов к разработке методов диагностики мешают их регулярному использованию в учебном процессе и нередко вызывают недовольство конечных пользователей [1, 3, 7]. Исходя из этого, актуальной является задача разработки метода диагностики уровня усвоения учебного материала, позволяющего повысить степень объективированности количественной оценки диагностики и расширить область качественного анализа ее результатов.
Анализ недостатков существующих методов автоматизированной диагностики уровня усвоения учебного материала позволяет установить, что основные причины их возникновения напрямую связаны с тем, насколько качественно спроектирована и реализована модель контрольно-измерительного материала. От этого непосредственно зависит эффективность методов сохранения результатов диагностики и алгоритмов по их анализу и получению количественных и качественных оценок степени владения материалом.
Целью настоящей работы является разработка метода диагностики уровня усвоения учебного материала, направленного на повышение степени объективированности количественной оценки верности решения контрольных заданий и расширения множества качественных показателей результатов процедуры контроля посредством учета смыслового контекста единиц контрольно-измерительного материала.
2. Модель контрольно-измерительного материала
При проектировании модели контрольно-измерительного материала следует уделять особое внимание структурной специфике тестовых заданий, представляющих собой одну из разновидностей дидактических единиц. Ключевой особенностью учебного материала как информации, в том числе и контрольно-измерительного материала, является его сетевая структура, образованная смысловыми взаимосвязями между учебными единицами. С математической точки зрения подобная структура представляет собой взвешенный ориентированный граф.
тношение »[ ГЧ I—отношение
Рисунок 2 —Взаимосвязанность единиц контрольно-измерительного материала
Чу
Закономерно предположить, что подобно единицами теоретического учебного материала, между единицами контрольно-измерительного материала также существуют семантико-логические взаимосвязи, определяющие смысловые и иерархические отношения между ними (Рисунок 2) [2]. При этом, как правило, базовым отношением между единицами контрольно -измерительного
материала является отношение типа «решение основывается на». Для случая, представленного на рисунке 2 — «решение задачи (А) основывается на умении решать задачу (В)» и так далее.
Рассмотрим простейший случай распределения верных/неверных решений для трех заданий, входящих в состав контрольно-измерительного материала и связанных между собой семантико-логическими отношения типа «решение основывается на» (Рисунок 3).
а) б) в)
Рисунок 3 — Элементарные распределения решений связанных заданий
В случае а) и б) на рисунке 3 контрольное задание под номер 3 является более сложным, комплексным по отношению к контрольным заданиям с номерами 1 и 2. Иными словами, решение задачи 3 основывается на умении успешно решать задачи 1 и 2, что подтверждается установленными отношениями между ними. Распределение решений контрольных заданий в случае а) и г) наглядно иллюстрирует возникающее противоречие, когда более сложное задание решено «верно», однако те задания, на которых основывается решение более сложного, решены «неверно». При увеличении числа связанных заданий возрастает достоверность определения «угадывания» верного ответа, в случае закрытого типа задания. В случае в) и г), наоборот, задания 1 и 2 являютс я более сложными, чем задание 3. Случаи б) и в) позволяют в простейшем виде проиллюстрировать сложности, возникающие у ученика при синтезе более сложного решения из более простых.
С целью повышения объективированности результатов диагностики уровня усвоения учебного материала необходимо при их расчете принимать во внимание следующие параметры, получение которых возможно при наличии семантико-логических взаимосвязей между единицами контрольно-измерительного материала:
- уровень достоверности количественной оценки верности решения каждой отдельно взятой задачи;
- количественная оценка способности получения верного решения более сложной задачи на основе решений более простых задач.
Исходя из этого, в качестве основы совершенствования методов диагностики уровня усвоения учебного материала выдвинута следующая гипотеза: степень объективированности и достоверности количественной оценки качества решения контрольного задания будет повышена, если при ее расчете учитывать семантико-логические взаимосвязи задания с другими контрольными заданиями, входящими в состав контрольно-измерительного материала. На основе выдвинутой гипотезы предложена модель контрольно-измерительного материала, базовое состояние (начальный паттерн) приведено на рисунке 4.
Рисунок 4 — Базовое состояние модели контрольно-измерительного материала Предлагаемая модель, представляющая собой взвешенный ориентированный граф, образована двумя множествами: множеством
Т I
контрольных заданий и множеством семантико-логических взаимосвязей . Контрольное задание содержит два обязательных
Т И"
параметра: — индикатор верности решения задания и — вес (балл) задания. Каждое контрольное задание может быть связано с некоторым числом других контрольных заданий. Степень взаимосвязи контрольных заданий определяется весом соответствующего ребра.
Математическое описание модели имеет следующий вид. Пусть ^ ^' ^ ^*есть ориентированный граф, вершины которого
т ь
— множество контрольных заданий , а ребра — множество семантико-логических взаимосвязей . Тогда множество контрольных заданий:
где параметры контрольных заданий описываются следующим образом:
1; ~ е {од}, таг е N.
Относительно каждого контрольного задания отличают по направлению семантико-логического отношения множество
Т 1
контрольных заданий 1П, решение которых основывается на решении выбранного задания I, и множество контрольных заданий
т +
умение решать которые обеспечивают решение выбранного задания I:
т с: т
Чи + * л
^In Ыпъ^Ы^'Ьаь* Т0ит £ Т,
1 Out tt Out, * * 4>i«а* *Outm
L t
Множество семантико-логических взаимосвязей относительно контрольного задания 1есть объединение множеств исходящих ^ 1й1 и входящих ^ О VJ Ссемантико-логических взаимосвязей:
ь — Oi * Ц* "*
Чя ~ 0*я#' ко*' ^ "" ' W }'
^Out {but, ' ^Oiitft' ^Outfl J' ^Outrt, }'
iPl
Ql NAq GNAq -t OAp < qj,
\ £ Ql
Определим, что итоговый балл, рассчитываемый для каждого контрольного задания I, зависит от верности решения непосредственно **
контрольного задания Ь, а также правильности решения смежных ему контрольных задании и степени их взаимосвязанности с заданием I..
Базовыми параметрами модели контрольно-измерительного материала являются:
- множество контрольных заданий (узлов графа);
- множество семантико-логических взаимосвязей между контрольными заданиями (ребра графа);
- множество весов (количественная мера уровня сложности) контрольных заданий;
- множество весов (количественная мера степени важности) семантико-логических взаимосвязей;
- множество индикаторов правильности решения отдельного контрольного задания.
3. Метод диагностики уровня усвоения учебного материала
Процедура диагностики уровня усвоения учебного материала согласно предлагаемому методу заключается в выполнении следующих шагов:
1. Осуществление отбора множества контрольных заданий, как основы контрольно-измерительного материала;
2. Определение весов (количественной меры сложности) каждого из контрольных заданий;
3. Установление семантико-логических взаимосвязей и их параметров между контрольными заданиями согласно педагогическим целям диагностики и смысловому контексту заданий;
4. Обеспечение работы учащегося с контрольно-измерительным материалом;
5. Сохранение результатов работы учащегося над решением контрольных заданий;
6. Определение степени верности решения каждого контрольного задания;
7. Расчет количественной оценки качества решения каждого контрольного задания на основе степени верности решения и сложности самого контрольного задания и смежных ему контрольных заданий, а также параметров семантико-логических взаимосвязей между ними;
8. Расчет интегральной количественной оценки уровня усвоения учебного материала, соответствующего содержанию и структуре контрольно-измерительного материала, как суммы количественных оценок качества решения всех единиц контрольно -измерительного материала.
1, Л в
Примем, что наличие исходящей семантико-логическои связи <от контрольного задания к контрольному заданию , означает —
В Л „ „ I п
решение задания основывается на решении задания () и количественной мерой этого отношения есть вес Т. На основании этого в количественной оценке правильности решения контрольного задания выделяется инвариантная (самостоятельная) часть задания и вариативная. Инвариантная составляющая не зависит от правильности решения смежных контрольных заданий, тогда как вариативная, наоборот, устанавливает зависимость итогового балла за контрольное задание от правильности решения смежных заданий и количественно равна сумме весов семантико-логических взаимосвязей задания [4].
Примем сумму пропорциональных составляющих инвариантной и вариативной частей оценки задания равной 1. Тогда необходимо установить следующее ограничение:
*тОии!
< 1
Графически выделение инвариантной и вариативной составляющих в итоговой количественной оценке решения контрольного задание представлено на рисунке 2.
Рисунок 5
— Инвариантная (а) и вариативная (б) составляющие в итоговой количественной оценке качества решения контрольного
задания
В ходе работы над определением характера числовых зависимостей между итоговым баллом за решение контрольного задания и количественными мерами семантико-логических взаимосвязей со смежными заданиями был предложен следующий алгоритм, реализующий снижение итогового балла пропорционально весам вариативных составляющих в случае неверного решения смежных контрольных заданий.
В общем виде конечный интегральный балл, как количественная мера уровня усвоения учебного материала, соответствующего
контрольным заданиям, есть величина , численно равная сумме баллов полученных учащимся за решение каждого контрольного задания:
Определим, что численно оценка решения отдельно взятого контрольного задания зависит от непосредственно верности решения самого контрольного задания и верности решения, смежных ему контрольных заданий.
Согласно принятому гипотезе о введении пропорциональных зависимостей количественной оценки решения контрольного задания в случае от решения смежных ему заданий определим:
- для расчета коэффициента пропорционального снижения итогового балла задания (коэффициент достоверности решения) в зависимости от параметров элементов множеств И и ^ 1Н :
(1)
- для расчета коэффициента пропорционального снижения итогового балла задания (коэффициент применимости) в зависимости от
Т I™
параметров элементов множеств
1 Ои^и ОиС:
(2)
т т
В зависимости от определяемых относительно каждого контрольного задания множеств 1И и Оу ^функция ^ ' ' принимает
О
% ? г т
при
при
при
при
; * ^ * ТгикИп{0,1), п. * ну * АррИапсеОги^С,I),
(3)
(4)
гХ; * wt¡ * Тги$Пп(6,{)* АрриапсеОШ(Сл£}-
(6)
4. Алгоритм расчета количественной оценки правильности решения заданий
На основании предлагаемого метода диагностики уровня усвоения учебного материала и установленных численных зависимостей (1) и (2), а также схемы расчета балла за решение контрольного задания (3), (4), (5) и (6) разработан алгоритм расчета количественной оценки решения заданий контрольно-измерительного материала, блок-схема которого изображена на рисунке 6.
Рисунок 6 — Блок-схема алгоритма расчета количественной оценки правильности решения заданий контрольно-измерительного
материала
5. Экспериментальные расчеты на базе разработанных метода и алгоритма
Рассмотрим простейший случай расчета количественной оценки решения заданий контрольно -измерительного материала. На рисунке 7 показан вариант состояния модели контрольно-измерительного материала для трех заданий.
Рисунок 7 — Простейшее состояние модели контрольно-измерительного материала
В случае, приведенной на рисунке 7, состояние модели определяется следующим:
- в состав контрольно-измерительного материала входят три контрольных задания: А, Ви С;
- сложность задания А — 10 баллов, сложность задания В — 20 баллов и задания С — 5 баллов;
- решение задания Вопирается на решение задания Аи количественно мера это зависимости равна 0,5;
- решение задания А опирается на решение задания Си количественно мера это зависимости равна 0,25;
Тогда результаты расчета количественной оценки решения заданий контрольно-измерительного материала для всех возможных вариантов исходов можно представить в виде таблицы, где значения R — расчет согласно предложенному методу и алгоритму, а S — просто суммирование баллов верно решенных контрольных заданий:
Таблица 1
# г(А) г(В) г(С) м(А) w(B) м(С) 1п Ои1 Я 8
1 0 0 0 10 20 5 0,5 0,25 0 0
2 0 0 1 10 20 5 0,5 0,25 3,75 5
3 0 1 0 10 20 5 0,5 0,25 10 20
4 0 1 1 10 20 5 0,5 0,25 13,75 25
5 1 0 0 10 20 5 0,5 0,25 3,75 10
6 1 0 1 10 20 5 0,5 0,25 10 15
7 1 1 0 10 20 5 0,5 0,25 27,5 30
8 1 1 1 10 20 5 0,5 0,25 35 35
Представленные в Таблице 1 результаты расчетов на основе предлагаемых метода и алгоритма и сравнения их с традиционным подходом к суммированию баллов за верно решенные задания удобно рассматривать в форме диаграммы:
40
35 30 25 20 15 10 5 0
27,5 30
25 Н
20
13,75 15 1
10 ■ 10 10 1
3,75 5 3,75 |
0 0 1 ■ 1
Рисунок 8 — Диаграмма сравнения результатов расчета количественной оценки правильности решения заданий контрольно -
измерительного материала
Заключение
В настоящей работе предложены метод и алгоритм диагностики уровня усвоения учебного материала предусматривающие структурирование единиц контрольно-измерительного материала посредством взвешенных семантико-логических взаимосвязей и расчет на их основе количественной оценки верности решения каждого контрольного задания. Анализ представленных результатов
диагностики уровня усвоения учебного материала в соответствии с предлагаемым методом и алгоритмом позволяет делать выводы о следующем:
- учет смыслового контекста единиц контрольно-измерительного материала, определяемого семантико-логическими взаимосвязями между контрольными заданиями, позволяет повысить гибкость управления педагогическими целями процедуры диагностики;
- расчет оценки качества решения контрольного задания с учетом параметров его семантико-логических взаимосвязей со смежными контрольными заданиями позволяет количественно учитывать достоверность ответа на контрольное задание и умение ученика синтезировать решение более сложных заданий, на основе простых.
Таким образом, результаты разработанных метода и алгоритма диагностики уровня усвоения учебного материала на основе учета семантико-логических взаимосвязей подтверждают выдвинутую гипотезу, а значит, являются состоятельными как решение задачи повышения объективированности количественных результатов автоматизированных методов и алгоритмов диагностики.
Литература
1. А.В. Макаров, А.Ф. Ан Концептуальные основы проектирования информационно-образовательной среды непрерывного физического образования // Современные проблемы науки и образования. - 2011. - № 6; URL: www.science-education.ru/100-5211 (дата обращения: 05.06.2012).
2. А.Ф. Ан, В.М. Соколов Теория и результаты анализа содержания курса физики в компетенстной модели выпускника технического вуза // Инновации в образовании. — 2011. № 7. С. 4-16.
3. З.Ш. Немсцверидзе Модели и методы проектирования программных систем анализа и контроля знаний // Дисс... канд. техн. Наук, М.: 2010 — 192 с.
4. J. Grundspenkis Concept Maps as Knowledge Assessment Tool: Results of Practical Use of Intelligent Knowledge Assessment System // Proceedings of the IADIS International Conference on Cognition and Exploratory Learning in Digital Age (Rome, Italy, November 20-22 2009).
- 2009. P. 258-266.
5. И.Х. Галеев, В.Г. Иванов, Н.В. Аристова, В.Г. Урядов Сравнительный анализ программных комплексов TestMaker и ACT-Test // Международный электронный журнал «Образовательные технологии и общество (EducationalTechnology & Society)» - 2007. - V. 10. -№3. - C.336-360. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/
journal. html
6. Н.О.Прокофьева Вопросы организации компьютерного контроля знаний // Меж-дународный электронный журнал «Образовательные технологии и общество (EducationalTechnology & Society)» - 2006. - Т.9. - №1. - C.433-440. - ISSN 1436-4522. URL:
http://ifets.ieee.org/russian/periodical/jouraal.html
7. В.В. Бурлай, Н.Е. Суфляева, Л.Р. Юренкова Контроль и оценка знаний студентов с использованием модульно-рейтинговой системы // Электронное научно-техническое издание «Наука и образование» - 2012. - №2 - ISSN 1994-0408. URL:
http://technomag.edu.ru/doc/323937.html
8. ЧелышковаМ.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос, 2002 г., 432 с.
9. Кузнецов А.В. Методика тестирования знаний и устранение случайных ошибок // Образовательные технологии и общество // Международный электронный журнал "Образовательные технологии и общество (EducationalTechnology & Society)" -2007, Т.10, №1, C.271-275.-ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
10. Афанасьев АН., Войт Н.Н. Разработка методов нечеткой параметрической адаптивной диагностики обучаемого инженера // Автоматизация процессов управления - 2009, №3, С. 51-56.
11. Сафаров Р.Х., Панищев О.Ю. Численное моделирование инвариантности оценки зна-ния относительно трудности тестовых заданий в рамках модели г. Раша // Образовательные технологии и общество (Educational Technology & Society). 2012. Т. 15. № 1. С. 424-435.
12. Аванесов В.С. Применение тестовых форм в RaschMeasurement // Педагогиче-
ские измерения, 2005, №4. С.3-20.
