CC BY
8ИЗ ОПЫТА РАБОТЫ
Д.А. ПЕЧНИКОВ D.A. PECHNIKOV
МОДЕЛЬ ТЕСТОВЫХ ЗАДАНИЙ
MODEL OF TEST TASKS
РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНОЙ ВЕРИФИКАЦИИ МЕТОДОВ ИНДИВИДУАЛЬНОЙ ОЦЕНКИ РЕЗУЛЬТАТОВ ВЫПОЛНЕНИЯ ТЕСТОВЫХ ЗАДАНИЙ В КОМПЬЮТЕРНЫХ СИСТЕМАХ ТЕСТИРОВАНИЯ МО РФ
THE RESULTS OF EXPERIMENTAL VERIFICATION METHODS OF INDIVIDUAL ASSESSMENT RESULTS IMPLEMENTATION OF TEST TASKS IN COMPUTER SYSTEMS TESTING OF DEFENSE OF THE RUSSIAN FEDERATION
Сведения об авторе. Печников Денис Андреевич - профессор кафедры кораблевождения Военного института (Военно-морского) ВУНЦ ВМФ «Военно-морская академия им. Адмирала Флота Советского Союза Н.Г. Кузнецова», подполковник, доктор технических наук, доцент (г. Санкт-Петербург).
Аннотация. В статье на основе данных психологии, педагогики, эргономики, квалиметрии, теории графов и теории информационных семантических систем описывается модель представления системы тестовых заданий в математическом обеспечении компьютерных систем тестирования военного назначения.. На основе этой модели представляются метод индивидуального оценивания результатов выполнения системы автономных ТЗ и метод оценивания результатов выполнения цепных ТЗ, а также приводятся результаты экспериментальной верификации этих методов, моделей и процедур.
Ключевые слова: обучение, системный анализ, тренажёры, тренажёрно-обучающие системы, компьютерные системы тестирования и обучения.
Information about the author. Denis Pechnikov - Professor of the Department of ship navigation at the Military Institute (Naval) of the VUNC of the Navy «Naval Academy Admiral of the Fleet of the Soviet Union N.G. Kuznetsov», lieutenant colonel, doctor of technical Sciences, associate Professor(St. Petersburg).
Summary. Based on data from psychology, pedagogy, ergonomics, qualimetry, graph theory, and the theory of information semantic systems, the article describes a model for representing a system of test tasks in the mathematical support of military computer testing systems. Based on this model, we present a method for individual evaluation of the results of the Autonomous TK system and a method for evaluating the results of chain TK, as well as the results of experimental verification of these methods, models and procedures.
Keywords: training, system analysis, simulators, train-ing systems, computer testing and training systems.
Ш Ш Тестирование может весьма эффективно продемонстриро-С С вать наличие ошибок, но безнадёжно неадекватно
^^ для демонстрации их отсутствия».
В человеческой деятельности содержание любого семантического объекта всегда многомерно, но одновременно может быть описано только в одном аспекте. Поэтому при выборе способа решения любой задачи все альтернативы должны быть представлены в виде логико-смысловой структуры, отображающей многомерный план
способа решения задачи, т.е. ту структуру причинно-следствен-
Эдсгер Вибе Дейкстра,
голландский учёный
ных связей, которая определяет все способы получения результата. На
этапе реализации решения задачи, наоборот, способ её решения должен быть представлен в виде линейной последовательности операций, т.е. в виде, отображающем одномерный план выражения деятельности.
МЕТОД ИНДИВИДУАЛЬНОГО ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ВЫПОЛНЕНИЯ СИСТЕМЫ АВТОНОМНЫХ ТЕСТОВЫХ ЗАДАНИЙ Пусть цель К текущего контроля декомпозирована на ряд подцелей Кф структура которых представлена на рис. (см. рис. 1а), а в соответствии с каждой из этих поставлено ТЗ К (см. рис. 1б).
Рис. 1. Схема формирования теста и оценки результатов его выполнения
Пусть получены результаты выполнения всех ТЗ Ку и оценена неупорядоченность (см. рис. 1в) каждого из этих результатов. Требуется определить обобщённую оценку неупорядоченности Q выполнения теста и оценку знаний испытуемого в традиционной 4-балльной шкале.
При квантификации общей цели К на подцели К структура системы единичных ТЗ всегда представляет собой дерево. При этом задание более низкого уровня всегда раскрывает тот познавательный объект, усвоение которого контролируется на более высоком уровне иерархии. В тесте ТЗ более низкого уровня иерархии«вкладываются» в задание более высокого уровня иерархии (см. рис. 1в). Поэтому для
оценки неупорядоченности выполнения всего теста целесообразно использовать известный в теории эффективности принцип «вложения», суть которого заключается в том, что при выборе решения принятый критерий в своём количественном выражении должен содержать показатели (критерии) эффективности, которые находятся на следующем нижнем уровне иерархии. Дадим более подробную формулировку принципа вложения применительно к системе автономных ТЗ при нумерации уровней иерархии дерева сверху вниз.
Пусть вершина Бу, расположенная на /-ом уровне иерархии дерева теста (см. рис. 2), раскрывает ¿-ый аспект объекта, фигурирующего в решении ТЗ Тн, представленного вершиной Бкн. Вершина Бу характеризуется ТЗ, на основе решения которого формируются более частные ТЗ, представленные множеством вершин {Бп;+1}. Вершина Б/ принадлежит пучку связей с корневой вершиной БКИ и множеством порождаемых вершин {Бф $ = 1, п) и порождает пучок связей с множеством вершин {Вп /+1} = 1, т).
Рис. 2. Принцип организации структуры теста
Тогда обобщённая оценка неупорядоченности объекта, фигурирующего в вершине Бу, определяется двумя видами неупорядоченности: 1) собственной неупорядоченностью, т.е. неупорядоченностью определения самого объекта; 2) вложенной неупорядоченностью, т.е. неупорядоченностью определения компонент этого объекта (неупорядоченностью вершин множества {Вп /+1}). Если вершина дерева теста имеет восходящие связи, то она обладает собственной неупорядоченностью, если вершина дерева
имеет нисходящие связи, то она обладает вложенной неупорядоченностью. Конечные вершины дерева обладают только собственной неупорядоченностью, вложенной неупорядоченностью обладают только корневые вершины. Не имеет собственной неупорядоченности только исходная вершина В01, представляющая собой формулировку общей задачи контроля уровня подготовки испытуемого.
Отсюда принцип вложения можно представить в следующем виде:
Q(Bi;) = Q[q^Щ,
для Ще {вк}; ц Q(Bi;) = q(Bj) для{Вк}' Q{Bj) = q(tf>\)
где: Q(Бi^) - обобщённая оценка неупорядоченности в вершине Бф Mq(Бj) - множество вершин Би ¡+1, принадлежащих пучку связей с корневой вершиной Бф q(БiJ) -собственная неупорядоченность вершины Б/, измеряемая неупорядоченностью ответа испытуемого на ТЗ, характеризующее саму вершину Бф q(Mi'j+1) - вложенная неупорядоченность вершины Бу, измеряемая неупорядоченностью решений ТЗ, характеризующих вершины Бу+1 е Мф+1; Бк - корневая вершина, Б01 - исходная вершина дерева.
Влияние неупорядоченности решения ТЗ на оценку q(Mj+1) может быть различным. Важность отдельного ТЗ определяется спецификой содержания предметной области и целями её контроля. Для определения влияния оценок отдельных ТЗ на общую оценку их выполнения предлагается использовать понятия определяющих и дополняющих подцелей, введённые Ю.М. Горским в теории системно-информационного анализа процессов управления.
Определяющая подцель К0 -это подцель, полное недостижение которой приводит к полному недостижению цели К, а полное достижение цели К возможно
только при полном достижении каждой из подцелей Ko. Оценка q„ за выполнение частного задания То, соответствующего определяющей подцели Ко, также является определяющей и обладает всеми свойствами подцели Ко. Дополняющая подцель Кд - подцель, полное недостижение которой приводит к частичному недостижению цели K. Оценка qs за выполнение ТЗ Тд, соответствующего дополняющей подцели Кд, также является дополняющей и обладает всеми свойствами подцели Кд. Тогда вложенная неупорядоченность q(Mlij+1) ответов на ТЗ более низкого уровня иерархии определится выражением
Й - n
(1-q0) (l-J/nqj,
- i=l+l
V 1 при 2jmi < 1
i=l+l
где: qoi, qdi - неупорядоченности q ответов соответственно для определяющих и дополняющих подцелей; mt - вес дополняющей подцели.
Покажем возможности моделей (1, 2) на примере.
Пусть цель K контроля включает 5 частных подцелей K1 - K5, в соответствии с которым поставлены ТЗ T1 - T5. Системы предпочтений преподавателя, определяющие значимость целей K1 - K5 и соответствующих им ТЗ T1 - T5, представлены в таблице 1. Пусть
Таблица 1
Варианты системы предпочтений преподавателя (оценки значимости подцелей К1 - К5 и соответствующих им
заданий Т1 - Т5)
Подцель (задание) Вариант оценки значимости
Вариант 1 Вариант 2 Вариант 3 Вариант 4
Ko m для Kg Ko m для Kg Ko m для Kg Ko m для Kg
k, т да — нет 0,2 да — нет 0,3
K2 (T2) да — нет 0,2 нет 0,6 да —
K3 (T) да — нет 0,2 нет 0,2 да —
K4 (T4) да — нет 0,2 нет 0,2 да —
Ks (T) да — нет 0,2 да — нет 0,7
в результате тестирования получены оценки выполнения ТЗ, приведённые в таблице 2.
Результаты расчёта обобщённой неупорядоченности ответов по (9) приведены в таблице 5, а в таблице 6 - оценки этих ответов в традиционной 4-балльной шкале для системы оценки с qm = 0,125.
Приведённый пример в явном виде демонстрирует следующие характеристики обобщённой оценки:
1. Вне зависимости от системы предпочтений преподавателя абсолютно правильный ответ всегда будет оценен высшим баллом оценки «5» - отлично, а абсолютно неправильный ответ - низшим баллом «2» - неудовлетворительно (см. в таблице 3 и 4 варианты 1,2 ответов испытуемых для всех систем предпочтений преподавателя).
2. Общая оценка не может быть выше низшей оценки за определя-
Таблица 2
Варианты оценки неупорядоченности выполнения заданий T1 - T5
Подцель (задание) Вариант результатов контроля знаний
Вариант 1 Вариант 2 Вариант 3 Вариант 4 Вариант 5 Вариант 6
q, 0 1 0,5 0 0,6 0,3
q2 0 1 0,5 0,6 0 0,1
Яз 0 1 0,5 0,8 0 0,2
q4 0 1 0,5 0,9 0 0,3
Я5 0 1 0,5 0 0 0,2
ющее задание (см. в таблице 3 и 4 вариант 5 ответов испытуемых для 1 и 3 систем предпочтений преподавателя).
3. Настройка оценки на любую систему предпочтений преподавателя может осуществляться двумя способами: 1) путём определения статуса ТЗ (определяющие и дополняющие задания) в соответствии со статусом частной цели его предъявления; 2) путём варьирования весов дополняющих заданий.
По смыслу предъявления ТЗ более низкого уровня представляется целесообразным рассматривать обе неупорядоченности q(Bi¡) и q(Mí'j+1) как определяющие. Тогда в соответствии с (9) общая неупорядоченность в вершине Вц определится моделью
да) = 1-[ОД][1- дМ+О]. (3)
Из (1) с учётом (2, 3) общая оценка неупорядоченности выполнения системы автономных ТЗ может быть представлена в виде:
Оценки действий испытуемого в любой вершине дерева ТЗ определяются путём подстановки в (4) соответствующей неупорядочен-
ности Q(Б0). Для корректного выполнения (4) необходимо, чтобы нумерация вершин однозначно определяла их расположение. Поэтому вместо нумерации вершин, приведённой на рис. 1, нужно принять нумерацию, представленную на рис. 3.
Примем следующее правило: вершина, расположенная на более низком уровне абстракции, не должна иметь порядковый номер меньший, чем любая из вершин, расположенных на более высоком уровне абстракции:
Таблица 3
Неупорядоченность результатов испытуемых в различных системах предпочтений преподавателя
Варианты ответов испытуемых Варианты системы предпочтений преподавателя
1 2 3 4
1 0,00 0,00 0,00 0,00
2 1,00 1,00 1,00 1,00
3 0,97 0,50 0,88 0,94
4 0,99 0,46 0,70 0,99
5 0,60 0,1 0,60 0,18
6 0,72 0,22 0,53 0,61
-1.. ЕУ, Л3bq . ЕУ^Лг^ .(5)
При этом порядок нумерации вершин, расположенных на одном уровне абстракции, значения не имеет. Однако в целях исключения ошибок целесообразно принять один принцип нумерации - нумеровать вершины сверху вниз и слева направо (см. рис. 3б).
пучок связей, в который входит вершина Ь0 (/=1,п; ¿=1,п; ¿</).
Для дерева, приведённого на рис. 3, матрица В имеет вид:
Рис. 3. Предлагаемая схема нумерации вершин
В качестве математической модели дерева рассматривалась матрица
B=\\bi]\\ при .=
Í1 - если bi связана с bj, 0 - если bi не связана cbj , (6)
где: bi - вершина более высокого уровня абстракции, образующая
Матрица вида (7) является исходной для оценки выполнения теста. В базе данных (БД) автоматизированной системы оценки (АСО) для каждого bij=1 должна храниться информация Ij, включающая: 1) эталон ответа; 2) идентификатор значимости задания (определяющее, дополняющее); 3) вес оценки (только для дополняющих заданий).
МЕТОД ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ВЫПОЛНЕНИЯ
ЦЕПНЫХ ТЕСТОВЫХ ЗАДАНИЙ
Применение цепных ТЗ целесообразно, когда цели контроля предполагают более подробную диагностику результирующих множеств, выявленных в результате выполнения предыдущих ТЗ.
Пусть заданы: 1) множество А={а} (¿=1,10) КСТ (см. таблицу 5); 2) множество X={x¡¡ 0=1,5) форм единичных ТЗ: XI - одиночный выбор, х2 - множественный выбор, х3 - открытый вопрос, х4 - упорядоченный список, х5 - соответствие; 3) множество У={уг| (1=1,4) видов предъявления информации ТЗ: у! - текстовая, у2 - визуальная динамическая (анимация, видео); у3 - визуальная статическая (рисунок), у4 - аудиальная.
Необходимо: 1) проверить знания о возможностях КСТ по признакам х0; 2) проверить знания о возможности использования в КСТ различных видов (у) предъ-
Таблица 4
Оценки испытуемых в 4-балльной шкале при гбг=0,125
Варианты ответов испытуемых Варианты системы предпочтений преподавателя
1 2 3 4
1 5,00 5,00 5,00 5,00
2 2,00 2,00 2,00 2,00
3 2,00 3,00 2,19 2,00
4 2,01 3,12 2,51 2,01
5 2,74 5,00 2,74 4,47
6 2,48 4,18 2,92 2,71
Таблица 5
Характеристики рассматриваемых КСТ
№ п/п Вид КСТ Доступные формы единичных тестовых заданий (xj) Доступные виды предъявления информации (yl)
одиночный выбор ш мно-жест-венный выбор Ш открытый вопрос ш упо-рядо-чен-ный список (X) соответствие (X5) текстовая (у,) визуальная дина-миче-ская (у) визуальная стати ческая (уз) ауди-альная (У)
1 КСТ «Экзаменатор 1» 1 0 0 0 0 1 0 0 0
2 КСТ «Экзаменатор 2» 1 1 0 0 0 1 0 0 0
3 КСТ «SunRav TestOfficePro» 1 1 1 1 1 1 1 1 1
4 КСТ «HyperTest» 1 1 0 1 1 1 0 1 0
5 КСТ «Система проверки знаний» 1 1 0 0 1 0 1 0
6 КСТ «UniTest System» 1 1 0 1 1 1 1 1 1
7 КСТ «Универсальный тестовый комплекс» 1 1 0 0 1 1 0 1 0
8 КСТ «TestMaster» 1 1 1 1 1 1 0 1 1
9 КСТ «УСАТИК» 1 1 1 1 1 1 1 1 1
10 КСТ «AVELife TestGold Studio» 1 1 1 1 1 1 1 1 1
явления информации, которые по мнению тестируемого поддерживают создание ТЗ в открытой форме Хз).
Структуры целей контроля и частных ТЗ представлены на рис. 4. Система цепных ТЗ (на рис. 4 выделена белым) входит в состав двух разноуровневых множеств ТЗ
Т={Тх11 Тх2'> Tx3, ^Хь Тх5} и Тх3={ТуЬ
Ту2, Ту3, Ту4}. Каждое из ТЗ уровня У1 может быть представлено в виде, приведённом на рис. 5.
Рис. 4. Структуры целей контроля общих характеристик КСТ
Формулировки единичных ТЗ второго уровня имеют следующий вид:
1. Вы указали, что создание ТЗ в форме открытый вопрос обеспечивает следующие КСТ: (далее приводится список КСТ, указанных обучаемым при выполнении ТЗ Тх3).
2. Какие из указанных Вами КСТ обеспечивают предъявление
содержания ТЗ в текстовой форме (для ТЗ Ту1) (в визуальной динамической форме (для ТЗ Ту2), в визуальной статической форме (для ТЗ Ту3), в аудиальной форме (для ТЗ ТД
Необходимость применения вложенных ТЗ в рассматриваемом случае определяется тем, что множество КСТ Х3={аух3 }, являющееся исходным для выполнения ТЗ Ту1-Ту4, может быть выявлено только в результате его выборки из исходного множества А={аг} (¿=1,10) по признаку х3. Структура цепных ТЗ не отличается от структуры системы автономных ТЗ. Однако использование в отношении них модели (4) некорректно ввиду того, что собственная неупорядоченности вершин дерева может быть оценена только в том случае, когда эталонный ответ задан заранее. В случае цепных ТЗ эталон ответа до начала тестирования отсутствует. Оценим возможности использования моделей (1,2) в отношении цепных ТЗ.
Рис. 5. Вид единичного ТЗ первого уровня в КСТ «MyTest»
Пусть вершина В, (см. рис. 6) является ¿-ым частным решением ТЗ Т-ъ представленного вершиной В^-ь и порождает ТЗ Т, решения которого представлены множеством вершин {Вгу+1}.
Рис. 6. Структура цепных тестовых заданий
Условие наличия эталонного ответа всегда выполняется только для вершин, соответствующих автономным ТЗ (нарис. 6 выделены тёмным оттенком), поскольку исходное множество для них задаётся до начала тестирования. Для остальных вершин (на рис. 6 выделены белым) условие (1) выполняется только в случае, если результат выполнения ТЗ более высокого уровня эквивалентен эталонному.
Всё множество ошибок испытуемого может быть сведено к двум категориям: 1) невключение в ответ элемента, принадлежащего эталону; 2) включение в ответ элемента, не принадлежащего эталону.
Ошибка первой категории, совершённая обучающимся на (]-1 )-ом уровне, закономерно исключает возможность эквивалентности ответа испытуемого и эталона на /-ом уровне (М0+1эт Ф М'+О, если исключенные элементы входят в состав правильного ответа. Ситуация, когда М+1этзМ'+1 приводит лишь к сокращению числа тех элементов эталонных множеств М++1эт, которые доступны для идентификации, но не изменению их номенклатуры. Перечень всех возможных изменений эталонного множества более низкого уровня сводится к исключению из его состава элементов, не вошедших в ответ на задание более высокого уровня. Поэтому процедура адаптации эталонов вложенных ТЗ к результатам предшествующей деятельности испытуемого сводится к исключению из состава эталонных множеств элементов М0+1эт, отсутствующих в исходном множестве М .. Её реализация обеспечивает выполнение условия наличия эталона, если в ответе присутствуют ошибки только первого типа.
Вторая категория ошибок определяется как действиями испытуемого, так и свойствами эталона. Включение в множество М'={а}, исходное для вложенного ТЗ /'-го уровня, одного или нескольких элементов а&М?т, приводит к си-
туации, когда М,+1этсМ,+1. Тогда эталонные множества М/+1эт становятся недееспособными в отношении а$.М о / М 0эт, т.е. тех ошибочных элементов а,, которыми испытуемый расширил М?т до М'. В этой ситуации выполнение условия наличия эталона может быть обеспечено двумя способами.
Первый способ предполагает корректуру ответа на ТЗ более высокого уровня. Процедура адаптации исходных множеств цепных ТЗ к предшествующей деятельности испытуемого заключается в исключении из состава предшествующего ответа элементов а&М ' / М/т, не принадлежащих соответствующему эталонному ответу. Необходимо отметить, что исключение этих элементов из дальнейшего рассмотрения не означает их игнорирование. Все ошибки испытуемых, исключаемые из рассмотрения на -ом уровне иерархии дерева задания, адекватно оцениваются на (]-1)-ом уровне.
Второй способ (способ расширенного эталона) предполагает изначальную формулировку эталонного множества М,+1эт на том множестве, которое является исходным для задания (]-1)-го, а не '-го уровня. Такая компоновка М+ц^ обеспечивает его дееспособность в отношении любого исходного множества М, поскольку в рамках операции «выборка» справедливо утверждение пМ' =>М}_1. Если эталон М,+1эт сформирован на соответствующем множестве М-1, то он справедлив в отношении любого множества М ^М-1, и тогда его соответствие любому ответу испытуемого на задание '-го уровня может быть обеспечено путём адаптации эталонов вложенных ТЗ к результатам предшествующей деятельности испытуемого. Таким образом, для цепных ТЗ способ выполнения условия наличия эталона определяется имеемой системой эталонов. При системе вложенных эталонов эталонный ответ более низкого уровня является выборкой из эталонного
ответа более высокого уровня, т.е. исходным множеством для формирования эталона '-го уровня является эталон (]-1)-го уровня.
Верификация моделей (1-7) была проведена в рамках натурного эксперимента. Целью эксперимента являлась оценка соответствия результатов тестирования мнению того преподавателя, чья система предпочтений моделировалась средствами КСТ. Каждый преподаватель формулировал свои правила оценивания результатов тестирования. Эти правила вводились в КСТ, на их основе другой преподаватель проводил тестирование своей группы. Результаты тестирования этой группы повторно оценивались тем преподавателем, система предпочтений которого использовалась в КСТ. Оценки КСТ сравнивались с экспертными оценками преподавателя, система предпочтений которого моделировалась КСТ.
Эксперимент проводился в апреле 2013 года. В нём участвовали 7 преподавателей и 7 экспериментальных групп (224 испытуемых). Оценка наличия сдвига между сравниваемыми оценками производилась по критерию G знаков. Гипотеза Н0 об отсутствии неслучайного сдвига между оценками КСТ и преподавателя была принята в отношении всех 7 экспериментальных групп. Отсутствие такого неслучайного сдвига свидетельствовало, что модели (1-16) обеспечивают адекватное отображение системы предпочтений преподавателя, а значит они устраняют: 1) противоречие между рассмотрением тестирования в качестве средства объективного оценивания достижений испытуемых и отсутствием формализованных методов оценивания ряда форм ТЗ; 2) противоречие между способностью КСТ адекватно воспроизводить любой способ задания системы предпочтений преподавателя и неадекватностью реализуемого способа представления этой системы предпочтений.
