CC BY
11
ПРОБЛЕМЫ ВЫСШЕЙ ШКОЛЫ
УДК 371.263
АДАПТИВНАЯ НЕЧЕТКАЯ ПРОЦЕДУРА ИНТЕРПРЕТАЦИИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ
© 2014 г. Т.В. Лобова, А.Н. Ткачев
Лобова Татьяна Владимировна - ст. преподаватель, кафедра «Прикладная математика», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова. Тел. (863)2-55-6-92. E-mail: qwest64@yandex.ru
Ткачев Александр Николаевич - д-р техн. наук, профессор, зав. кафедрой «Прикладная математика», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова.
Lobova Tatiana Vladimirovna - senior lector, department «Applied Mathematics», Platov South-Russian State Polytechnic University (NPI). Ph. (863)2-55-6-92. E-mail: qwest64@ yandex.ru
Tkachev Alexander Nikolaevich - Doctor of Technical Sciences, professor, head of department «Applied Mathematics», Platov South-Russian State Polytechnic University (NPI).
Рассматривается задача формализованной оценки уровня подготовки обучаемых по результатам тестирования. Предложено уточнение формулы для расчета тестового балла по вектору ответов, позволяющее учесть предысторию прохождения теста и случайные ошибки, связанные с угадыванием ответа. Тестовый балл рассматривается как нечеткая переменная, определенная по 100-балльной шкале. Описана процедура нахождения функций принадлежности тестового балла для множеств, соответствующих лингвистическим переменным - оценкам, традиционно используемым в системе профессионального образования. Предложен нечеткий классификатор, позволяющий выполнить оценку результата тестирования по набранному обучаемым баллу. Описан алгоритм нахождения параметров классификатора. Приводятся результаты расчетов, показывающие, что применение разработанного подхода позволяет существенно повысить точность интерпретации результата тестирования.
Ключевые слова: тестирование, оценка уровня подготовки обучаемых; тестовый бал; функция принадлежности; адаптивная процедура оценивания; нечеткая оценка; классификация.
The problem offormal assessment of a level ofpreparation of a student for a test score is considered. Proposed refinement of the formula for a calculation of atest score along a vector of responses, which allows to take into account abackground of a test and random errors associated with guessing ananswer. Test score is considered as a fuzzy variable defined in a 100-point scale. The procedure of finding a membership functions of test scores for sets corresponding to the linguistic variables - estimated traditionally used in vocational education. Proposed a fuzzy classifier that lets to assess outcomes of a test score. An algorithm for finding the parameters of the classifier is described. The result of the calculations that the developed approach can significantly improve the accuracy of the interpretation of test score is showed.
Keywords: testing; assessment of level of preparation; test score; membership function; adaptive estimation procedure; fuzzy evaluation; classification.
Применение тестовых технологий контроля уровня подготовки обучаемых в системе общего и профессионального образования позволяет снизить трудоемкость и субъективизм, которыми отличаются традиционно используемые процедуры оценки знаний. Однако тестирование, как альтернативная форма контроля, имеет недостатки, в первую очередь связанные с отсутствием прямого контакта между обучающим и обучаемым, что приводит к потере возможности уточнения оценки, например в результате собеседования или задания дополнительных вопросов. На точность контроля с использованием процедуры тестирования также оказывает влияние то, что оценка правильного
выполнения задания осуществляется только по конечному результату без учета выполнения промежуточных действий, на основе которых он был получен.
Повышение надежности оценки уровня подготовки обучаемых на базе тестовых технологий требует разработки более точных процедур интерпретации результатов тестирования. Такие процедуры должны учитывать нечеткий характер формирования конечного результата при прохождении тестирования обучаемым, носить адаптивный характер, т. е. обеспечивать возможность настройки с учетом структуры теста и заданий, содержания изучаемого материала. Предложенная ниже модель формирования результата тести-
рования и его интерпретации обеспечивает решение такой задачи.
Пусть п участникам тестирования предлагается выполнить однородный тест, содержащий т тестовых заданий, сложность которых возрастает с увеличением их номера. Пусть х/ = (хг1, х/2,..., х/т) - вектор ответов 1-го участника, каждая компонента х^ которого равна Ху = 1 при правильном ответе /-го обучаемого на'-е задание; х^ = 0 - в противном случае.
Предположим, что максимальное количество баллов, которое может набрать каждый участник, выполнив правильно все задания, равно 100, а каждое тестовое задание оценивается величиной а', где
0 < а' < 100 (рис. 1). Для оценки уровня подготовки
каждого -го обучаемого наиболее часто используется так называемый индивидуальный балл zi, измеряемый по 100-балльной шкале. С учетом введенных обозначений его величина равна
zi = Z aix1 .
j=i
(1)
Kzi ^ Ek, если zi £Ät, k = 1, 4 .
(2)
Во-первых, уточним процедуру подсчета индивидуального балла (1), величину которого wi будем находить по формуле:
m 1 5-1
Wi = z + Z—rZ6Srx,r;
5=2 S - 1 r=1
100W
(3)
Рис. 1. Структура теста
При необходимости от индивидуального балла (1) можно выполнить переход к обычно используемой в высшей школе системе оценивания обучаемых. Для этого задаются промежутки: Д1 = [0; 51);
Д2 =[81; 52); Д3 =[82; 53), Д4 =[83; 54]. Вводят лингвистические переменные Е/, / = 1, 4 , характеризующие уровень подготовки обучаемых: Е1 = {неудовлетворительно}; Е2 ={удовлетворительно}; Е3 = ={хорошо}; Е4 = {отлично}. После чего выполняется четкая классификация уровня подготовки каждого /-го тестируемого по следующему правилу. Уровень оценивается Ек, если выполняется условие zi е Дк. Формульно результат действия такого четкого классификатора записывается в виде:
Заметим, что классификатор (2) обладает рядом недостатков. В частности, он не позволяет учесть размытость границ между оценками Ек, не учитывает возможность случайных ошибок и случайного угадывания ответа. Рассмотрим другую процедуру классификации, свободную от указанных недостатков.
W
тах
В формуле (3) вторые слагаемые при оценке каждого г-го ответа позволяют учитывать «бонус» при правильном выполнении предыдущих заданий, причем величина е 5к должна быть пропорциональна сложности а^ задания и быть тем выше, чем более г-е
задание и предыдущее 5-е задание связаны тематически. Величина Wmax равна максимально возможному баллу, который может набрать тестируемый. С учетом формулы (3) она равна:
т т 1 5-1
^тах = Е ак + Е-гЕ а5г .
к=1 5=2 5 - 1 г=1
Далее будем рассматривать лингвистические переменные Ек, как нечеткие переменные, задаваемые
на 100-балльном отрезке шкалы [0; 100], с помощью подлежащих определению функций принадлежности цк (х), к = 1, 4 [1, 2]. Для нахождения этих функций
воспользуемся статистическим методом [1], суть которого состоит в следующем. Разобьем отрезок [0; 100] на 20 не пересекающихся промежутков:
Ц =[0;5); О2 =[5; 10); ...; О20 =[95; 100]. Для
нахождения значений функций принадлежности в пределах каждого промежутка О' выполняется процедура экспертной оценки уровня подготовки обучаемых. Для этого выполняется ручная проверка выполненного каждым участником теста преподавателем, который независимо от набранного балла (3) выставляет итоговую оценку Ек. После этого формируется
матрица (Ь^), / = 1, 4 , ' = 1, 20, каждый элемент Ьу
которой равен числу обучаемых, получивших оценку Е/ и набравших число баллов из промежутка О'.
Далее находится так называемая матрица-строка подсказок [1] вида Ь = (Ь , Ь2,..., Ь20) и ее максимальный элемент Ьтах по правилу:
4
Ь] =Е ЬЦ ; Ьтах = тах Ьj .
/=1
1<j<20
После этого находятся промежуточные значения:
bi1bmax , ~
ci1 = —-, если b, Ф 0;
vb 1
w, =
с, + Су
с, = —--— , если Ь, = 0.
у 2 1
Значение функции принадлежности ц (х) в каждом рассматриваемом промежутке О,, при х е О, задается равенством:
Сц
Ц (x) = -
; x efi,
(4)
где c max = max Cjj.
1<j<20
При построении адекватного нечеткого классификатора, считая функции принадлежности (4) заданными, будем исходить из следующей гипотезы качественного характера, определяющей процесс формирования тестового балла и итоговую оценку обучаемого:
1. Любой обучаемый может продемонстрировать уровень подготовки Ек с вероятностью рк, при этом:
I Рк = 1.
к=1
(5)
2. Набранный балл обучаемого при уровне подготовки Ек является случайной величиной, имеющей
плотность распределения ^ (х).
3. Набранный обучаемым балл wi формируется в результате выполнения двух действий: выбора класса Ек с вероятностью рк и реализации случайной величины - набранного балла X внутри выбранного класса согласно плотности распределения ^ (х).
При такой формулировке задачи плотность распределения ^ (х) можно связать с функциями принадлежности цк (х). Действительно, вероятность Ре (х) того, что набранный балл х окажется внутри промежутка [ х -е; х + е] фиксированной длины 2е, равна:
-е
Ре (х)= | fk ^) Л « 2еfk (х) . (6)
Из формулы (6) следует, что чем больше значение f (х), тем более вероятно (ожидаемо), что значение балла будет равно х. Таким же свойством обладают функции принадлежности цк (х). Поэтому естественно принять:
Л (х) = а к ц к (х), (7)
определив постоянную ак (х) в формуле (7) из условия нормировки плотности распределения [3]:
(
Следующий шаг построения процедуры интерпретации результатов тестирования сводится к заданию нечеткого классификатора - правила, позволяющего по набранному i-м обучаемым баллу wi, определить, какому из возможных уровней подготовки Ek он соответствует. Для построения такого правила воспользуемся байесовским классификатором [3]. Определим условные вероятности того, что случайная величина X - набранный балл принадлежит классу Ek, при условии значение X = wi согласно формулам [3]:
P {X е Ек / X = wt }= 4pkfk (w ) , k = 1~4. (8) Z psfs (wi)
s=l
Далее будем считать, что уровень подготовки i-го обучаемого при наблюдаемом балле X = wi можно отнести к классу Et, если выполняется условие:
P {X е Et / X = xi} = max P {X е Ек / X = x } . (9)
Равенствами (8) и (9) адаптивный нечеткий классификатор при заданных значениях вероятностей pk,
к = 1, 4, плотностью определен. Сведем нахождение этих вероятностей к решению задачи минимизации ошибки классификации.
Пусть K* (xi) - оценка уровня подготовки i-го
обучаемого, полученная в результате ручной проверки, значение которой в соответствии с классами E1, E2, E3, E4 для определенности положим равными
2; 3; 4; 5. Обозначим через K(p1, p2, p3, p4, xi)
оценку, определяемую согласно формулам (8), (9) в той же шкале измерений. Тогда параметры модели будем искать в результате решения следующей задачи оптимизации:
Р = (^ I (K (А> Р2> Рз> Р4> Xi )-K * (Xi )) j
I Pi = 1; 0 < Pi < 1. i=1
^ min; (10)
(11)
J Цк ( x) dx
Решение задачи (10), (11) может быть найдено простым перебором, так как с учетом условия нормировки (11) число независимых переменных всего лишь равно трем. Для этого необходимо вычислить значения функции (10) в узлах равномерной сетки, введенной в кубе [0; 1] х [0; 1] х [0; 1] х [0; 1] е R4 , координаты которых удовлетворяют условию нормировки (11). Значения р*, р*, р*, р*, при которых достигается минимум функции (10), в дальнейшем используется при выполнении оценки уровня подготовки обучаемых согласно правилу (8), (9).
c
сх,_ =
к
Описанная процедура интерпретации результатов была реализована с участием п = 53 обучаемых, проходивших тестирование в рамках тематического модуля. Тест содержал т = 20 заданий разного уровня сложности. Результаты ручной проверки тестовых работ сведены в таблице.
нечеткой (8), (9) интерпретации результатов тестирования. Оказалось, что при нечеткой классификации значение критерия (10) на 11,5 % меньше, чем при четком оценивании. Это свидетельствует о более высокой точности предложенной процедуры оценивания результатов тестирования.
Результаты ручной проверки
Оценка Номер промежутка
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
неуд 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
уд 0 0 0 1 5 4 6 5 3 1 0 0 0 0 0 0 0 0 0 0
хор 0 0 0 0 0 0 0 0 1 2 3 2 3 1 1 2 0 0 0 0
отл 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 4 1 2 1
В результате обработки данных таблицы была определена функция принадлежности для каждой лингвистической переменной Е1. графики показаны на рис. 2.
, , Ei. И^Их
Цк(х)
Е,
Е2
1,0 0,8 0,6 0,4 0,2
0
"Т
...V..
Ез Е4 ------\......-р-О-О-О
\ /
■■/■......V-
у
-Ä-
\
7\
-I-
1 3 4
8
11
15 17
20 N
Рис. 2. Функции принадлежности лингвистических переменных Ек
По найденным функциям принадлежности были определены плотности распределения (7) и далее в результате решения задач (10), (11) вероятности рк,
к = 1, 4 . После этого была выполнена оценка результатов тестирования по найденным баллам х, / = 1, 53 согласно правилу (8), (9). Оценка эффективности предложенной процедуры была выполнена путем сравнения значений критерия (10) при четкой (2) и
Выводы
1. Предложенная процедура нечеткой интерпретации результатов тестирования позволяет учесть размытость границ между оценками, полученными обучаемым, и предысторию выполнения тестовых заданий в пределах теста.
2. Разработанные алгоритмы обеспечивают возможность настройки параметров модели по результатам выполненной преподавателем ручной проверки.
3. Проведенный эксперимент показал, что предлагаемая процедура нечеткой интерпретации результатов тестирования позволяет повысить точность оценивания уровня подготовки обучаемых по сравнению с традиционной процедурой четкого оценивания.
Результаты работы получены при поддержке Минобрнауки РФ в рамках государственного задания на проведение НИОКР, шифр заявки № 2819.
Литература
1. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решений на основе нечетких моделей: примеры использования. Рига, 1990. 184 с.
2. Яхъяева Е.Г. Нечеткие множества и нейронные сети. М.: Интернет-университет информационных технологий; БИНОМ. Лаборатория знаний, 2006. 316 с.
3. Феллер В. Введение в теорию вероятностей и ее приложения / пер. с англ.: в 2 т. Т.1. М., 1984. 498 с. Т. 2. М., 1984. 752 с.
Поступила в редакцию
3 сентября 2014 г.
