Нечеткие модели оценки успешности освоения дисциплины студентом Текст научной статьи по специальности «Компьютерные и информационные науки»

Нечеткие модели оценки успешности освоения дисциплины студентом

Жилина Елена Викторовна

ет.преподаватель каф. информационных технологий и защиты информации Ростовский государственный экономический университет (РИНХ)

[email protected]

Аннотация: В статье разработан алгоритм оценки успешности освоения дисциплины студентом на основе теории нечетких множеств, позволяющий проводить интегральный учет количественных и качественных переменных.

Ключевые слова: нечеткая модель, адаптивное тестирование,

лингвистическая переменная, функция принадлежности.

Abstract: In this article an algorithm to evaluate the success developing discipline of a student on the basis of fuzzy set theory, which allows to carry out integrated accounting of quantitative and qualitative variables.

Keywords: fuzzy model, adaptive testing, the linguistic variable,

membership function.

Введение. Существенной особенностью высшего образования является сложность количественного оценивания процессов обучения. Однозначно понимаемого перечня показателей качества подготовки не существует, так как отсутствуют четкие представления о том, какие количественно измеримые факторы на него влияют, какими достоверно оценивающими показателями оно выражается, какова достоверность этих показателей и т.д. [5]. Методики перевода суммарного итога в оценку, как правило, не рассматриваются в работах, посвященных тестологии. Подход, рассмотренный в [3], применим для совокупности суммарных величин одной группы тестирующихся, оценку которым можно выставить, только когда известны результаты всех студентов.

Нечеткость такого представления не позволяет устаревшим методам математического моделирования получать адекватные количественные

описания исследуемых параметров, а поэтому заставляет искать решения классических задач образовательного процесса неклассическими методами.

Текущий и промежуточный контроль освоения студентом каждой дисциплины предлагается осуществлять в рамках накопительной балльнорейтинговой системы. Оценка работы студента проводится в 100-балльной шкале по каждому контролируемому виду учебной работы, а также по конкретному модулю, дисциплине. Оценка проставляется в ходе текущего контроля знаний в течение семестра, а также при промежуточном контроле -сдаче зачетов и экзаменов. Оценка отражает качество освоения учебного материала и уровень приобретенных знаний и умений [1].

Предлагается проводить промежуточную аттестацию путем адаптивного тестирования, подстраиваясь под уровень обученности студента. При этом изменение уровня сложности следующего вопроса тестирования происходит в зависимости от ответа на предыдущий: при положительном ответе уровень сложности повышается, при отрицательном понижается. Следует отметить, что адаптивное тестирование возможно, если заранее определена трудность тестовых заданий, что предполагает их предварительную апробацию и обработку результатов с использованием методов дисперсионного анализа и теории тестирования для определения надежности, валидности и дифференцирующей способности [2].

При интегральной оценке знаний студента с использованием лингвистических переменных необходимо вести учет количественных и качественных факторов [7]. В результате проведения пассивных экспериментов проводится оценка исследуемых характеристик, для которых задаются ограничения в виде пороговых значений.

Основная часть. При построении модели оценки успешности освоения дисциплины студентом (OY) в качестве входных переменных используются как количественные факторы (количество вопросов, количество правильных ответов, суммарный балл), так и качественные факторы (уровень на 2 (х1), уровень на 3 (х2), 4 (х3) и 5 (х4)).

Модель формирования лингвистической оценки успешности освоения дисциплины студентом (ОУ) в общем виде имеет вид (рис. 1):

Нормирование БП

-OY-

Рис. 1. Модель формирования лингвистической оценки успешности освоения дисциплины студентом в общем виде где S - накопленная сумма баллов; х1 - уровень на 2; х2 - уровень на 3; х3 - уровень на 4; х4 - уровень на 5.

Алгоритм формирования лингвистической оценки успешности освоения дисциплины студентом состоит в следующем:

1. Произвести нормирование накопленной суммы баллов на отрезок [0..100] по уровням. Определим вспомогательные переменные хГ, / = 1,4, нормирующие накопленную сумму баллов на отрезок [0..10] независимо от количества вопросов в тесте:

x1' = S - (k1 x 2 х (int(—) + int(Q—5)) + k1 x int(Q—10)) ;

15 15 15

x 2 =

x3 =

S - (k1 x 3 x int(—) + k1 x 2 x (— -1,5)), если Q - нечетное (Q mod 2 <> 0); S - (k1 x 3 + k1 x 2) x (— -1), если Q - четное (Q mod 2 = 0);

S - (k2 x 2 x int(—) + k2 x 3 x (— -1,5)), если Q - нечетное (Q mod 2 <> 0); S - (k2 x 2 + k2 x 3) x (— -1), если Q - четное (Q mod 2 = 0);

(1)

(2)

x4' = S *(k3* — - 2) + 1)/((k3*(Q - 2) +1) + 4*(—y10)),

S = k1 x b1 + k2 x b2 + k3 x b3 ;

где S - накопленная сумма баллов;

Q - количество вопросов в тесте, при Q >=10, — mod 5 = 0; b1 - количество правильных ответов на уровень сложности 1; b2- количество правильных ответов на уровень сложности 2;

(3)

(4)

(5)

b3 - количество правильных ответов на уровень сложности 3; kl - коэффициент за правильность ответа на вопрос 1 уровня сложности; k2 - коэффициент за правильность ответа на вопрос 2 уровня

сложности; k3 - коэффициент за правильность ответа на вопрос 3 уровня

сложности; при 0<k1<k2<k3; int - функция деления, возвращающая целое число; mod - функция деления, возвращающая остаток.

Переменная xi, i = 1,4 («уровень на 2» (х1), «уровень на 3» (х2), «уровень на 4» (х3), «уровень на 5» (х4)) нормируется в зависимости от значений вспомогательной переменной xi' на отрезок [0..100]:

xi х 20, если xi < 1.2,

24 + (xi -1.2) х 62.5, если 1.2 < xi < 1.6,

49 + (xi -1.6) х 20, если 1.6 < xi < 2,

57 + (xi - 2) х 12.8, если 2 < xi < 2.7, (6)

xi = < , v J

66 + (xi - 2.7) х 11.4, если 2.7 < xi < 3.4,

74 + (xi - 3.4) х 4.5, если 3.4 < xi < 5.4,

100 - 3(7-4-x,), если 5.4 < x1' < 7.4,

100, если xi > 7.4.

Формулы были составлены согласно данным соответствия 100-балльной шкалы, используемые в [1] для перевода баллов в традиционную оценку, и числовым значениям xi', i = 1,4, полученным в ходе эксперимента (наглядность расчетов представлена на рис. 2). Например, значение 7.4 соответствует максимальному значению х4' при прохождении адаптивного теста, начинающегося с 1 уровня сложности; значения 3.4, 2 и 1.2 - средним значениям х3 , х2 , х1'; значения 1.6, 2.7 и 5.4 получены путем сложения левого значения и разницы между соседними значениями, разделенной пополам (1.6=1.2+(2-1.2)/2; 2.7=2+(3.4-2)/2 и т.д.).

0 1,2 Ijö *20 *62,5 -h 0 -h т “S' *20 *12,8 *11,4 5Л *4,5 5.4 7,4

0 24 4!) 6ö и S3 100

неудов летво рит ельно удовлетворит ельно хорошо отлично

Рис. 2. Числовые значения, необходимые для формирования аргумента «х» функции принадлежности качества выходной переменной

На каждом из полученных отрезков находились коэффициенты соответствия числовых значений баллам. Например, между [3.4, 5.4] находятся баллы от 74 до 83, поэтому числовое значение единицы на этом отрезке соответствует 4.5 балла ((83-74)/(5.4-3.4)).

2. Задать классификационную шкалу лингвистическим переменным х1, г = 1,4. Например, лингвистические переменные «уровень на 2» (х1), «уровень на 3» (х2), «уровень на 4» (х3), «уровень на 5» (х4), интерпретируем в виде терм-множества с триарной шкалой Т2={НС, СН, ПС}, где значение НС - не соответствует уровню (на 2, на 3, 4 или 5), СН - соответствует незначительно и ПС - соответствует полностью.

3. Задать функции принадлежности качества переменных х1, г = 1,4.

Каждая из лингвистических переменных «уровень на 2 (3, 4, 5)» имеет

одну треугольную кривую принадлежности (7) и две Т-образных кривых принадлежности (8) (ц?С, иС?, иПС, г = 1,4), в общем виде которые могут быть заданы выражениями [7]:

ид( хг, а, Ь, с) =

х - а

Ь - а' с - х

с - Ь'

х < а, а < х < Ь,

Ь < х < с,

1 = 1,4,

{т 4

(7)

0, с < х

где а, Ь, с - некоторые числовые параметры, характеризующие основание треугольника (а, с) и его вершину (Ь), причем должно выполняться условие:

а < Ь < с.

иТ (хг, а, Ь, с, d) =

Ь - а

d - х

d - с'

х < а, а < х < Ь, Ь < х < с, с < х < d,

1 = 1,4,

] е{Т2},

(8)

0, d < х

где а, Ь, с, d - некоторые числовые параметры, характеризующие основание трапеции (а, d) и верхнее основание трапеции (Ь, с), принимающие произвольные действительные значения и упорядоченные отношением:

а < Ь < с < d.

0

ха

1

С учетом (7 и 8) функции принадлежности нечетких терм-множеств лингвистической переменной «уровень на 2 (3, 4, 5)» (х1, х2, х3, х4) будут имеет следующий вид:

1) !лт ПХС (х1, 0, 0, 15, 30); ^дНС (х1, 20, 35, 50); ^дСН ( х1, 40, 55, 100, 100);

2) ¡лт НС (х2, 0, 0, 20, 40); ^дхП2С (х2, 30, 50, 70); ^дСхн2 ( х2, 60, 70, 100, 100);

3) /ит НС (х3, 0, 0, 50, 70); ^дхП3С (х3, 55, 70, 85); ^дСН ( х3, 70, 90, 100, 100);

4) ¡лт Нхс4 (х4, 0, 0, 70, 80); ^дхс4Н (х4, 70, 80, 90); ^дПС ( х4, 80, 90, 100, 100).

На рисунках 3-6 приведены графики функций принадлежности

нечетких терм-множеств лингвистической переменной «уровень на 2 (3, 4, 5)» (х1, х2, х3, х4): input1 в модели соответствует лингвистической переменной «уровень на 2» - х1; input2 в модели соответствует лингвистической переменной «уровень на 3» - х2; input3 в модели соответствует лингвистической переменной «уровень на 4» - х3; input4 в модели соответствует лингвистической переменной «уровень на 5» - х4.

Моделирование проводиться с использованием специализированного пакета Fuzzy Logic Toolbox средства MATLAB [6]. Выполнение нечеткого вывода реализовано на основе алгоритма Мамдани (Mamdani) [wang].

[■^Membership Function Editor: Untitl6d2

Рис. 3. Формирование триН- «уровень на 2» (х1)

Значения параметров а, с, d и Ь могут уточняться в соответствии с экспериментальными данными. При использовании классификаторов (триарной

и тетрарной шкал) на носителе нечеткого множества значимость лингвистических переменных определяется на отрезке вещественной оси [0,1].

Membership Function Editor; Untitled2 (_ ||"n~jfX~|

Рис. 4. Формирование input2 - «уровень на 3» (х2)

Рис. 5. Формирование input3 - «уровень на 4» (х3)

Рис. 6. Формирование input4 - «уровень на 5» (х4)

4. Задать классификационную шкалу исследуемого параметра (выходной переменной). Например, лингвистическую переменную «Оценка успешности освоения дисциплины студентом» (OY) интерпретируем в виде терм-множества значений T1={Неудовлетворительно (Н), Удовлетворительно (У), Хорошо (Х), Отлично (О)}.

5. Задать функции принадлежности качества исследуемого параметра. Лингвистическая переменная «Оценка успешности освоения дисциплины студентом» имеет две треугольных кривых принадлежности (7) и две Т-образных кривых принадлежности (8) (/иНТ, ßlY, /и£т, ßXY). С учетом (7 и 8) функции принадлежности нечетких терм-множеств лингвистической переменной «Оценка успешности освоения дисциплины студентом» (OY) будут имеет следующий вид: /иНТ (x, 0, 0, 25, 50); ßXY (х, 40, 55, 70); /иХт (х, 60, 75, 90); ß°OY (х, 80, 90, 100, 100). На рис. 7 приведен график функций принадлежности нечетких терм-множеств лингвистической переменной «Оценка успешности освоения дисциплины студентом» (OY), заданной в MATLAB: output1 в модели соответствует лингвистической переменной «Оценка успешности освоения дисциплины студентом» - OY.

Рис. 7. Формирование output1 - «Оценка успешности освоения дисциплины студентом »(OY)

6. Определить лингвистическое значение уровня исследуемого фактора. В результате анализа предметной области сформирована база правил оценки успешности освоение дисциплины студентом (табл. 1).

Таблица 1

Нечеткие продукционные правила

C учетом ограничений алгоритма Мамдани [7] модифицируем правила базы правил из таблицы 2 в вид, приведенный на рисунке 8.

Рис 8. Правила системы нечеткого вывода

7. Аккумулирование заключения по всем правилам проведено с применением операции max-дизъюнкция. При дефазификации использован метод центра тяжести для дискретного множества значений функций принадлежности:

Y

1 max

£ Уг Ие (Уг)

У ' = ^--------, (9)

max

£ ие' (Уг)

r=1

Где Ymax - число элементов yr в дискретизированной для вычисления «центра тяжести» области Y.

Реализация алгоритма нечеткой модели оценки успешности освоения дисциплины студентом.

Исследование возможностей использования нечеткой модели для оценки успешности освоения дисциплины студентом при адаптивном тестировании проводилось с помощью экспериментов компьютерной программы ModExTest, написанной на языке VE 6.0, где моделировались данные адаптивного тестирования и значения входных параметров лингвистических переменных: («уровень на 2» (х1), «уровень на 3» (х2), «уровень на 4» (х3), «уровень на 5» (х4)). Моделирование нечетких моделей проводилось с использованием специализированного пакета Fuzzy Logic Toolbox средства MATLAB. Рассмотрим один из вариантов адаптивного тестирования, результаты которого приведены в табл. 2 (тест состоит из 25 вопросов; коэффициент 1 уровня сложности равен 0.4; 2 уровня сложности -

0.6; 3 уровня сложности равен 0.8).

Таблица 2

Результаты адаптивного тестирования

Вопрос 1 2 3 4 5 6 7 8 9 10 11 12 13

Вопрос на 3 4 5 5 5 5 5 4 3 4 5 4 3

Ответ 1 1 1 1 1 1 0 0 1 1 0 0 0

Баллы за сложность 0,4 0,6 0,8 0,8 0,8 0,8 0 0 0,4 0,6 0 0 0

Вопрос 14 15 16 17 18 19 20 21 22 23 24 25

Вопрос на 3 4 5 4 3 4 3 4 3 4 5 4

Ответ 1 1 0 0 1 0 1 0 1 1 0 1 60%

Баллы за сложность 0,4 0,6 0 0 0,4 0 0,4 0 0,4 0,6 0 0,6

Значения входных параметров лингвистических переменных приведено в таблице 3. Например, при значении классификатора трШ;3= 78.5 значение лингвистической переменной х3 - «уровень на 4» соответствует терму ПС -

ПС

«полностью соответствует» с уровнем уверенности ^х3 = 0,5.

Таблица 3

Значения входных параметров лингвистических переменных

Переменная Значение Уровень уверенности

x1 97,59178 НС Цх1 1

x2 83 СН А Цх2 1

x3 78,5 ,5 0, т 1

x4 82,61019 ,9 0, 1

По заданным условиям активизируются правила 1, 2 и 3.

Результирующее значение классификатора выходной переменной оШ;рШ;1 соответствует значению 81,7, что определяет значение лингвистической переменной риска проекта OY «Оценка успешности освоения дисциплины студентом», равное Х - «хорошо» с уровнем уверенности = 0,5.

Реализация правил нечеткого вывода приведена на рисунке 9.

Рис. 9. Реализация правил нечеткого вывода Семестровая оценка успеваемости студента по каждой учебной дисциплине выводится, исходя из максимальной суммы баллов, равной 100 [1] (табл. 4). Если по каждому виду учебной работы (F1...Fn) известны лингвистические оценки ОY = (О Y1 ... OYn) и определены весовые

коэффициенты р = р,..., рп), тогда оператор агрегирования информации

представляет собой взвешенную сумму и характеризуется своей лингвистической оценкой, определяемой функцией принадлежности на 01-

п

классификаторе /иог (х) = £ д (х')р1.

I =1

Таблица 4

Ведомость распределения баллов по дисциплине

Наимено- \вание ФИО Лекции Практич. занятия Сам. работа Тестирова- ние За- чет Экза- мен Итог

Информа- тика 8 8 10 12 12 50 100

Новиков М.С. 97 79 83 82 87 84

Согласно таблице 4 д (х)=97 х 0.08 + 79 х 0.08 + 83 х 0.1 + 82 х 0.12 + 87 х

0.12 + 84 х 0.5 = 84.66«85, что соответствует терму лингвистической переменной OY «Оценка успешности освоения дисциплины студентом» О -«Отлично» с уровнем уверенности ^оу° = 0,5. При установке критерия значимости уровня уверенности Кг7=0.05, полученное значение переменной OY принимается, поэтому студенту выставляется по дисциплине «Информатика» оценка «Отлично».

Заключение

1. Разработан алгоритм и программа оценки успешности освоения дисциплины студентом (ОY) на основе теории нечетких множеств.

2. Рассмотренный метод позволяет проводить интегральный учет как количественных (количество вопросов, количество правильных ответов, суммарный балл), так и качественных факторов (уровень на 2 (х1), уровень на 3 (х2), 4 (х3) и 5 (х4)), учитывая неопределенность последних. Устанавливая критерий значимости уровня уверенности функций принадлежности качества входных (выходных) переменных, можно менять итоговые результаты в зависимости от группового уровня подготовленности студентов.

3. Экспериментально установлено, что применение данного метода оценки успешности освоения дисциплины студентом позволяет точно выставить оценку при прохождении адаптивного тестирования.

4. В рамках накопительной балльно-рейтинговой системы использование теории нечетких множеств позволяет накапливать баллы в 100-балльной шкале по всем видам учебной работы и формировать итоговый балл в зависимости от максимально возможных баллов, установленных за каждый объем выполненной работы.

Библиографический список:

1. Проект Положения об организации учебного процесса в Ростовском государственном экономическом университете (РИНХ) с использованием зачетных единиц (кредитов) и балльно-рейтинговой системы. - Ростов-на-Дону: РГЭУ (РИНХ), 2011.

2. Аванесов В.С. Композиция тестовых заданий. - М.: Из-во Центра тестирования Минобразования РФ, 2002, - 239С.

3. Хубаев Г.Н. О построении шкалы оценок в системах тестирования // Высшее образование в России. - 1996. - № 1. - С. 122-125.

4. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. - М.: Физматлит, 2001. - 211 с.

5. Домрачев В.Г., Полещук О.М., Ретинская И.В. Нечеткие модели рейтинговых систем оценки знаний [Электронный ресурс]. -http://www.ict.edu.ru/vconf/files/tm01_627.doc.

6. Леоненков А. Нечеткое моделирование в среде MATLAB и fuzzyTECH. - Спб.: БХВ-Петербург, 2005.

7. Долженко А.И. Нечеткие модели - эффективный инструментарий для анализа потребительского качества информационных систем: монография. - Ростов-на-Дону: РГЭУ (РИНХ), 2008.