CC BY
16
УДК 519.5
Галеев Р.И., Фролов А.Г.
КОНТРОЛЬ ЗНАНИЙ В УСЛОВИЯХ НЕЧЕТКОЙ ИНФОРМАЦИИ
Предлагаемый метод адаптированного контроля знаний на основе нечетких отношений позволяет определять наличие знаний не по одной, а сразу по трем характеристикам образовательного процесса: знание учебного материала, прочность полученных знаний и применение творческих способностей в решении задач.
Ключевые слова: нечеткое множество, адаптированный контроль знаний.
ВВЕДЕНИЕ
Отличительным признаком общепринятых методов оценивания знаний является использование для вывода итоговых результатов традиционных методов вычислительной
V /Ч Ч/
математики, в основаниях которых лежат понятия классической логики. С математической точки зрения решение проблемы контроля образовательного процесса связано с уменьшением погрешности оценки знаний. Для увеличения точности оценки разработаны различные способы тестирования [1-4]. Известно, что традиционные подходы к проведению экзаменов только частично отражают знания студентов. Более полную информацию дают методики, основанные на применении теории нечетких множеств и нечетких отношений [9].
В последние годы наблюдается интенсивное развитие методов адаптированного контроля знаний студентов [5-8], когда тестирующая компьютерная программа самостоятельно подбирает вопросы с учетом ответа на предыдущий вопрос или пример. Предлагая сложные и простые задачи компьютер определяет по пятибалльной шкале уровень сложности тех задач, которые студент решает быстро и без ошибок. Считается, что этот уровень объективно отражает имеющиеся знания. Однако существующие тестовые методики не определяют у студента кроме конкретных знаний другие итоговые характеристики сложного процесса обучения, учет которых также важен при создании более эффективного процесса обучения как индивидуальной, так и коллективной форм. Очевидно, что применяемым в настоящее время методам еще далеко до совершенства, поэтому исследования процессов обучения и контроля знаний студентов по-прежнему сохраняют свою актуальность и практическую значимость.
Известно, что использование количественных методов в исследованиях систем различного происхождения эффективно только до определенного уровня сложности этих систем. Выше этого уровня сложности численные методы не в состоянии описать протекающие процессы, поэтому при исследовании таких систем надо отказаться от высоких стандартов точности и строгости, которые, как правило, ожидаются при математическом анализе механических систем, и отнестись более терпимо к иным подходам, которые изначально являются приближенными по своей природе. Поэтому моделирование на основе нечеткой логики, принося в жертву точность перед лицом чрезвычайной сложности изучаемых систем и процессов, становится единственным эффективным методом анализа, например, такого объекта как образование человека. Построение приближённых моделей рассуждений человека и использование их в образовании является одной из важных задач науки. Проблема решается с привлечением теории нечетких множеств и нечетких отношений, которая составляет теоретическую основу экспертных систем [10-11].
Целью представленной работы является разработка одного из методов адаптированного контроля знаний студентов, основанного на теории нечетких множеств и нечетких отношений. Существенным отличием является то, что тестовый контроль
проводится не по одной традиционной характеристике "знает - не знает", а одновременно по нескольким, таким как: наличие знаний, прочность усвоенного учебного материала и творческий подход в решении задач. Другой положительной особенностью является применение функции принадлежности нечеткой оценки, учитывающей взаимосвязь между знанием учебного материала, прочностью полученных знаний и творческими способностями испытуемых.
МЕТОДИКА ИССЛЕДОВАНИЯ
В представленной работе рассматривается метод, обладающий простотой реализации, исключающий субъективное влияние преподавателя на оценку и позволяющий достаточно адекватно отражать знания экзаменующегося. Метод учитывает основные нечеткие характеристики тестирования такие, как сложность вопросов, правильность ответа и время подготовки к ответу. Для каждого коэффициента устанавливается своя шкала соответствия, которая состоит из интервальных значений, образующих нечеткое множество. Каждый ответ записывается в виде совокупности функций принадлежности данному множеству. Такая процедура называется фаззификацией (fuzziness), то есть введением нечеткости. Далее определяется средняя взвешенная оценка по каждой характеристике (операция дефаззификации) и находится итоговая оценка как средняя арифметическая по всем средним взвешенным.
Рассмотрим более подробно конкретный пример адаптивной базовой модели, построенной на основных принципах теории нечетких множеств.^Для простоты не будем учитывать предысторию образовательного процесса студента. Это является недостатком данной модели, который легко убирается введением рейтингового коэффициента, составленного по результатам промежуточных тестовых испытаний в течение всего семестра. Будем считать, что студент сдал экзамен, если получил любую положительную оценку, кроме «неудовлетворительно».
Эксперту по дисциплине необходимо разработать соответствующий набор вопросов по каждому уровню сложности. Сложность этих вопросов должна соответствовать различному уровню подготовки студентов. Предположим, что имеется 4 уровня сложности вопросов: простой, средний, сложный и очень сложный (табл.1).
Таблица 1. Интервалы сложности вопросов
Номер строки, / Нечеткое определение сложности задания Интервалы значений функции принадлежности сложности заданий, ц | Среднее интервальное значение функции принадлежности,
1. Простой (0; 0.1) 0,05
2. Средний (0.1; 0,7) 0,4
3. Сложный (0.7; 0,9) 0.8
4. Очень сложный (0.9; 1,00) 0.95
В данной модели для простоты используются средние величины каждого интервала. Метод можно сделать более подробным, если использовать дополнительно граничные значения интервалов.
Далее введем нечеткую характеристику «правильности» ответа на вопрос. Эта величина определяет то, как успешно студент ответил на текущий вопрос. За основу взята нормированная на единицу балльно-рейтинговая система оценивания знаний, принятая в КГЭУ в 2008 г. Используемый в расчетах коэффициент правильности ответа равен среднему значению интервалов правильности ответов (табл.2).
Таблица 2. Интервалы правильности ответов
Номер строки, і Нечеткое определение правильности ответа Интервалы значений функции принадлежности правильности ответа, ^ 2 Среднее нтервальное значение функции принадлежности правильности ответа, ц 2
1. Неверно (0; 0.3) 0.175
2. Верно с ошибкой (0.36; 0.75) 0.550
3. Верно с недочетом (0.76; 0.90) 0.830
4. Верно (0.91; 1.00) 0.995
Одним из важных факторов в процессе тестирования служит время, даваемое на ответ. При наличии избыточного времени у студента появляется возможность воспользоваться дополнительными источниками информации (например, шпаргалками), а это в свою очередь дает погрешность в оценке действительных знаний студента. Однако необходимо учитывать и то, что людям с научным складом ума обычно требуется больше времени для вникания в условие задачи, чем мыслящему поверхностно и не обладающему глубокими знаниями студенту. С учетом этого введем безразмерную нечеткую характеристику прочности знаний (табл.3);
Таблица 3. Характеристика прочности знаний
Номер строки, і Нечеткое определение времени подготовки к ответу, t Интервалы времени подготовки к ответу, к1 =д ¡¡¡1 Интервалы значений функции принадлежности прочности знаний,^3 = 1 кг Среднее интервальное значение функции — 3 принадлежности, ^ 3
1. Норма (1.0; 1.2) (10; 0,833) 0,916
2. Недолго (1.2; 1,5) (0,833; 0,667) 0,750
3. Долго (1.5; 10.0) (0,667; 0,10) 0,384
4. Очень долго (10.0; 30.0) (0,10; 0,033) 0,066
Здесь t - заданный временной интервал для подготовки к ответу на один вопрос, мин; д х - время, затраченное студентом на подготовку к ответу. В результате общая
(итоговая) оценка будет определяться следующими факторами: пропорциональным количеством вопросов разной сложности; правильностью ответа на вопрос; временем, затраченным на подготовку ответов на вопросы.
Для более адекватного соответствия данного параметра ситуации, при которой более длинный промежуток (интервал) времени подготовки соответствует более низкой оценке, в расчетах применялся коэффициент прочности знаний, равный среднему интервальному значению функции принадлежности подготовку к ответу з_Л .
№ г */ д ¡г
Преподавателем заранее до экзамена разрабатывается таблица функции
принадлежности нечетких оценок 4, учитывающей взаимосвязь между знанием
^¡к
учебного материала, прочностью полученных знаний и способностью к творческому подходу в решении задач. Один из возможных вариантов, составленный нами, представлен в табл.4.
В качестве примера в табл.5 представлены результаты тестирования одного из студентов Таганрогского радиотехнического университета. Следует отметить, что данные для столбцов 1 и 2 взяты из [12]. Данные столбца 3 смоделированы нами для того, чтобы продемонстрировать полностью нашу методику расчетов. Значения столбца 3 составлялись случайным образом, но с учетом того, что более прочные знания у обычного студента объективно уменьшают время подготовки к ответу.
Таблица4. Нечеткое определение знания учебного материала,
Очень сложный Сложный Средний Простой Сложность задания
Долг О Не- долг 0 Норм а Оче нь долг 0 Долг 0 Не- долг 0 Норм а Оче нь долг 0 Долг 0 Не- долг 0 Нор ма Оче нь долг 0 Долг 0 Не- долг 0 Нор ма храненное время на ответ Балл ы Ответ
0,2 0,3 0,4 0,2 0,3 0,4 0,5 0,3 0,4 0,5 0,6 0,4 0,5 0,6 0,7 Неуд. - Неверно
0,8 0,7 0,6 0,8 0,7 0,6 0,5 0,7 0,6 0,5 0,4 0,6 0,5 0,4 0,3 Ниже среднего
О О О О О О О о о о о о о о о Средний и)
о О о о О о о о о о о о о о о Выше среднего 45»
о о о о о о о о о о о о о о о Отлично ип
о о о о о о о о о о о о о о о Неуд. - Верно с ошибкой
о о о о о о о 0,7 0,6 0,5 0,4 о со 0,7 0,6 0,5 Ниже среднего
о о о 0,7 0,6 0,5 0,4 0,3 0,4 0,5 0,6 0,2 0,3 0,4 0,5 Средний и)
0,2 0,4 0,3 0,3 0,4 0,5 0,6 о о о о о о о о Выше реднего 45»
0,8 0,6 0,7 О О О О о о о о о о о о Отлично ип
О О О о о О о о о о о о о о о Неуд. - Верно с недочетом
о о о о о О о 0,7 0,5 0,4 0,2 0,9 0,7 0,5 0,3 Ниже среднего
о о о 0,4 0,3 0,2 0,1 0,3 0,5 0,6 0,8 0,1 0,3 0,5 0,7 Средний и)
0,3 0,2 0,1 0,6 0,7 0,8 0,9 о о о о о о о о Выше среднего 45»
0,7 0,8 0,9 О О О О о о о о о о о о Отлично ип
О о О о о о о о о о о о о о о Неуд. - Верно
о о о о о о о 0,6 0,4 0,2 о 0,7 0,5 0,3 0,1 Ниже среднего
о О о 0,3 0,2 0,1 о 0,4 0,6 о со - 0,3 0,5 0,7 0,9 Средний и)
0,2 0,1 о 0,7 О со 0,9 - о о о о о о о о Выше среднего 45»
О со 0,9 - О о О о о о о о о о о о Отлично ип
Оче нь 0,1 0,9 0 0 0 0 0 0 0,1 0,9 0 0 0 0,4 0,6 0 0 0 0,3 0,7
долг о
Нечеткая оценка (табл.5) определяется компьютером по таблицам 1-4 в процессе тестирования и представляет собой значения функции принадлежности ^ к
множества оценок: неудовлетворительно, ниже среднего, среднее, выше среднего, отлично (А=1,2,3,4 и 5- соответственно).
Таблица 5. Нечеткая оценка
№ Правильность ответа Уровень сложности Время подготовки Нечеткая оценка
п/п к ответу Неуд. Ниже средн. Средн. Выше средн. Отл.
1 Неверно Средний Недолго 0,5 0,5 0 0 0
2 Верно Средний Недолго 0 0,2 0,8 0 0
3 Верно Средний Норма 0 0 1 0 0
4 Верно Средний Норма 0 0 1 0 0
5 Верно Сложный Недолго 0 0 0,2 0,8 0
6 Верно Очень сложный Долго 0 0 0 0,3 0,7
7 Верно Очень сложный Очень долго 0 0 0 0,2 0,8
8 Верно Очень сложный Долго 0 0 0 0,2 0,8
9 Верно Очень сложный Очень долго 0 0 0 0,3 0,7
10 Верно Очень сложный Норма 0 0 0 0,2 0,8
11 Верно Очень сложный Недолго 0 0 0 0,3 0,7
12 Неверно Очень сложный Норма 0,2 0,8 0 0 0
13 Верно Очень сложный Очень долго 0 0 0 0,1 0,9
14 Неверно Очень сложный Долго 0,3 0,7 0 0 0
15 Верно с ошибкой Сложный Недолго 0 0 0,7 0,3 0
16 Верно Сложный Долго 0 0 0,2 0,8 0
17 Верно Сложный Недолго 0 0 0,1 0,9 0
18 Верно Сложный Недолго 0 0 0,2 0,8 0
19 Неверно Сложный Долго 0,3 0,7 0 0 0
20 Верно с недочетом Сложный Недолго 0 0 0,2 0,8 0
21 Верно Сложный Долго 0 0 0,2 0,8 0
22 Неверно Сложный Норма 0,4 0,6 0 0 0
23 Верно с ошибкой Средний Недолго 0 0,5 0,5 0 0
24 Верно Простой Норма 0 0,1 0,9 0 0
25 Верно Простой Норма 0 0,1 0,9 0 0
26 Неверно Простой Норма 0,7 0,3 0 0 0
27 Верно Простой Норма 0 0,1 0,9 0 0
28 Верно Простой Норма 0 0,1 0,9 0 0
29 Верно Простой Норма 0 0,1 0,9 0 0
30 Верно Средний Недолго 0 0,2 0,8 0 0
Функция принадлежности ¡Л нечеткой оценки ответа и сама нечеткая оценка ответа г при дефаззификации рассчитываются как средние взвешенные величины по формулам
5 30 5 30
^ \ ^ \ Л г к гг к ^ 1 ^ Л г к ггк
к=1 г'=1 к=\ г=1
Л = ----------------- г = -------------------
5 30 5 30
^ ^ г1к ^ ^Лгк
к=1 г=1 к=1 г=1
где механизм нечеткой оценки знаний поддерживается посредством:
■ ввода экспертом (преподавателем) вопросов четырех уровней сложности;
■ предложением экспертом нескольких (не менее 4) вариантов ответов и оценки каждого ответа;
■ ввода возможных подсказок на вопрос и зависимости изменения оценки за вопрос от их использования;
■ ввода промежутка времени, необходимого для подготовки к ответу на этот вопрос.
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Вычисления, выполненные по формулам (1) на основании результатов, представленных в табл.5, дают по пятибалльной шкале следующие значения:
■ творческий подход в решении задач г1 = 3 568 баллов; данной оценке соответствует значение функции принадлежности /и1= 61,5%;
■ знание учебного материала г 2= 3,612 баллов; данной оценке соответствует значение функции принадлежности Л2= 79 6%;
■ прочность полученных знаний г3 = 2,981 баллов; данной оценке соответствует значение функции принадлежности ^3= 60,4% ■
Частичное соответствие функций принадлежности своим оценкам означает то, что полученные средние весовые значения из всего множества заданий наиболее адекватно отражают приведенный процент различных по сложности заданий. Остальной процент заданий определяется оценками выше и ниже среднего весового значения, которые не позволяют судить о знаниях испытуемого студента в целом.
По приведенным результатам тестового испытания можно сделать следующий вывод: на момент сдачи экзамена данный студент обладает способностями чуть выше среднего уровня ( г1 = 3,568, Л1= 61,5%), при подготовке к тестированию готовился особенно себя не утруждая (
г3 = 2,981, л 3= 60,4% ), что и отразилось на весьма средней оценке знаний (г2= 3,612 , Л2= 79 6о/о )■
ЗАКЛЮЧЕНИЕ
Новизна метода заключается в применении функции принадлежности нечетких
оценок 4 , учитывающей взаимосвязь (корреляцию) между знанием учебного
№ ¡к
материала, прочностью полученных знаний и способностью к творческому подходу в решении задач.
Практическая значимость работы состоит в том, что разработанную методику легко алгоритмизировать для компьютерного тестирования и можно использовать на экзаменах без каких либо существенных изменений.
Литература
1. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. -М.: -Физматлит, 2001.
2. Шишкин И.Ф. Квалиметрическая система аттестации высших учебных заведений: XI-ая Всероссийская научнометодическая конференция «Проблемы качества образования». -Уфа-Москва: Минобразования РФ. СЗТУ, 2001.
3. Рыжкин А., Ефремова Н. Современные измерители знаний (опыт тестирования) // Высшее образование в России.
2001. -№1. -С.15-24.
4. Астанин С.В. Оценка знаний на основе нечеткой логики. Материалы конференции «Анализ качества образования и тестирование». -М.: МЭСИ, 2001.
5. Домрачев В.Г.,Полещук О.М.,Ретинская И.В. Прогнозирование показателей качества образовательных услуг на основе успеваемости. // Качество. Инновации. Образование. 2002. -№4.- С.49-52.
6. Зайцева Л.В. Модели и методы адаптации к учащимся в системах компьютерного обучения. // Educational Technology & Society. -2003. -№6(3). -РР.204-212.
7. Алексеенко Е.А., Довгялло А.М., Косая И.Х. СПОК Щ система программирования и поддержания обслуживающих и обучающих курсов//Управляющие системы и машины. -1978. -№2. -С.127-128.
8. Сельманова Н.Н.,Максудова Л.Г., Абросимов В.В, Абросимов Д.В. Обучающе-аттестующая система по естественным научным дисциплинам // Труды междунар. научно-методич. конференции «Телематика 2001. 18-21 июня 2001г.». -СПб. -2001. -С.85.
9. Зайцева Л.В.,Прокофьева Н.О. Модели и методы адаптивного контроля знаний.// Educational Technology & Society. -2004. -№7(4). -РР.265-277.
10. Андреев А.Б.,Акимов А.В., Усачев Ю.Е. Экспертная система анализа знаний {^^HEPT-TC^/Proceedings of the 2nd IEEE International Conference on Advanced Learning Technologies (ICALT 2002), 9-12 September 2002. -Kazan, Russia. -
2002. -PP.97-101.
11. Pesin L. Knowledge Testing and Evaluation in the Integrated Web-Based Authoring and Learning Environment// Proceedings of the 3rd IEEE International Conference on Advanced Learning Technologies (ICALT 2003). -Athens, Greece. -
2003. -PP.268-269.
12. Попов Д.И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений. http:// www.tsure.ru
