CC BY
58
УДК 37.016 ББК 74.202.5 К 59
Е.А. Кокшарова
ВЫБОР КРИТЕРИЕВ ЭФФЕКТИВНОСТИ ДЛЯ ПЕДАГОГИЧЕСКОЙ ЭКСПЕРТНОЙ СИСТЕМЫ, ОСУЩЕСТВЛЯЮЩЕЙ ОЦЕНКУ КАЧЕСТВА
ОБУЧАЮЩИХ ТЕСТОВ
(РЕЦЕНЗИРОВАНА)
Аннотация. Оценка качества обучающего тестирования на сегодняшний день является одной из актуальных и своевременных проблем. В статье предлагается подход к решению данного вопроса на основе применения информационных технологий в виде педагогической экспертной системы.
Ключевые слова: обучающий тест, педагогическая экспертная система.
E.A. Koksharova
CHOICE OF EFFICIENCY CRITERIA FOR THE PEDAGOGICAL EXPERT SYSTEM CARRYING OUT THE ESTIMATION OF QUALITY OF TRAINING TESTS
Abstract. The estimation of quality of training testing for today is one of the acute and timely problems. The author offers the approach to the solution of this point in question on the basis of application of an information technology in the form of pedagogical expert system.
Keywords: the training test, pedagogical expert system.
Необходимость адаптации образования к потребностям современного общества обуславливает поиск инновационных методов получения сведений об уровне, достигнутом учащимися в ходе обучения. Одним из направлений такого поиска является разработка теории обучающих тестов. В свою очередь, одним из следствий этой теории является выделение ряда таких характеристик, которые позволяют судить о качестве теста еще до того, как он будет апробирован на репрезентативной группе обучаемых. Важно, что эти характеристики могут быть формализованно описаны, и потому возникает идея создания педагогической экспертной системы для оценивания качества создаваемых обучающих тестов.
Перед нами стоит цель показать, что использование нашей педагогической экспертной системы педагогически эффективно в получении качественной оценки обучающих тестов.
Проблемой педагогической эффективности занимались Ю.К. Бабанский, Г.Н. Александров, В.М. Блинов, В.В. Сериков, В.М. Полонский и др. По их мнению, традиционная методика создания эффективных педагогических программных средств (ППС) включает следующие этапы:
- разработка ППС;
- экспериментальное использование ППС;
- оценка эффективности ППС;
- доработка (если это необходимо).
В то же время они отмечают, что освоение все более новых образовательных технологий, целью которых является максимальная личностно-ориентированная эффективность, требует определения критериев для самого понятия «педагогическая эффективность».
В этом вопросе нам представляется перспективным подход к оценке эффективности современных исследователей В.А. Станкевича и др., которые [1] утверждают, что эффективность - это показатель результатов деятельности обучающего по следующим критериям:
- затраты времени на достижение заданной цели обучения;
- количество компонентов знаний и умений, усвоенных обучаемым;
- качество знаний.
Разумеется, эти критерии, чтобы стать применимыми, требуют параметризации. Мы выделяем четыре параметра, по которым можно судить об эффективности педагогической экспертной системы:
а) затраты времени;
б) объективность процедуры;
в) качество получаемых обучающих тестов;
г) доступность и полнота объяснений ПЭС.
Что касается первых двух параметров, они уже были достаточно полно обоснованы как критерии, необходимые для эффективности системы (см.[2]).
Установление эффективности ПЭС по параметру качества получаемых обучающих тестов основывалось на эксперименте.
Эксперимент состоял в следующем:
- испытуемые конструируют обучающий тест и оценивают его качество неавтоматизированным методом;
- производится оценка качества с помощью ПЭС и выдаются рекомендации по направлениям улучшения качества;
- испытуемые проводят корректировку своих обучающих тестов в соответствии с этими рекомендациями, улучшая характеристики качества настолько, насколько им представляется возможным;
- проводится сравнительный анализ полученных показателей качества с использованием ПЭС с доэкспериментальными показателями.
Опишем каждый из этих этапов эксперимента подробнее.
1 этап: группе испытуемых предлагается создать обучающий тест (без
использования ПЭС), вычислить параметры, отвечающие за качество теста, и сравнить их с установленными критериями (табл. 1).
Таблица 1.
Группа характеристик Характеристики тестов Шкала допустимых значений
Нормативность 1. Минимальный уровень свернутости теста От 1 до 4
2. Максимальный уровень свернутости теста От 1 до 4
3. Среднее значение уровня свернутости теста Не менее 3
4. Длина теста
5. Ширина теста От 2 до 4
6. Степень разветвленности теста От 2 до 4
Валидность и надежность 7. Уровень альтернативности теста максимальный Не менее 0,3
8. Уровень альтернативности теста минимальный Не менее 0,3
9. Уровень альтернативности теста средний
10. Степень неравномерности теста Не более 1
11. Уровень сложности теста максимальный
12. Уровень сложности теста минимальный
Степень обучения 13. Направленность на обучение
2 этап: вывод параметров теста и осуществление их мониторинга в процессе работы испытуемого с обучающим тестом в ПЭС;
- интерпретация результатов мониторинга и рекомендации ПЭС о путях улучшения параметров, отвечающих за качество теста;
- генерация вывода ПЭС о качестве полученного обучающего теста и пригодности его использования в процессе обучения.
3 этап: тем же испытуемым предлагается с помощью ПЭС произвести корректировку своих обучающих тестов через взаимодействие испытуемых с экспертным компонентом системы и тем самым улучшить качество тестов.
4 этап: сравнение значений параметров скорректированных обучающих тестов с показателями тех же параметров на первом этапе эксперимента.
Допустимый уровень качества не ограничен, но в пределах, установленных шкалой качества.
В течение всего эксперимента испытуемые заполняют таблицу следующего образца (табл. 2):
Таблица 2.
Параметры обучающего теста, созданного без использования ПЭС Параметры обучающего теста, созданного с использованием ПЭС
Ф.И.О. испытуемого альтернативность минимальная альтернативность максимальная степень неравномерности альтернативность минимальная альтернативность максимальная степень неравномерности
Тест N°...
Для оценки полученных данных нами был использован наиболее распространенный метод среднеквадратичного отклонения.
По каждому обучающему тесту находим среднее квадратичное отклонение по формуле:
где ° - среднее квадратичное отклонение; х - среднее значение параметра; 3 - количество параметров; хі- частные значения параметров (1 < I < 3).
Для каждого обучающего теста вычисляются значения параметра качества на
і і первом этапе эксперимента К| = __ и на втором этапе К2= _г _1. Затем в соответствии со
шкалой качества каждому значению коэффициента качества выставляется оценка, выраженная в процентах (см. табл. 3):
Таблица 3.
Значение & Значение К (%) Характеристика качества
0-0,08 100% - 93% Лучший уровень качества
0,08-0,16 93% - 86% Хороший уровень качества
0,16-0,25 86% - 80% Средний уровень качества
0,25-0,37 80%-73% Минимально допустимый уровень качества
0,37-0,6 73%-63% Низкий уровень качества
Выше 0,6 Ниже 63% Абсолютно неприемлемое качество
Находим процентные значения двух величин - достигнутый уровень качества обучающего теста и теоретически возможный уровень качества того же обучающего теста.
Таблица 4.
Ф.И.О. испытуемого Параметр качества, обучающего теста, созданного без использования ПЭС (КО Параметр качества, обучающего теста, созданного с использованием ПЭС (К2) Улучшение качества К* (%) Возможное улучшение качества
Тест N°...
Для того чтобы установить, насколько разработанная нами ПЭС эффективна по критерию доступности и полноты объяснений, было проведено анкетирование среди испытуемых, выполнявших корректировку обучающих тестов с помощью ПЭС.
Анализ результатов эксперимента по выбранным критериям выявил положительную динамику и стабильный рост среднего показателя качества получаемых обучающих тестов в результате использования ПЭС. Средний показатель улучшения качества обучающих тестов варьируется от 11% до 15%, при среднем показателе возможного улучшения качества 22%-25%.
Полученные данные формирующего эксперимента подтвердили, что использование ПЭС для оценки качества обучающих тестов эффективно и способствует повышению уровня качества создаваемых обучающих тестов.
Примечания:
1. Станкевич В.А. Педагогическая эффективность средств и методов обучения: на примере учебных предметов географического цикла: дис. ... канд. пед. наук. Владикавказ, 1998. 143с.
2. Кокшарова Е.А. Педагогическая экспертная система как средство оценки качества обучающих тестов // Вестник Челябинского государственного педагогического университета. Челябинск, 2008. № 12. С. 79-86.
References:
1. Stankevich V.A. Pedagogical efficiency of means and training methods: as shown by subjects of a geographical cycle: Thesis for Candidate of Pedagogy degree. Vladikavkaz, 1998. 143 p.
2. Koksharova E.A. Pedagogical expert system as means of an estimation of quality of training tests// Bulletin of Chelyabinsk State Pedagogical University. Chelyabinsk, 2008. No. 12. P. 79-86.
