CC BY
15
Дидактическая инженерия: проектирование высокоточного измерительного средства педагогического тестирования
Нуриев Наиль Кашапович профессор, д.п.н., заведующий кафедрой информатики и прикладной математики, Казанский государственный технологический университет, ул. К.Маркса, 68, г. Казань, 420015, (843)2314119 nurievnk@mail. ru
Старыгина Светлана Дмитриевна доцент, к.п.н., доцент кафедры информатики и прикладной математики, Казанский национальный исследовательский технологический университет, ул. К.Маркса, 68, г. Казань, 420015, (843)2314119 svetacd kazan@mail.ru
Аннотация
Преподаватель, который проводит тестовый контроль знаний, почти никогда не знает, насколько точно он может оценить усвоенные знания студента тем инструментом, которым располагает.
Предложен метод, который позволяет ему оценить качество измерительного инструмента тестирования.
A teacher who conducts a test control of knowledge almost never knows how accurately he can assess the student's acquired knowledge with the tool that he has. A method is proposed, which allows him to assess the quality of the measuring tool testing.
Ключевые слова
тестовая система, качество измерения, диаграмма Кивиата, валидность вопроса, релевантность вопроса, репрезентативность теста the test system, the quality of the measurement, figure Kiviat, the validity of the question, the relevance of the question, the representativeness of the test
Как показывает практика, на современном этапе развития образования проблемы дидактики не могут быть разрешены в рамках только педагогики, т.к. сегодня студент занимается учебной деятельностью в реально-виртуальном образовательном пространстве (преимущественно в техногенной среде), поэтому многие процессы учебной деятельности и диагностики должны быть формализованы, а затем автоматизированы. Для решения таких задач приходится наряду с педагогическими методами привлекать инженерные методы. В связи с этим в дидактике возникла новая методология, т.е. новый раздел науки об организации учебной деятельности с использованием инженерных методов и средств. Эту методологию назвали «Дидактической инженерией» [1]. Многие проблемы, рассматриваемые в рамках дидактической инженерии, решаются с привлечением методов математического моделирования и численных методов [2-5].
Математическая модель
Поставим цель: спроектировать технологию для педагогического тестирования, при котором
dZ = abs(Z - Z1) ^ 0,
где dZ - точность результата тестирования; Z - латентный (скрытый) показатель качества, усвоенного учебного материала студентом; Z1 - установленный путем тестирования результат, т.е. выявленный показатель качества усвоенного материала.
Рассмотрим модель технологии тестирования, в которой точность dZ результата тестирования Z1 зависит: 1) от показателя точности тестовой системы как инструментального измерительного средства (параметр U); 2) корректности организации процесса тестирования (параметр R); 3) защищенности от фальсификации (параметр Е).
Формально модель технологии тестирования можно представить так
Z1 = F( Z, U, R, E)
U = U(VAL, REL, REP, KSM(POL, CHL))
R = R(S, V),
где F(*), U(*), R(*) - функционалы, описывают влияние перечисленных факторов на результат тестирования, U - характеристика качества тестирующей системы как инструментального средства, который зависит: VAL - показатель валидности теста по содержанию (может принять любое значение от 0 до 1). Показатель равный 1 означает, что, по мнению эксперта, вопросы теста корректно и целесообразно сформулированы для оценки качества усвоенных знаний; REL - показатель релевантности (изменяется от 0 до 1), т.е. этот показатель характеризует, насколько вопросы принадлежат тестируемой предметной области. Показатель равен 1, если, по мнению эксперта, вопросы полностью из тестируемой предметной области; REP - показатель репрезентативности или представительности (изменяется от 0 до 1) т.е. все аспекты (части) изучаемой предметной области, по мнению эксперта, отражены и представлены в тесте; RSM - коэффициент «смещения» количества вопросов теста к какому-то типу, т.е. тест считается не смещенным (RSM = 1), если количество вопросов, проверяющих качество полноты (POL) владения знаниями, равно количеству вопросов, проверяющих качество целостности (CHL) владения им знаниями. На практике это означает, что вопросы, специально сформированы для оценки наличия у студента знаний этих двух типов. POL - тип вопросов, которые позволяют выявить знания конкретных данных, определений, понятий, объектов из изучаемой (осваиваемой) предметной области (такого типа знания поддерживает клиповой образ мышление). CHL - тип вопросов, направленных для установления наличия знаний о целостности предметной области (поддерживает понятийный образ мышления). Этот тип вопросов, предназначен для оценки знаний причинно -следственных связей между объектами, явлениями, понятиями, процессами, методами, технологиями и в целом организационной структуры (целостности) осваиваемой предметной области. Ответы на этот тип вопросов характеризуют не только наличие разрозненных знаний, но и понимания целостной (системной) организации предметной области. Будем считать, что в нормированном на полноту и целостность тесте должно быть 50% вопросов на полноту и 50% на целостность. Этот факт эксперт фиксирует как POL = CHL = 0,5. Если имеется «перекос» по типу вопросов, то этот факт отмечается, например, так POL=0,8; CHL=0,2 (80% вопросов на POL и 20% на CHL). R - характеристика качества организации самой процедуры тестирования, которая в свою очередь зависит от параметров: S - мера сложности теста, V - мера продолжительности времени, отведенного на тестирование. Е -показатель защищенности результатов тестовой системы от фальсификации, который зависит от: возможности угадывания ответов, количества заданных вопросов, количества однородных вопросов в базе для случайного выбора. В данной работе значение показателя оценивается экспертом в интервале от 0 до 1.
Тестирование считается реализованной по идеальной технологии, если результат Z1 получен в процессе тестирования с показателями
Z1 = F( Z, 1, 1, 1).
Тестирование, организованное по идеальной технологии обеспечивает достижение результата по критерию, указанному в цели, т.е. dZ = abs(Z - Z1) = 0.
Модель оценки параметра U - качества содержания инструментального средства
Как следует из модели, качество инструментального измерительного средства тестирования зависит от значений параметров VAL, REL, REP, KSM (POL, CHL). Оценка значений этих параметров производится экспертом (группой экспертов) по определенному алгоритму. Этот алгоритм распишем на примере с конкретными размерностями.
Рассмотрим ситуацию: допустим, студенты (25 человек) к назначенному сроку должны усвоить учебный материал из определенной темы, который состоит из четырех разделов. Тест, предназначенный для оценки качества усвоенных знаний, состоит из 12 вопросов.
Раздельно рассмотрим методики экспертизы одним экспертом и группой экспертов.
Методика экспертизы одним экспертом. Результаты оценок эксперта сформируем в специальную таблицу (рис. 1)._
Показатели
№ Вопросы VAL REL Номер Вопрос Вопрос
раздела типа POL типа POL
1. Вопрос 1 1 1 1 1
2. Вопрос 2 0,8 1 1 1
3. Вопрос 3 0,7 1 2 1
4. Вопрос 4 0,9 1 3 1
5. Вопрос 5 1 0,9 2 1
6. Вопрос 6 1 0,8 2 1
7. Вопрос 7 1 1 2 1
8. Вопрос 8 0,9 1 2 1
9. Вопрос 9 0,8 1 4 1
10. Вопрос 10 1 1 1 1
11. Вопрос 11 1 1 2 1
12. Вопрос 12 1 1 3 1
Среднее значение 0,925 0,975
Значение REP 0,49
Количество 10 2
Коэффициент переноса KSM 0,2
Рис. 1. Результаты оценок эксперта
Методика расчета показателей
1) VAL: Сред. ариф.=(1+0,8+0,7+0,9+1+1+1+0,9+0,8+1+1+1)/12=0,925
2) REL: Сред.ариф.=(1+1+1+1+0.9+0.8+1+1+1+1+1+1)/12=0,975 _3) REP: вычисление сводной таблицы (рис. 2)._
Номер раздела Количество вопросов Значение невязки как часть из 12 вопросов
1 3 3/12=0,25
2 6 6/12=0,5
3 2 2/12=0,16
4 1 1/12=0,08
Рис. 2. Вычисление значений невязки
Суммарное значение невязки
s=(0,25-0,25)+(0,5-0,25)+(0,25-0,16)+(0,25-0,08)=0,51 ДЕР=1-е=1-0,51=0,49.
4) Коэффициент перекоса KSM=2/10=0,2.
Качество тестовой системы как инструментального средства рассчитывается как среднее геометрическое:
U = VVAL■ REL■ REP■ KSM = 4^0,925 • 0,975 • 0,49 • 0,2 = 0,55 .
Таким образом, величина U, как показателя качества тестовой системы, (инструментального средства) равна 0,55, т.е. составляет 55% из возможных 100%.
Графически состояния качества инструментального средства можно показать с помощью диаграммы Кивиата, которая характеризует дифференцированное отличие реального инструментального измерительного средства от идеального. Очевидно, можно вычислить интегральную характеристику тестирующего инструмента (определить закрашенную площадь ). Разумеется, на практике все вычисления делаются автоматизированным способом (рис. 3).
Заключение
Таким образом, тестирование, проведенное по идеальной технологии имеет следующие значения параметров 11 = ¥(1, и=1, Л=1, £=1). В рассмотренном случае было установлено, что тестирование будет реализовано по технологии с низким значением параметра П-показателя качества содержания инструментального средства педагогического тестирования, т.е. со значениями параметров 11 = ¥(1, П=0,55, R, Е). Методика оценки значения параметра Я- показателя качества организации процедуры тестирования приводятся в работе «Дидактическая инженерия: разработка регламента педагогического тестирования», который напечатан в этом же выпуске этого журнала.
Работа выполнена при поддержке гранта РФФИ (проект № 15-07-05761).
Литература
1. Чошанов М.А. Дидактика и инженерия. - М.: БИНОМ. Лаборатория знаний, 2011. - 248 с.
2. Нуриев Н.К., Старыгина С.Д., Гибадуллина Э.А. Дидактическая инженерия: проектирование систем обучения нового поколения // Интеграция образования. -2016. - Т. 20. - № 3 (84). - С. 393-406. DOI: 10.15507/19919468.084.020.201603.393-406.
3. Нуриев Н.К., Старыгина С.Д. Дидактическая инженерия: подготовка инженеров в техногенной образовательной среде //Образование и наука. 2016. № 9 (138). -С.61-79. DOI: 10.17853/1994-5639-2016-9-61-79.
4. Нуриев Н.К., Старыгина С.Д., Ахметшин Д.А. Дидактическая инженерия: проектирование электронного учебного курса с учетом «зоны ближайшего развития» студента // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)" (http://ifets.ieee.org/russian/periodical/iournal.html). - 2016. - V.19. - N 1. - С. 558566. ISSN 1436-4522.
5. Старыгина С.Д., Нуриев Н.К. Дидактическая инженерия: проектирование ЭОР для подготовки инженеров в метрическом компетентностном формате // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)"
(http://ifets.ieee.org/russian/periodical/iournal.html). - 2016. - V.19. - N 1. - С. 567577. ISSN 1436-4522.
