CC BY
94
УДК 004.422.8:378 ББК 32.973.26-018.2 Т 31
Тельнов Г.В.
Кандидат технических наук, профессор кафедры компьютерных технологий и информационной безопасности Кубанского государственного технологического университета, Краснодар, e-mail: tgv56@mail.ru
Оценка показателей качества тематических заданий тестового модуля учебной дисциплины и уровня ее освоения
(Рецензирована)
Аннотация. Рассмотрены методики оценки качества разрабатываемых тестов и уровня освоения учебного материала на основе алгоритмических процедур стандартной офисной программы Microsoft Excel и графического представления результатов их анализа. Получены графические зависимости для коэффициентов решаемости и дискриминативности тематических тестовых заданий, надежности теста и уровней освоения учебного материала как по основным структурным (дидактическим или модульным) единицам, так и в целом. Анализ графических материалов позволяет определить не только качественную характеристику разрабатываемых тестовых модулей, но и обнаружить тематические тестовые задания с низкой дискриминативностью. Это позволит своевременно принять соответствующие управленческие решения по их доработке и последующего использования для мониторинга качества освоения учебного материала при принятых соответствующих критериях оценки.
Ключевые слова: бинарная матрица ответов тестируемых, критерии надежности и валидности теста, коэффициенты решаемости и дискриминативности тестовых заданий, закон распределения тестовых баллов и его аппроксимация, уровень освоения учебного материала.
Telnov G.V.
Candidate of Technical Sciences, Professor of Computer Technologies and Information Security Department, Kuban State University of Technology, Krasnodar, e-mail:tgv56@mail.ru
Assessment of quality indicators of thematic tasks of the subject test module and level of its mastering
Abstract. The paper explores the techniques of a quality assessment of the developed tests and level of mastering a learning material on the basis of algorithmic procedures of the standard office Microsoft Excel program and graphical representation of outcomes of their analysis. Graphic dependences have been obtained to examine the solubility and discriminativeness coefficients of thematic test tasks, test reliability and levels ofmastering a learning material, both for the basic structural (didactic or modular) units, and in general. The analysis of graphic materials enables us to determine not only the qualitative characteristic of the developed test modules, but also to find thematic test tasks with a low discriminativeness. This will make it possible to come in due time to the relevant administrative decisions on their completion and the subsequent use for monitoring of quality of mastering the learning material at the accepted corresponding criteria for an assessment.
Keywords: a binary matrix of the students' answers, criteria for test reliability and validity, coefficients of solubility and discriminativeness of test tasks, the law of distribution of test marks and its approximation, level of mastering a learning material.
Разрабатываемые тематические тестовые модули по учебным дисциплинам используются, как правило, в качестве автоматизированных средств мониторинга для оценки уровня освоения учебного материала.
Однако прежде чем они могут быть рекомендованы для использования в практических целях, должно быть принято решение об оценке ряда их важнейших свойств и их соответствия определенным требованиям и критериям практической применимости [1-4].
Основой для проведения соответствующих расчетов и интерпретации полученных результатов может служить дихотомическая оценка результатов тестирования обучаемых, которые обычно представляются в виде бинарной матрицы, учитывающей ответы каждого обучаемого на каждое тематическое тестовое задание. За правильный
ответ тематического тестового задания тестируемый получает «1», а за неправильный ответ - «0».
Такая дихотомическая оценка результатов тестирования обучаемых, как правило, становится уже известной после проведения пробного тестирования с группой обучаемых.
Постановка задачи
На основании бинарной матрицы результатов тестирования разработать алгоритмы автоматизированных расчетов коэффициентов решаемости, дискриминативности тематических тестовых заданий, коэффициентов надежности всего теста, оценить экспериментальное распределение тестовых баллов и соответствие его нормальному закону распределения, а также качество освоения материала учебной дисциплины как по дидактическим (ДЕ) - (модульным единицам - ModE), так и в целом, применительно к [5-7].
Решение задачи
База тематических тестовых заданий анализируемого теста содержит 472 тематических тестовых заданий, которые сгруппированы в 44 тематические единицы. Каждому тестируемому предлагается выборка из 44 тематических тестовых заданий, сформированных по случайному закону, которые объединены в восемь структурных дидактических единиц (ДЕ) или модульных единиц (ModE) [4, 5].
В тестировании участвовало 143 студента (М=143) 3-го курса Института компьютерных систем и информационной безопасности Кубанского государственного технологического университета.
Проводя суммирование всех единиц бинарной матрицы (по строкам), получаем так называемый индивидуальный балл тестируемого (X), который равен количеству правильных ответов на все 44 тематические тестовые задания (/=1,2,.. ,,N), (N=44).
Оценка коэффициента решаемости тематических тестовых заданий - (К"РЕШ.ТЗ)У- -позволяет установить «вес» трудности (легкости) тематических тестовых заданий.
Коэффициент решаемости - (К"РЕШ.ТЗ)У- рассчитывался по формуле
((КРЕШ. ТЗ ^
(1)
,у N
где N'"1" - количество (сумма) правильных ответов обучаемого нау'-е тематическое тестовое задание.
Оценка коэффициента дискриминативности (согласованности) тематических тестовых заданий - (КДИСКР.тЗ)/, проводилась в целях определения степени дифференциации тестируемых по измеряемому признаку, т.е. установление валидности тематических тестовых заданий. Этот коэффициент отождествляется с коэффициентом корреляции между средним результатом всего теста и средним первичным результатом по всем тематическим заданиям теста и позволяет отделять «дифференцировать» подготовленных студентов (обучаемых) от неподготовленных.
Коэффициент дискриминативности - (К"дискр.тз)/ рассчитывался по формуле
(ДИСКР. ТЗ ))
(X.....)., -
X
Nrr ■ N
(N - Nrr )N -1)' (2)
где (X г)/ - среднее арифметическое значение индивидуального балла тестируемого,
правильно выполнившего у'-е тематическое задание; X - среднее арифметическое значение индивидуальных баллов тестируемых по всем тематическим заданиям теста; оХ - среднее квадратическое (стандартное) отклонение индивидуальных баллов тестируе-
мых; (a x=Dx - дисперсия индивидуальных баллов тестируемых).
Для автоматизации дальнейших расчетов и последующего графического представления их результатов воспользуемся возможностями стандартной офисной программой Microsoft Excel -2010.
Экранная распечатка фрагмента работы программы расчета коэффициентов решаемости и дискриминативности тематических заданий тестового модуля по учебной дисциплине «Электроника и схемотехника» в среде Microsoft Excel - 2010 приведена на рисунке 1. Для удобства представления результатов общего анализа строки с 24 по 144 программы скрыты.
Рис. 1. Экранная распечатка фрагмента работы программы расчета коэффициентов решаемости и дискриминативности тематических заданий тестового модуля по учебной дисциплине «Электроника и схемотехника» в среде Microsoft Excel - 2010
Оценка надежности результатов тестирования является не только одной из важнейших характеристик, но и необходимым условием при оценке качества всего теста.
Для оценки надежности теста обычно определяют его коэффициент надежности - КНАД.
м мм
М ' ^ Х/ ЧЕТ " ^ НЕЧЕТ _ Х/ ЧЕТ ) ' ^ НЕЧЕТ ) '
К
i=1
i=1
i=1
НАД. (0,5)
il
M
M
M
M
, (3)
м -¿(х, ЧЕТ ЧЕТ НЕЧЕТ НЕЧЕТ
/=1 /=1 V ,=1 ,=1
где X, ЧЕТ - индивидуальный балл /-го тестируемого по четным номерам тематических тестовых заданий; У, НЕЧЕТ - индивидуальный балл /-го тестируемого по нечетным номерам тематических тестовых заданий; (/=1,2,...М), (М=143).
Так как для оценки коэффициента надежности ^над.(о,5) был использован метод половинного расщепления теста, то необходима коррекция этого коэффициента по формуле Спирмена-Брауна
К Н
2 • К
НАД. (0,5)
1 + К
(4)
"НАД. (С-Б)
■ —(— /л
"НАД. (0,5)
Для повышения достоверности оценки коэффициента надежности теста рассчитаем коэффициент надежности с использованием формулы Кьюдера-Ричадсона
Г м Л
X Р/ ■ Я
= —— 1 -
M
"НАД. (KR-20)
M -1
i=1
о
X
(5)
где р/ - доля правильных ответов /-го тестируемого на у-е тематическое тестовое задание, смысловое значение этого коэффициента соответствует коэффициенту решаемости тематических тестовых заданий - (КРЕШТЗ)у; яу - доля неправильных ответов /-го тестируемого на у-е тематическое тестовое задание (я/=1-р/); и формулы Рюлона [2, 4, 7]
2. П а2
К
= 1 - 2Dx
НАД. (R) 1 1 + D
л-Ох-
X
о
(6)
где ПАХ = а х - дисперсия разностей индивидуальных баллов тестируемого по обеим половинам теста.
Графическая интерпретация результатов расчета коэффициентов решаемости и дискриминативности тематических тестовых заданий представлена на рисунке 2.
0,90
0,00
Коэффициенты решаемости и дискриминативности
ДЕ № 3 I ДЕ № 4 |ДЕ № 5 i ДЕ № 6 |ДЕ № 7 i <-► -► --»i
ДЕ № 1 ДЕ № 2
-—-►
i i
^0—Коэффициент дискриминативности
■Коэффициент решаемости
ДЕ № 8
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 Номера тематических тестовых заданий
Рис. 2. Графическая интерпретация результатов расчета коэффициентов решаемости и дискриминативности тематических тестовых заданий
Анализ представленных графических зависимостей показывает, что тематические тестовые задания довольно удачно сбалансированы как по уровню трудности (коэффициенту решаемости), так и корреляционной связи (коэффициенту дискриминативности)
0,52 < (КрЕШ. ТЗ ) < 0,85 и 0,23 < (КДИСКР. ТЗ ) * 0,56.
Представленные результаты позволяют также определить аналогичные качественные и количественные характеристики по тематическим тестовым заданиям, входящим в структурные единицы учебного материала.
Экранная распечатка фрагмента работы программы расчета коэффициентов надежности теста, в среде Microsoft Excel - 2010 приведена на рисунке 3. Для удобства представления результатов общего анализа строки с 27 по 143 программы скрыты.
Рис. 3. Экранная распечатка фрагмента работы программы расчета коэффициентов надежности теста в среде Microsoft Excel - 2010
В качестве окончательного значения коэффициента надежного всего теста примем усредненное его значение, рассчитанное по формуле
К
НАД. сред.
КНАД. (С-Б) + КНАД. (KR -20) + КНАД. (R)
3
(7)
Сравнительные результаты оценки коэффициентов надежности теста при различных методах расчета приведены в таблице 1. В скобках последнего столбца таблицы указаны значения коэффициентов надежности теста при увеличении выборки обучаемых от 83 до 143 человек.
Таблица 1
Сравнительные результаты оценки коэффициентов надежности теста при различных методах расчета
Название метода расчета Обозначение коэффициента Значения коэффициента
Метод половинного расщепления теста Кнад. (0,5) - формула (3) 0,695 ^ (0,747)
Коррекция метода половинного расщепления теста Кнад. (с-б) - формула (4) 0,820 ^ (0,855)
Метод Кьюдера-Ричардсона Кнад. ож-20) - формула (5) 0,846 ^ (0,847)
Метод Рюлона Кнад. да) - формула (6) 0,823 ^ (0,829)
Усреднение коэффициентов ^НАД. сред. - формула (7) 0,830 ^ (0,844)
Значения коэффициента Кнад. сред=0,844 свидетельствует о высоком его значении, что может быть интерпретировано в качестве необходимого и достаточного условия практического использования исследуемой базы тестовых заданий для мониторинга уровня освоения учебного материала.
Используя индивидуальные баллы тестируемых, приведенные на рисунке 1, произведем графическую интерпретацию распределения тестовых баллов в виде гистограммы экспериментального распределения и слаженных кривых аппроксимирующего и нормального распределений [10].
В качестве параметров экспериментального распределения используем параметры математического ожидания - mx, среднее квадратического отклонение - оХ, коэффициент асимметрии (скоса) - АХ и коэффициент эксцесса - ЕХ, вычисленные с помощью стандартных встроенных функций офисной программы Microsoft Excel - 2010.
Для сглаженной кривой аппроксимирующего нормального распределения используем стандартизованную запись для функции распределения плотности вероятности наблюдаемых тестовых баллов тестируемых вида
p(x ) = p{xj )= — —
1
•V2
exp
n
x - m„
2 —
(8)
Для сравнимости результатов аппроксимирующего нормального распределения используем сглаженную кривую нормального закона распределения (8) с параметрами т х=тх и а Х=тХ/3.
Графические зависимости в виде гистограммы экспериментального распределения и слаженных кривых аппроксимирующего и нормального распределений наблюдаемых тестовых баллов приведены на рисунке 4.
0.25
0,2
0,15
0,1
0,05
Распределения тестовых баллов
^■Гистограмма
{экспериментальное распределение) Ч1К Ап п роксима ция
экспериментального распред. НЗР —о—Нормальный закон _распределения_
m =30,46 балла
а =7,31 балла
х —
а х=10,15 балла
А =-0,352
Е =-0,610
N=143 чел.
10,5 14,5 18,5 22,5 26,5 30,5 34,5 38,5 42,5 Диапазон наблюдаемых тестовых баллов
50,5
Рис. 4. Графические зависимости в виде гистограммы экспериментального распределения и слаженных кривых аппроксимирующего и нормального распределений
наблюдаемых тестовых баллов
Анализ приведенных графических зависимостей доказывает, что экспериментальное распределение тестовых баллов достаточно хорошо может быть описано нормальным законом распределения с параметрами тх и аХ и может быть использовано для
расчета вероятностных характеристик тестового модуля при дальнейших расчетах.
Качество освоения материала учебной дисциплины будем производить на основании графических зависимостей, учитывающих уровень освоения учебного материала согласно критериям, приведенным в [7].
Качество освоения материала по дидактическим единицам и в целом по учебной дисциплине «Электроника и схемотехника» представлено на рисунке 5.
Качество освоения учебного материала
1,00 -0,80 ■ 0,60 - 0,50 0,40 ■ 0,20 - /0,96 * 1 3,94 3,92 Г 3,88 f=i 3,92 ),91 - W 190 I 0,82
-- - = Уровень --
_1 J J
и»ии
ДЕ т 1 ДЕ № 2 ДЕ № 3 ДЕ JVf 4 ДЕ № 5 ДЕ № 6 ДЕ № 7 ДЕ № 8 К
Рис. 5. Качество освоения материала учебной дисциплины «Электроника и схемотехника»
Анализ приведенных зависимостей показывает, что обучаемые освоили учебный материал дидактических единиц на достаточно высоком уровне (коэффициент освоения ДЕ-Кде„>0,87; и=1,2,...,8).
Уровень освоения материала учебной дисциплины в целом также достаточно хороший Косв.де>0,82.
Это указывает на то, что только 18% обучаемых (26 человек) не выполнили установленный минимальный критериальный уровень освоения учебного материала. Для указанной категории обучаемых может быть рекомендована дополнительная подготовка и последующий тематический контроль.
Общие выводы
1. Оценка коэффициентов решаемости и дискриминативности тематических тестовых заданий и их графическая интерпретация позволяют наглядно провести предварительный анализ степени их трудности и валидности в целях отбраковки слишком легких и слабо коррелированных тематических тестовых заданий.
2. Анализ усредненного коэффициента надежности тематических тестовых заданий позволяет принять окончательное решение об использовании разработанной базы тематических тестовых заданий в практических целях для мониторинга уровня освоения учебного материала [9].
3. Оценка экспериментального распределения тестовых баллов тестируемых позволяет обосновать условия применимости нормального закона распределения тестовых балов для анализа вероятностных характеристик уровня освоения материала учебной дисциплины [10].
Примечания:
1. Звонников В.И., Челышкова М.Б. Контроль качества обучения при аттестации: компетент-ностный подход. М.: Логос: Университетская книга, 2009. 294 с.
2. Анастиза А., Урбина С. Психологическое тестирование. 7-е изд. СПб.: Питер, 2009. 688 с.
3. Филатова Е.В., Грабчук К. М. Компетентность и сложности оценки ее сформированности // Интерактивное образование. 2011. № 33. URL: http://io.nios.ru/index.php?rel=33&point=10&art= 1162
4. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения: учеб. пособие для студентов высш. учеб. заведений. 3-е изд., стер. М.: Академия, 2009. 224 с.
5. Тельнов Г.В. Тестовый модуль для автоматизированного мониторинга уровня освоения дисциплины «Электроника и схемотехника» // Вестник Адыгейского государственного университета. Сер. Естественно-математические и технические науки. 2013. Вып. 3 (122). С. 90-97. URL: http://vestnik.adygnet.ru
6. Тельнов Г.В. Свидетельство о государственной регистрации базы данных № 2014621245. База данных тестового модуля для мониторинга уровня освоения учебной дисциплины «Электроника и схемотехника» по направлению подготовки 090900.62 - Информационная безопасность.
7. Тельнов Г.В. Математическое обоснование критериев оценки компетентностных уровней освоения учебного материала на основе бинарной логики индикаторных переменных тематических тестовых заданий // Вестник Адыгейского государственного университета. Сер. Естественно-математические и технические науки. 2014. Вып. 2 (137). С. 128-134. URL: http://vestnik.adygnet.ru
8. Халафян А.А. STATISTIKA 6. Математическая статистика с элементами теории вероятностей: учебник. М.: Бином, 2011. 496 с.
9. Тельнов Г.В. Свидетельство о государственной регистрации программы для ЭВМ № 2015615253. Программа расчета коэффициентов решаемости, дискриминативности тематических тестовых заданий и коэффициента надежности тестового модуля по учебной дисциплине «Электроника и схемотехника» для направления подготовки 090900.62 Информационная безопасность.
10. Тельнов Г.В. Свидетельство о государственной регистрации программы для ЭВМ № 2015614869. Программа расчета и анализа экспериментального и нормального законов распределения тестовых баллов.
References:
1. Zvonnikov V.I., Chelyshkova M.B. Teaching quality control during certification procedure: a competence-based approach. M.: Logos: University book, 2009. 294 pp.
2. Anastasi A., Urbina S. Psychological testing. The 7th ed. SPb.: Piter, 2009. 688 pp.
3. Filatova E.V., Grabchuk K.M. Competence and difficulties of assessment of its formation // Interactive education. 2011. No. 33. URL: http://io.nios.ru/index.php?rel=33&point=10&art= 1162
4. Zvonnikov V.I., Chelyshkova M.B. Modern means of estimation of teaching results: a manual for students of high schools. 3rd ed. ster. M.: Academia, 2009. 224 pp.
5. Telnov G.V. A test module for the automated monitoring of level of mastering the academic subject «Electronics and Circuitry» // The Bulletin of the Adyghe State University. Ser. Natural-Mathematical and Technical Sciences. 2013. Iss. 3 (122). P. 90-97. URL: http://vestnik.adygnet.ru
6. Telnov G.V. Certificate on the state registration of a database No. 2014621245. A database of the test module for monitoring of level of mastering the academic subject «Electronics and the circuit technique» in the direction of training 090900.62 - Information security.
7. Telnov G.V. Mathematical justification of criteria for an assessment of the competence-based levels of learning a curriculum material on the basis of binary logic of indicator variable thematic test tasks // The Bulletin of the Adyghe State University. Ser. Natural-Mathematical and Technical Sciences. 2014. Iss. 2 (137). P. 128-134. URL: http://vestnik.adygnet.ru
8. Khalafyan A.A. STATISTIKA 6. Mathematical statistics with probability theory elements: a textbook. M.: Binom, 2011. 496 pp
9. Telnov G.V. Certificate on the state registration of the computer program No. 2015615253. The program of calculation of coefficients of solvability, discriminativity of thematic test tasks and coefficient of reliability of the test module on academic subject «Electronics and the circuit technique» for the direction of training 090900.62 Information security.
10. Telnov G.V. Certificate on the state registration of the computer program No. 2015614869. Program of calculation and analysis of experimental and normal laws of distribution of test points.
