CC BY
10
Булгаков Олег Митрофанович Ладыга Антон Игоревич
Особенности проектирования
и корректировки тестов
для контроля остаточных знаний
Рассмотрены подходы к трансформации тестов для контроля учебных достижений обучающихся в тесты для контроля остаточных знаний. Предложены критерии деградации тестов на основе изменения среднего балла сеансов тестирования, дисперсии оценок и простых скользящих средних значений средних баллов и дисперсий оценок, а также способ обеспечения требуемой достоверности оценок контроля остаточных знаний на основе корректировки пороговых значений процедур перевода в оценки баллов, начисляемых за правильное решение тестовых заданий.
Ключевые слова: проектирование, компьютерное теститорование знаний и умений обучающихся, контроль остаточных знаний, оценка учебных достижений.
Peculiarities of designing and adjustments to tests to control residual knowledge
Approaches to transforming tests to monitor students' learning achievements into tests to monitor residual knowledge are considered. The criteria for degradation of tests based on changes in the mean scores of test sessions, variance of scores and simple moving averages of mean scores and variance of scores, as well as a way to ensure the required reliability of residual knowledge control assessments based on the adjustment of threshold values of conversion procedures to scores awarded for the correct solution of test tasks are proposed.
Keywords: design, computerized testing of students' knowledge and skills, residual knowledge control, assessment of learning achievements.
Благодаря широкому внедрению систем контроля качества образования, основанных на мониторинге уровня освоения образовательных программ в образовательных организациях и внешнем аудите учебных достижений обучающихся, интенсификации применения дистанционных образовательных технологий компьютерное тестирование знаний и умений обучающихся (далее -КТЗУО) стало востребованным инструментом объективного контроля результатов образовательного процесса. Такие бесспорные преимущества КТЗУО, как высокая производительность и оперативность контроля и статистического анализа его результатов (наряду с совершенствованием методик разработки тестов и алгоритмов тестирования), обеспечивающие приемлемую достоверность оценок учебных достижений обучающихся, позволяют постепенно преодолевать скепсис консервативной части педагогического сообщества, до сих пор отводящего компьютерным тестам исключительно вспомогательную роль в образовательных технологиях.
Основным предметом профессиональных дискуссий по поводу целесообразности или необходимости применения КТЗУО в контроле
качества освоения образовательных программ является достоверность оценивания индивидуальных учебных достижений обучающихся компьютерными тестами. Трактуя факты несовпадения оценок, полученных КТЗУО и другими средствами контроля - письменными контрольными работами, накоплением оценок текущей успеваемости, коллоквиумов, экзаменов, т. е. преимущественно вербальных форм общения преподавателя с обучающимся, исключительно как несостоятельность компьютерного теста в качестве технологической основы оценивания учебных достижений обучающихся, оппоненты КТЗУО упускают из вида то обстоятельство, что одним из предназначений тестов, предопределивших их активное внедрение в образовательный процесс, является исключение необъективности оценок знаний и умений обучающихся, обусловленных ангажированностью преподавателей, их личными симпатиями или антипатиями к испытуемым, применением методически некорректных методик оценивания и др. Таким образом, обеспечение достоверности оценивания учебных достижений компьютерными тестами является необходимым условием развития современных педагогических технологий.
134
ВЕСТНИК КРАСНОДАРСКОГО УНИВЕРСИТЕТА МВД РОССИИ • 2021 • № 2 (52)
Согласно теории измерений достоверность оценивания учебных достижений обучающихся следует рассматривать как достижение приемлемой для конкретных задач и условий тестирования разницы между полученными оценками уровня знаний и умений испытуемых и истинными значениями этого уровня по некоторой согласованной (принятой) шкале.
Достоверность оценок учебных достижений обучающихся компьютерными тестами во многом обеспечивается исключением ошибок оценивания первого и второго рода [1, с. 214-221] и зависит от ряда характеристик теста и условий тестирования, которые могут одновременно рассматриваться в качестве ее регуляторов. К числу таких характеристик следует отнести: содержание теста;
структуру теста, т. е. соотношение в нем заданий различного типа и уровня трудности; уровень сложности заданий; время тестирования;
алгоритм формирования оценок: процедуру формирования итогового балла, критерии, балльные пороги и диапазоны оценок.
В контексте оптимизации данных характеристик, направленной на обеспечение приемлемой достоверности оценок учебных достижений обучающихся, рассмотрим такую приобретшую актуальность в условиях развития систем мониторинга качества освоения образовательных программ и оценивания сформированности компетенций, определенных образовательными стандартами и квалификационными требованиями к специалистам, разновидность компьютерных тестов, как тесты для контроля остаточных знаний (далее -ТКОЗ). Особенностью разработки ТКОЗ является необходимость учета в их содержании, структуре и других характеристиках - регуляторах достоверности оценивания знаний и умений забывания изученного материала и деградации достигнутых компетенций в зависимости от разницы во времени контроля и завершения изучения тестируемого содержания обучения.
Как показывает практика, в разработке ТКОЗ можно выделить два основных подхода: 1) переработка в ТКОЗ тестов, применяющихся для промежуточной аттестации и текущего контроля успеваемости; 2) разработка ТКОЗ с учетом моделей забывания обучающимися тестируемого содержания обучения [2, с. 97-125; 3, с. 23-25; 4, с. 138-141].
Будем полагать, что в распоряжении разработчика ТКОЗ имеется тест, применимый, например, для промежуточной аттестации с ба-
зой заданий, которые характеризуются некоторой степенью полноты охвата содержания обучения, представляемого совокупностью N дидактических единиц (далее - ДЕСО):
Ш = {аг-ДЕХ; а2ДЕ2;...; амш
где ДЕ(. - информация, полученная обучающимися при изучении /-й ДЕСО и характеризующаяся формализованным перечнем (набором) включенных в соответствующую ДЕСО терминов, определений, понятий, взаимосвязей между ними, дат, топонимов и т. п. общим количеством М(,
щ = — > 0 -
1 М*
коэффициент охвата контролем, определяемый как доля формализованного перечня терминов, определений, понятий и других компонентов /-й ДЕСО, предназначенный для контроля и равный отношению контролируемой информации, отнесенной к /-й ДЕСО, к ДЕ(..
Будем также полагать, что в структуре теста присутствуют задания Т1кт трех уровней сложности:
где 1, 2, 3 - уровни сложности по возрастанию; Т1, Т2, Т3 - соответственно количество простых, средней сложности и сложных заданий в базе; Т - их общее количество, причем для любого из контролируемых компонентов из набора С(. разработаны задания не менее двух уровней сложности, а задания для контроля всего набора С(. представлены всеми тремя уровнями сложности.
Определим также количество заданий в тестовой выборке из базы:
Т Тл Т2 То г = - = + + = г; + Г2* + Г3*, (2)
время тестирования, согласованное с количеством заданий и их сложностью:
т = ПКП.Ц),
алгоритм начисления баллов за полностью и частично верно решенные задания:
Б = ^(Т1в, Т2в, Т3в, Т1ч, Т2ч, Т3ч),
где Т*е,Т*ч - количество верных и частично верных заданий; I, ] = 1, 2, 3, а также основанные на пороговых значениях баллов: П1; П2;...; Птах, критерии перевода баллов в оценки 0(.:
135
О = О0, если 0 < Б < Пх; О = 01г если Пх < Б < П2; О = 02, если П2 < Б < П3;
^ Отах> ^СЛИ Пшах < Б <С Бтах-
Параметр г в выражении (2) характеризует вариативность тестовых выборок, т. е. степень отличия входящих в них заданий.
Пусть с момента проведения промежуточной аттестации с применением данного теста до момента проведения контроля остаточных знаний прошло время At. Данное обстоятельство, формализованное параметром А^ может быть учтено при разработке ТКОЗ на базе исходного теста тремя способами:
1) уменьшением объема контролируемого содержания изученного материала до некоторого приемлемого уровня, что соответствующим образом отразится на объеме и структуре базы заданий:
М?от = {а1о(ДО"ДЕ1;
где 0 < а/о (АЦ < а, - коэффициент охвата контролем остаточных знаний /-й ДЕСО, причем
а,о (АУ < а,о (^ < Ау.
Множество заданий ТКОЗ Wo (АЦ можно рассматривать как разность исходного множества W и множества исключенных заданий Wи (АЦ:
ш0№ = ш\ши(м).
Данный подход позволяет при необходимости анализировать динамику забывания не только всего изученного содержания, но и его отдельных дидактических единиц;
2) уменьшением сложности теста путем замены части сложных и средней сложности заданий (уровни сложности 2 и 3) в тестовой выборке на простые задания (уровень сложности 1) за счет исключения из базы заданий части заданий с уровнями сложности 2 и 3. В этом случае:
При неизменном количестве заданий в тестовой выборке го< г.
Для обеспечения достоверности оценивания остаточных знаний и умений обучающихся в базе заданий и тестовой выборке могут полностью отсутствовать сложные задания: Т3о= 0,
Т*3о= 0. Однако наличие в ТКОЗ сложных заданий полезно в качестве индикатора надежности теста: превышение процентом решенных сложных заданий некоторого порогового значения (например, процента решенных заданий средней сложности) свидетельствует о неприемлемом количестве ошибок оценивания второго рода [5] и необходимости переработки теста или корректировки алгоритма начисления баллов и критериев перевода баллов в оценки;
3) снижением пороговых значений баллов в критериях формирования оценок:
П1о(Д0 < П1; П2о(Д0 < П2; ... ; Птахо(М) < Птах.
Варьирование значениями Пь (АЦ подчиняется условиям:
П
10
тах
(ДС2) < П4о(ДС! < м2у,
тах
^ П 1о{М2) < ^ П£о(Д^ < М2).
1=1
1=1
Все рассмотренные способы преобразования исходного теста в ТКОЗ могут применяться как по отдельности, так и совместно.
При разработке ТКОЗ на основе оригинальных заданий, изначально предназначенных для контроля остаточных знаний, следует придерживаться тех же базовых правил, на которых основываются рассмотренные выше способы трансформации в ТКОЗ теста для контроля актуальных учебных достижений обучающихся:
1) ограничение содержания контроля ДЕСО наиболее важными с точки зрения практической применимости, значимости для восстановления утраченных знаний и умений, общей профессиональной эрудиции и междисциплинарных взаимосвязей;
2) наполнение теста преимущественно несложными заданиями;
3) настройка алгоритмов подсчета баллов за правильно решенные задания и пороговых значений баллов на формирование положительных оценок при знании тестируемыми понятийного аппарата и важнейших определенных разработчиком теста структурных элементов проверяемого содержания обучения.
В дополнение данным принципам представим несколько практических рекомендаций по разработке ТКОЗ, ориентированных на специфику оценивания остаточных знаний:
1. Как показывает практика применения ТКОЗ, повышению вероятности возникновения ошибок оценивания первого рода способствует наличие в тесте различных типов заданий, требующих неоднократного переключения
_136
ВЕСТНИК КРАСНОДАРСКОГО УНИВЕРСИТЕТА МВД РОССИИ • 2021 • № 2 (52)
внимания и перенастройки мыслительных стереотипов в условиях жесткого ограничения времени. На наш взгляд, наиболее приемлемыми для ТКОЗ являются задания с выбором единственно верного ответа и на установление соответствий (желательно, парных) [5; 6; 7, с. 320-323; 8, с. 62-70]. Задания с более сложной структурой, включенные в ТКОЗ, следует группировать в блоки по типам заданий, обязательно разграничивая их и оговаривая условия решения заданий каждого типа.
2. Ввиду важности системного подхода к разработке и реализации образовательных программ часть заданий ТКОЗ следует формулировать таким образом, чтобы их решение основывалось на профессиональном кругозоре и междисциплинарных знаниях.
3. Относительная несложность содержания и структуры ТКОЗ позволяет отводить на их решение минимальное время, что должно быть учтено в настройках теста.
Общей проблемой обеспечения надежности тестов для проверки учебных достижений обучающихся является их деградация по мере увеличения количества сеансов тестирования, проявляющаяся в повышении частоты возникновения ошибок второго рода, которые следует рассматривать как основной механизм отказов теста [1; 5]. Основной причиной завышения оценок знаний испытуемых является передача нарастающего объема информации о содержании отдельных заданий, правильных ответах, дистракторах от прошедших тестирование групп к оставшимся испытуемым.
В качестве индикаторов деградации КТОЗ можно использовать следующие условия:
где Ыт - количество сеансов тестирования остаточных знаний,
средний балл к-го сеанса тестирования. где
БМАфто) = \фт-Ю + Ото + От+1 о) -
простое скользящее среднее среднего балла т-го сеанса тестирования.
где
= (4)
/=о
дисперсия оценок k-го сеанса тестирования.
IV .SMA(Dm+l0)<SMA(Dm0y, т = 2,3,ЫТ_Ъ
где
SMA(Dmo) = \{Dm_10 + Dmo + Dm+10) -
простое скользящее дисперсии оценок m-го сеанса тестирования.
Условия I, II, III, IV могут применяться как совместно, так и в отдельности.
Для повышения надежности КТОЗ до приемлемого уровня и обеспечения тем самым достоверности оценивания остаточных знаний всей серии тестов могут использоваться регулируемые характеристики теста. Поскольку изменение параметров КТОЗ необходимо осуществлять оперативно между сеансами тестирования, а преобразование структуры и сложности теста - за счет замены части простых заданий (уровень 1) более сложными (уровень 2), сокращение времени тестирования или дополнение контролируемого содержания малозначимыми дидактическими единицами приводят к компенсации ошибок второго рода ошибками первого рода, лишь усугубляющей недостоверность оценивания индивидуальных учебных достижений при стабилизации среднего балла, перечень регулируемых характеристик ограничивается, как правило, порядком начисления баллов за правильно решенные задания и балльными диапазонами оценок.
Оба последних из перечисленных регуляторов по характеру влияния на достоверность оценивания учебных достижений обучающихся являются взаимозависимыми, поэтому целесообразно изменять лишь один из них или, в случае исчерпывания пределов регулирования выбранного параметра, поочередно. Очевидно, наиболее просто регулируются диапазоны (пороговые значения) баллов критериев оценок.
Рассмотрим возможные условия выбора новых пороговых значений баллов П* o:
d) ~SMA(D™0(nl ...; 1 о;1...; п[ах 0)) < д4,
где А1, Д2, Д3, Д4 - малые величины, определяемые методом экспертных оценок или статистическим анализом результатов предыдущих сессий тестирований остаточных знаний.
137
1. Булгаков О.М., Дедикова А.О. О применимости методологического аппарата теории надежности к оценке качества тестов для проверки знаний // Вестн. Воронеж. ин-та ФСИН России. 2017. № 4.
2. Черемошкина Л.В., Осинина Т.Н. О забывании учебного материала // Экспериментальная психология. 2011. Т. 4. № 3.
3. Кочукова М.В., Донов А.Н. Скорость забывания знаний студентами различного уровня подготовки // Междунар. науч.-иссле-довательский журнал. 2015. № 3-4.
4. Буймов А. Г. Закономерности поведения кривых забывания // Доклады ТУСУР. 2017. Т. 20. № 4.
5. Модели оценки качества тестов для контроля знаний / О.М. Булгаков, И.Н. Ста-ростенко, А.А. Хромых и др. Краснодар, 2021.
6. Аванесов В. С. Форма тестовых заданий: учеб. пособие для учителей школ, лицеев, преподавателей вузов и колледжей. 2 изд., пе-рераб. и доп. М., 2005.
7. Ефанова О. А. Форма тестовых заданий // Ученые записки Орловского государственного университета. 2018. № 4(81).
8. Моделирование надежности тестов с усложненной структурой тестовых заданий / О.М. Булгаков, И.Н. Старостенко, А.А. Хромых и др. //Вестн. Воронеж. ин-та ФСИН России. 2020. № 2.
1. Bulgakov O.M., Dedikova A.O. On the applicability of the methodological apparatus of reliability theory to the assessment of the quality of tests for knowledge testing // Bull. of the Voronezh Institution of the Ministry of Internal Affairs of Russia. 2017. № 4.
2. Cheremoshkina L.V., Osinina T.N. About forgetting educational material // Experimental psychology. 2011. Vol. 4. № 3.
3. Kochukova M.V., Donov A.N. The speed of forgetting knowledge by students of various levels of training // International. scientific and research journal. 2015. № 3-4.
4. Buymov A.G. Patterns of behavior of forgetting curves // Reports of TUSUR. 2017. Vol. 20. № 4.
5. Models for assessing the quality of tests for knowledge control / O.M. Bulgakov, I.N. Starostenko, A.A. Khromykh et al. Krasnodar, 2021.
6. Avanesov V.S. Form of test tasks: textbook for teachers of schools, lycées, university and college professors. 2 ed., rev. and augm. Moscow, 2005.
7. Efanova O.A. Form of test tasks // Scientific notes of Oryol State University. 2018. № 4(81).
8. Modeling the reliability of tests with a complicated structure of test tasks/O.M. Bulgakov, I.N. Starostenko, A.A. Khromykh et al // Bull. of the Voronezh Institution of the Ministry of Internal Affairs of Russia. 2020. № 2.
СВЕДЕНИЯ ОБ АВТОРАХ
Булгаков Олег Митрофанович, доктор технических наук, профессор, первый заместитель начальника Краснодарского университета МВД России; e-mail: ombfrier@yandex.ru;
Ладыга Антон Игоревич, кандидат экономических наук, начальник управления учебно-методической работы Краснодарского университета МВД России; e-mail: evan-evans@yandex.ru
INFORMATION ABOUT AUTHORS
O.M. Bulgakov, Doctor of Technics, Professor, First Deputy Head of the Krasnodar University of the Ministry of the Interior of Russia; e-mail: ombfrier@yandex.ru;
A.I. Ladyga, Candidate of Economics, Head of the Department of Educational and Methodical Work of the Krasnodar University of the Ministry of the Interior of Russia; e-mail: evan-evans@yandex.ru
138
ВЕСТНИК КРАСНОДАРСКОГО УНИВЕРСИТЕТА МВД РОССИИ • 2021 • № 2 (52)
