CC BY
3
Булгаков Олег Митрофанович Гривенная Елена Николаевна Дедикова Анна Олеговна
Алгоритмизация оценивания решения тестовых заданий с упорядочиванием дистракторов
Рассмотрены принципы формирования алгоритмов оценивания тестовых заданий с упорядочиванием дистракторов, основанных на противоположных подходах: начислении баллов за частично верные ответы и начислении штрафов за частично неверные ответы. Показано, что процедура начисления штрафов должна учитывать не только несовпадение позиций частично верного и эталонного ответов, но и количественную характеристику такого несовпадения. Рассмотрены возможности применения метрик числовых последовательностей как формы ответа на задание для расчетов оценочных баллов.
Ключевые слова: алгоритмы оценивания тестовых заданий, достоверность оценивания знаний, упорядочивание дистракторов, метрики числовых последовательностей, экспертное моделирование, гипотеза, вероятность.
Algorithmization of the evaluation of tests with distractor ordering
This article discusses the principles of forming algorithms for evaluating test tasks using the distractors based on opposite approaches. Approaches considered are: scoring points for partially correct answers and the withdrawal of points for partially incorrect answers. It is shown that the procedure for points withdrawal should take into consideration not only the discrepancy between the positions of partially correct and reference answers, but also the quantitative characteristics of such a discrepancy. The possibilities of using numerical sequence metrics as a form of an answer to a task for calculating evaluation points are considered.
Keywords: algorithms for evaluating test tasks, reliability of knowledge assessment, ordering of distractors, metrics of numerical sequencer, expert modeling, hypothesis, probability.
Формирование фондов оценочных средств (ФОС) образовательных программ опирается на многообразие контрольно-измерительных материалов, преимущественный выбор которых определяется задачами контроля и особенностями содержания обучения, степень освоения которого подлежит оцениванию. Актуальной тенденцией формирования ФОС является уменьшение доли тестовых заданий и возрастание доли заданий, требующих развернутого ответа, подробного аналитического решения, обоснованного разрешения ситуации и др. Неизбежное следствие этого процесса - возрастание трудоемкости контрольных мероприятий и снижение возможностей автоматизированной обработки результатов контроля учебных достижений обучающихся. Разрешение этого противоречия может быть достигнуто за счет применения и совершенствования тестовых заданий сложной структуры [1-4], диагностический и дидактический потенциал которых не уступа-
ет заданиям открытого типа, а применимость в автоматизированных системах мониторинга качества реализации образовательных программ несравненно более высокая.
Среди разновидностей тестовых заданий упорядочивание дистракторов - далеко не самое популярное. В значительной мере это обусловлено относительно недавним созданием и пропагандированием данного вида тестовых заданий [4-7] и, как следствие, отсутствием «конструкторов» тестовых заданий с упорядочиванием дистракторов (ТЗУД) в тестирующих программах - как самостоятельных программных продуктах, так и тестовых блоках систем управления обучением (например, СУО «Moodle»). Крайне редко в тестирующих программах предусмотрены и конструкторы тестовых заданий с градацией верных ответов (ТЗГВО) [1-3, 7-9]. Однако поскольку структура ответа на ТЗУД или ТЗГВО представляет собой последовательность символов (цифр или букв) при его непосредственном вводе или по-
130
следовательном выборе позиций дистракторов или, соответственно, верных ответов, создание ТЗУД и ТЗГВО возможно в конструкторах тестовых заданий со сходным синтаксисом ответа: на установление последовательности (ТЗУП) и в ряде случаев на установление соответствий (ТЗУС) [2-4, 7, 9].
Второй причиной относительно редкого использования ТЗУД и ТЗГВО в тестах для контроля учебных достижений обучающихся является ограниченный, по сравнению, например, с выбором единственно верного ответа или альтернативными ответами, набор задач и вопросов, на основе которых могут быть сформулированы ТЗУД и ТЗГВО [1, 4]. В большей степени это относится к ТЗГВО, так как формулирование ответов с различной степенью близости к истинному требует не только глубокого и всестороннего знания предмета, но и определенного навыка частичной фальсификации верного ответа. Как правило, и то, и другое формируется по мере приобретения педагогического и исследовательского опыта в предметной области. Проблемой создания ТЗГВО является объективность оценивания ответов, особенно частично верных. Отнесение варианта ответа к первой позиции (самый верный ответ) обычно не столь неоднозначно, но размещение вариантов на последующих позициях может оказаться небесспорным как в естественно-научных, так и в гуманитарных дисциплинах. Для получения полностью верного ответа на ТЗГВО тестируемый должен не только знать проверяемое содержание учебной дисциплины, но и в процессе градации предлагаемых вариантов ответа в своих рассуждениях воспроизвести логику составителя тестового задания, согласовать свои оценки приоритетов вариантов ответа с его трактовками. Рассмотрим пример ТЗГВО.
Пример 1. Основная цель первой экспедиции Колумба (1492-1493 гг.):
1) открытие новых торговых путей в Индию;
2) присоединение к владениям испанского короля новых территорий;
3) усиление политического влияния Испании на Западе Европы;
4) удовлетворение амбиций Колумба как мореплавателя;
5) личное обогащение Колумба и его сподвижников.
Градация вариантов ответа на данный вопрос основывается на трех подходах к расстановке приоритетов: первый - личные мотивы Колумба, второй - государственные интересы Испании, третий - всесторонне выгодное развитие торговли.
Соответственно, последовательность вариантов ответа в ТЗГВО на основе первого подхода: 5 4 1 2 3. Здесь мы руководствуемся принципом «от частного к общему», т.е. от личных интересов к государственным через групповые, при этом делаем допущение, что стремление к обогащению у Колумба доминировало над желанием прославиться, что далеко не лишено оснований [10].
Реализация второго подхода даст обратную последовательность вариантов ответа: 3 2 1 4 5 с учетом указанного выше допущения.
Наконец, третий подход определяет первую позицию в последовательности варианта ответа 1). Далее решение ветвится. С одной стороны, для снаряжения и отправки экспедиции было необходимо созревание благоприятной политической ситуации, в частности, поглощение Испанией Гранадского халифата, т.е. переориентация государственных интересов на конкуренцию в морской торговле с Португалией. Данное рассуждение приводит нас к последовательности 1 2 3 5 4. Расстановка вариантов ответа 2 и 3 определяется соображениями приоритета достижения прагматичных, реализуемых в обозримой перспективе целей над глобальными целями, достижение которых зависит от множества политических и экономических условий, а также субъективных факторов. С другой стороны, именно беспрецедентная активность Колумба, основанная на личной заинтересованности, сделала данную экспедицию возможной (по крайней мере, в XV в.), а ее относительный успех (возвращение двух кораблей из трех) также обеспечен умелым руководством и относительной осторожностью великого мореплавателя, для которого на кону стояло сохранение титула вице-короля Индии и сопутствующих привилегий, дарованных ему королем Испании. Следствием данного рассуждения является последовательность вариантов ответа: 1 5 4 2 3.
Таким образом, налицо четыре аргументированных решения, каждое из которых, в свою очередь, допускает вариативность отдельных позиций. Во избежание такой ситуации при формулировании ТЗГВО следует основываться на единственном подходе или принципе, а варианты частично верных ответов чаще всего характеризуются различной степенью неполноты по отношению к варианту, располагаемому на первой позиции.
Пример 2. Относительная ширина полосы частот резонансного контура определяется значениями:
1) добротности контура;
131
2) добротности катушки индуктивности;
3) емкости и индуктивности;
4) емкости.
Ответы расположены в правильном (определенном разработчиком тестового задания) порядке. Позиции 2) и 3) установлены на основе того, что добротность контура в основном определяется добротностью катушки индуктивности, как правило, намного меньшей добротности конденсатора.
Более строгое следование принципу убывающей полноты соответствия при формулировании частично верных вариантов правильного ответа, как правило, сопряжено с уменьшением вариантов ответов, т.е. приводит к увеличению вероятности угадывания верной последовательности и снижению надежности тестового задания и теста в целом. Зачастую неполнота ответа заметна визуально или при поверхностной оценке: по количеству слов или перечисляемых значимых признаков, терминов, понятий.
Несколько облегчает задачу составления тестового задания данного вида и его оценивания введение в перечень вариантов ответов дистрактора - неверного ответа. Формулирование дистрактора проще, чем вариантов частично верных ответов, упрощается трактовка частично верных ответов на тестовое задание: важно, чтобы дистрактор в последовательности вариантов ответов находился на последней позиции, а верный ответ - на первой. Такой вид тестовых заданий называют тестовыми заданиями с градацией ответов (ТЗГО) [2, 9].
Очевидно, ориентируясь на структуру вариантов ответа, ТЗГВО следует считать подвидом ТГВО. Однако тестируемые, не предупрежденные о наличии или отсутствии дистрактора в ТЗГО, допускают большее количество ошибок, чем уведомленные заранее, так как наиболее применимые, по экспертным оценкам, индивидуальные алгоритмы решения ТЗГВО и ТЗГО отличаются.
Пример 3. Корабли, снаряженные в первую экспедицию Колумба (1492-1493 гг.), назывались:
1) «Санта-Мария», «Пинта», «Нинья»;
2) «Санта-Анна», «Санта-Мария», «Нинья»;
3) «Санта-Мария», «Нинья».
Если тестируемый знает, что из трех ответов один неверный и один частично верный, то он будет выбирать неверный ответ из 1 и 2, т.е. угадывать с вероятностью 0,5 их позиции в градуированной последовательности, определяя за вариантом 3 вторую позицию в ответе на тестовое задание.
Аналогичная ситуация имеет место и при ответе на тестовое задание с множественным
выбором правильных ответов: если тестируемый заранее не предупрежден о том, что верный ответ может быть не единственным, вероятность его ошибки существенно возрастает [7, 11].
Несмотря на наличие дистрактора, количество вариантов ответа в ТЗГО, как правило, составляет 3-4 [2, 9], а добавление дистракторов, в том числе за счет уменьшения количества частично верных ответов, не только упрощает составление задания и обеспечивает повышение его надежности, но и делает более прозрачными критерии его верного решения [7]. Однако в этом случае ТЗГО сочетает в себе признаки ТЗГВО и задания с множественным выбором правильных ответов, поэтому формирование алгоритма оценивания ТЗГО сопряжено с преодолением проблем оценивания частично верных ответов, присущих каждому из этих двух видов тестовых заданий [3, 7, 9, 12].
Возможно, одной из причин сдержанного отношения разработчиков тестов к заданиям на упорядочивание дистракторов, несмотря на высокую степень устойчивости ТЗУД к отказам, порожденным ошибками второго рода, и их большой дидактический потенциал, является опыт работы с ТЗГО. Тем не менее разработка ТЗУД значительно проще, так как формулирование нескольких неверных ответов легче, чем нескольких частично верных. Варианты ответов ТЗУД, в отличие от ТЗГО, проще формулируются и однозначнее интерпретируются для числовых параметров.
Пример 4. Расстояние от Москвы до Санкт-Петербурга лежит в пределах:
1) 350-360 км;
2) 630-640 км;
3) 710-720 км;
4) 715-799 км;
5) 800-815 км.
В различных справочниках приводится расстояние по прямой 634 км и 635 км, поэтому варианты ответа приведены как интервалы. Расстояние на автомобиле - 712 км, поэтому вариант 3 должен располагаться на второй позиции, следом за вариантом 2. Далее, по мере увеличения относительной ошибки - варианты 4, 5, 1.
Пример 5. Колумб вернулся из своей первой экспедиции (1492-1493 гг.) на корабле:
1) «Санта-Мария»;
2) «Пинта»;
3) «Нинья»;
4) «Тринидад»;
5) «Сокол тысячелетия».
Верный ответ: 3 2 1 4 5. Каравелла «Пинта» также достигла берегов Испании. «Санта-Ма-
132
рия» была в составе первой экспедиции Колумба, но затонула. «Тринидад» - название флагманского корабля первой кругосветной экспедиции Магеллана. «Сокол тысячелетия» - космический корабль Хана Соло, персонажа фантастического романа «Звездные войны».
Пример 6. Два положительных заряда:
1) притягиваются с силой, прямо пропорциональной расстоянию между ними;
2) притягиваются с силой, обратно пропорциональной квадрату расстояния между ними;
3) отталкиваются с силой, прямо пропорциональной расстоянию между ними;
4) отталкиваются с силой, обратно пропорциональной расстоянию между ними;
5) отталкиваются с силой, обратно пропорциональной квадрату расстояния между ними.
Верный ответ: 5 4 3 2 1. Критерий грубой ошибки: одноименные заряды не притягиваются, а отталкиваются. Второй по значимости критерий грубой ошибки: сила взаимодействия зарядов убывает по мере удаления зарядов друг от друга, а не наоборот. Наименее грубой ошибкой, таким образом, является вариант ответа 4.
В отличие от заданий с множественным выбором верных ответов или на установление последовательности, вопрос о необходимости ненулевого оценивания частично верных ответов ТЗУД не возникает. Во-первых, подлежит хотя бы минимальной положительной оценке правильное размещение на первой позиции номера верного варианта ответа. Во-вторых, методически верно составленное ТЗУД позволяет выявить системность и комплексность знаний тестируемых, а обнуление оценки за ошибки, имеющие второстепенное значение, исключает возможность анализа усвоения обучающимися содержания обучения, подлежащего проверке. В-третьих, ТЗУД позволяют сделать максимально компактным тест за счет высокой надежности заданий и возможности комплексной проверки знаний, но обнуление частично верных ответов при сравнительно малом количестве заданий приводит к снижению прецизионности оценочной шкалы теста в целом [7, 8, 13, 14].
Оценивание частично верных ответов на тестовые задания сводится к присвоению некоторых положительных числовых значений (в формате десятичной дроби) частично верным вариантам ответа и (или) начислению штрафов - отрицательных числовых значений - при указании неверных вариантов ответов на позициях верных. Начисление или неначисление штрафов определяет две группы алгоритмов оценивания [9, 12].
Особенностью оценивания ТЗУД является учет грубых ошибок [6, 7]. Мнения разработчиков на то, что должно быть в приоритете -верный вариант ответа на первой позиции или нелепый вариант ответа на последней позиции - расходятся. С одной стороны, знание верного ответа важно, с другой - указание крайне неверного ответа на позиции, близкой к верному, свидетельствует о поверхностном знании тестируемым данного вопроса. Что является более приемлемым в решении примера 6: указание «Сокола тысячелетия» на второй позиции вслед за «Ниньей», или первая и вторая позиции «Пинта» и «Нинья» соответственно и последняя позиция «Сокола тысячелетия»? Разброс мнений на этот счет отражается в разнообразии методик и алгоритмов начисления баллов за ТЗУД.
Рассмотрим принципы создания алгоритмов оценивания ТЗУД с начислением штрафов. Важным свойством алгоритмов является возможность настроек параметров оценивания за счет, например, регулировки начисляемых баллов и штрафов. Пусть «штрафной» компонент имеет вид:
где г = 2, 3, 4, ... N - номер позиции дистрак-тора в правильном ответе на ТЗУД в целом в виде последовательности цифр - номеров позиций (эталонной последовательности); для верного варианта ответа на вопрос г = 1; п - номер позиции дистрактора или верного варианта ответа на вопрос в указанной тестируемым последовательности цифр; N - количество вариантов ответа на вопрос тестового задания; аг, в, уг, Зг - параметры, задаваемые при настройке программы тестирования.
Значения аг, вг, уг, Зг задаются конструктором теста исходя из его трактовок значимости характера тех или иных ошибок.
Очевидно,условие:
позволяет формировать оценку Б1 за ТЗУД в формате десятичной дроби только штрафными баллами, за счет их вычитания из 1:
N
б± = 1 - ^Г щ, (3)
¿-л N
о= О, если Р£ > 1. (За)
¿ = 1
133
Тогда оценка за ТЗУД по Т-балльной шкале:
1} I — I.» | • Т.
(4)
Рассмотрим применение данной методики на примере 5.
Пусть для любого Г: аг=0,1, в=2, уг=1, 5г=1. При вводе последовательности 1 3 4 2 5 вместо верного ответа 3 2 1 4 5 мы получим сумму штрафных баллов 0,9, а итоговый балл 0,1. Ввод последовательности 1 2 3 5 4 даст сумму штрафных баллов 0,6 и итоговый балл 0,4. Во втором ответе и правильный вариант ответа, и наиболее отстоящий от него дистрактор расположены не на своих позициях, в то время как в первом ответе абсолютно неверный ответ занимает правильную позицию. Тем не менее итоговый балл второго ответа оказался выше. Чтобы повысить значимость верных позиций правильного ответа и самого неверного дистрактора, выбор которого, как правило, не требует знания предмета и основывается на общей эрудиции или каком-либо очевидном отличии от прочих вариантов, следует повысить значимость неверного указания первой и последней позиций вводимых последовательностей. Наиболее простой способ - увеличение значений а1 и а5.
Положим в нашем примере: а1=а5=0,2. Тогда штраф за первый ответ составит 1,1, а итоговый балл за выполнение ТЗУД, согласно правилу (3а), будет равен нулю. Штраф за второй ответ буден равен 0,9, а итоговый балл Б1 =0,1.
Рассмотрим другой способ настройки алгоритма оценивания ТЗУД. Изменим показатель степени в правой части выражения (1) для ужесточения штрафа за неверное указание крайних позиций в ответе. Несложно заметить, что значения ¿¡=1 делают малозначимыми небольшие (в пределах одной позиции) отклонения номеров вариантов ответов вводимых последовательностей от эталонных. Это соответствует мнению разработчика о главенстве знания верного варианта над распределением позиций дистракторов, за исключением, возможно, последней, если соответствующий дистрактор содержит должное казаться очевидным абсурдное утверждение. Такая значимость первой и последней позиций в эталонных последовательностях повысится, если положить: ¿1 = ¿5 = 0. Изменение данного регулятора таким образом усиливает реакцию алгоритма начисления штрафных баллов на незнание единственного верного ответа. Для последовательности номеров вариантов ответа 1 3 4 2 5 в рассматриваемом примере мы
получим итоговый штрафной балл 1,1 и Б1=0, а для последовательности 1 2 3 5 4 - итоговый штрафной балл 1,0 и Б1=0. Таким образом, количественные трактовки существенности допущенных ошибок в распределении позиций верного варианта ответа и дистракторов совпали.
Варьирование значениями ßi и у, обеспечивает настройку чувствительности алгоритма оценивания к ошибкам в трактовке их значимости составителем задания.
Более простой способ назначения штрафов заключается в табличном (матричном) задании их числовых значений Pi с учетом условий, отражающих значимость тех или иных ошибок в ее трактовке создателем теста. Простейшие примеры задания Pc
(5а)
(5б)
В (5а) и (5б) не учитывается, насколько далеко могут отстоять позиции вариантов ответа во введенной тестируемым и эталонной последовательностях. В результате для ответа 1 3 4 2 5 получим итоговые баллы Б1=0,25 (5а) и Б1=0,3 (5б), а для ответа 1 2 3 5 4 - Б1=0,08 (5а) и Б1=0,1 (5б), т.е. качественное отличие от результатов применения алгоритмов начисления штрафов с помощью выражений (1), (3), (3а).
Детализация значений штрафов приводит к развертыванию строки вида (5а) в таблицу с N значениями, т.е. существенному усложнению описания алгоритма вычисления баллов за решение ТЗУД.
В алгоритмах без начисления штрафных баллов табличный способ задания значений баллов Аi за частично верные решения, напротив, является предпочтительным, так как начисление баллов идет только в случае совпадения цифр вводимой и эталонной последовательности, значения начисляемых баллов зависят от Г, а разность Г - п не имеет значения.
Таблица 1
Баллы для начисления за частично верные ответы на ТЗУД
Значения Аг соответствуют сложности и значимости выбора верной позиции варианта ответа. Так, в отличие от Ры, которой при на-
_134
ВЕСТНИК КРАСНОДАРСКОГО УНИВЕРСИТЕТА МВД РОССИИ • 2023 • № 2 (60)
числении штрафов следует присваивать относительно большие значения, Лм принимает минимальное значение из всех Ал
Применение таблицы 1 к рассмотренным решениям примера 5 дает для последовательности 1 3 4 2 5 суммарный балл Б1=0,1, для последовательности 1 2 3 5 4 - Б1=0,2, что качественно согласуется с результатами применения алгоритма начисления штрафных баллов с использованием выражений (1), (3) и (3а).
Оценивание частично верных решений ТЗУД может основываться на соотнесении метрики - расстояния в метрическом пространстве между вводимой и эталонной последовательностями М или расстояния между точками (векторами) в ^мерном пространстве, координаты которых задаются номерами вариантов ответов (или связанной с этим расстоянием характеристикой), с некоторой нормой Мд (мерой), характеризующей допустимое отклонение (Д - окрестность) полученного результата от желаемого [15, 16]. В этом случае:
Величина М может рассчитываться как расстояние (метрика):
или, что удобнее, как квадрат расстояния:
Тогда допустимое отклонение, гарантирующее удовлетворительную оценку:
где Д - задаваемый (регулируемый) параметр.
В таблице 2 представлены значения Бо, рассчитанные для примера 5 и вводимых последовательностей 1 3 4 2 5 и 1 2 3 5 4 при трех различных значениях Д.
Таблица 2
Йг 1 3 4 2 1 1 2 3 5: 4
1 Й,833
п.1 Ш ©¡408
0,5 0,089 0,208
За счет относительно большой разности Пз-1з величина М для первой последовательности оказывается больше, т.е. согласно таблице 2
ответ 1 3 4 2 5 отстоит дальше от истинного, чем ответ 1 2 3 5 4. Варьирование значением Д позволяет регулировать масштаб оценочной шкалы.
Для усиления значимости неверного указания ключевых позиций, например с номерами 1 и N можно применять масштабированные характеристики вида:
В таблице 3 приведены значения Бо, рассчитанные для рассматриваемых примеров с применением выражения (7а) при б1 = б5 =2 и ¿1 = 2, б5 = 2,5.
Таблица 3
Цэ $|1т| (т^ - 2; (Т5 — 2,5
А 1 3 425 1 2,3 5 4 1 3 42 5 1 2 35 4
1 Р§ я®® §,182
§Й 0,082 0;098 0,082 0,089
Результаты расчетов демонстрируют возможность использования масштабных множителей б1 и бм в качестве регуляторов процедур вычисления оценочных баллов ТЗУД с возможным дальнейшим переводом в оценки по Т-балльным шкалам путем масштабирования или применения критериев перевода, оперирующих числовыми пороговыми значениями или диапазонами.
Тестовые задания на упорядочивание дис-тракторов по структуре задания сходны с заданиями с выбором единственного верного ответа, а по структуре решения близки к заданиям с градацией ответов и заданиям на составление последовательности. В определенной степени ТЗУД можно рассматривать как разновидность ТЗГО при количестве верных ответов, равном единице, а задания с выбором единственного верного ответа - как упрощенный вариант ТЗУД. Однако отбор содержания, методические подходы к формулированию ответов и заданий в целом, алгоритмы решения и критерии их оценивания для ТЗУД и ТЗГО принципиально отличны. Несмотря на необходимость оценивания частично верных ответов в обоих случаях, интерпретация отличия ответов, даваемых тестируемыми, от эталонных последовательностей как характеристика полноты и глубины освоения учебного материала также различна для ТЗУД и ТЗГО. Наиболее убедительна такого рода интерпретация, основанная на непосредственном анализе решений
135
заданий экспертами [17]. Тем не менее корректность оценочных процедур и алгоритмов, обеспечивающая достоверность и информативность оценок тестовых заданий, является залогом не только эффективности первичного
1. Ефремова Н. Ф. Тестовый контроль в образовании: учеб. пособие. М., 2005.
2. Ким В. С. Тестирование учебных достижений. Уссурийск, 2007.
3. Аванесов В. С. Форма тестовых заданий. Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. 2 изд., пе-рераб. и расш. М., 2005.
4. Булгаков О.М., Ладыга А. И. Тестирование остаточных знаний обучающихся. Краснодар, 2021.
5. Булгаков О.М. Совершенствование структуры компьютерных тестов / Новые информационные технологии в процессе подготовки современного специалиста // Межвузовский сборник научных трудов. Вып. 2, Липецк, 1999. С. 13-20.
6. Булгаков О.М., Дедикова А.О. Тестирование учебных достижений: от проверки знаний к проверке понимания // Вестник Санкт-Петербургского университета МВД России. 2020. № 2(86). С. 183-190.
7. Булгаков О.М., Старостенко И.Н., Хромых А.А., Дедикова А.О. Модели оценки качества тестов для контроля знаний. Краснодар, 2021.
8. Аванесов В. С. Теория и практика педагогических измерений (материалы публикаций в открытых источниках и Интернет). Екатеринбург, 2005.
9. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб. пособие. М., 2002.
10. Свет Я.М. Колумб. М., 1973.
11. Булгаков О.М., Дедикова А.О. О применимости методологического аппарата теории надежности к оценке качества тестов для проверки знаний // Вестник Воронежского института ФСИН России. 2017. № 4. С. 214-221.
12. Беспалько В. П. Методы оценки результатов тестирования учащихся // Вопросы тестирования в образовании. 2007. № 2. С. 23-34.
13. Булгаков О.М., Дедикова А.О. Математическая модель контроля безотказной работы теста для проверки знаний // Вестник Воронежского института МВД России. 2018. № 2. С. 45-55.
анализа и сортировки результатов контроля учебных достижений обучающихся в системах мониторинга качества реализации образовательных программ, но и обратных связей в учебном процессе [18, 19].
1. Efremova N.F. Test control in education: textbook. Moscow, 2005.
2. Kim US. Testing of educational achievements. Ussuriysk, 2007.
3. Avanesov US. Form of test tasks. Textbook for teachers of schools, lyceums, university teachers and colleges. 2nd ed., proc. and exp. Moscow, 2005.
4. Bulgakov O.M., Ladyga A.I. Testing residual knowledge of students. Krasnodar, 2021.
5. Bulgakov O.M. Improving the structure of computer tests / New information technologies in the process of training a modern specialist // Interuniversity collection of scientific works. Iss. 2. Lipetsk, 1999. P. 13-20.
6. Bulgakov O.M., Dedikova A.O. Testing of educational achievements: from testing knowledge to understanding // Bulletin of St. Petersburg University of the Ministry of the Interior of Russia. 2020. No. 2(86). P. 183-190.
7. Bulgakov O.M., Starostenko I.N., Khromy A.A., Dedikova A.O. Models for assessing the quality of tests for knowledge control. Krasnodar, 2021.
8. Avanesov US. Theory and practice of pedagogical measurements (materials of publications on open sources and the Internet). Yekaterinburg, 2005.
9. Chelyshkova M.B. Theory and practice of constructing pedagogical tests: study aid. Moscow, 2002.
10. Light J.M. Columbus. Moscow, 1973.
11. Bulgakov O.M., Dedikova A.O. On the applicability of the methodological apparatus of the theory of reliability to assess the quality of tests for testing knowledge // Bulletin of the Voronezh Institute of the Federal Penitentiary Service of Russia. 2017. No. 4. P. 214-221.
12. Bespalko V.P. Methods for evaluating the results of students testing // Testing Issues in Education, 2007. No. 2. P. 23-34.
13. Bulgakov O.M., Dedikova A.O. The mathematical model of monitoring the non -precise operation of the test for testing knowledge // Bulletin of the Voronezh Institute of the Ministry of the Interior of Russia. 2018. No. 2. P. 45-55.
14. Rudinsky I.D., Litvinov K.A. Model of automated assessment of the quality of test control and measuring materials // Scientific notes of IOO RAO. 2012. No. 40. P. 74-90.
136
14. Рудинский И.Д., Литвинов К.А. Модель автоматизированного оценивания качества тестовых контрольно-измерительных материалов // Ученые записки ИИО РАО. 2012. № 40. С. 74-90.
15. Скворцов М.А. Примеры метрических пространств. М., 2002.
16. Канатников А.Н., Крищенко А.П. Линейная алгебра: учеб. для вузов /под ред. В. С. Зарубина, А.П. Крищенко. М., 2002.
17. Моисеев В.Б., Усманов В.В., Таранце-ва К.Р., Пятирублевый Л.Г. Оценивание результатов тестирования на основе экспер-тно-аналитических методов // Открытое образование. 2001. № 3. С. 32-36.
18. Булгаков О.М., Ладыга А.И., Рябошап-ко О.Н. Интерпретация результатов контроля остаточных знаний с применением элементов корреляционного анализа и математической статистики // Вестник Воронежского института ФСИН России. 2018. № 2. С. 33-37.
19. Латова Н.В. Опыт управления качеством высшего образования при помощи электронной системы обратной связи // Высшее образование в России. 2011. № 1. С. 102-109.
15. Skvortsov M.A. Examples of metric spaces. Moscow, 2002.
16. Kanatnikov A.N., Krishchenko A.P. Linear algebra: textbook for universities / ed. by V.S. Zarubina, A.P. Krishchenko. Moscow, 2002.
17. Moiseev V.B., Usmanov V.V., TarantsevaK.R., Pyatirublevy L.G. Assessment of testing results based on expert analytical methods // Open Education. 2001. No. 3. P. 32-36.
18. BulgakovOM, LadygaA.I., Ryaboshapko O.N. Interpretation of the results of control of residual knowledge using the elements of correlation analysis and mathematical statistics // Bulletin of the Voronezh Institute of the Federal Penitentiary Service of Russia. 2018. No. 2. P. 33-37.
19. Latova N.V. Experience in managing the quality of higher education using the electronic feedback system // Higher Education in Russia. 2011. No. 1. P. 102-109.
СВЕДЕНИЯ ОБ АВТОРАХ
Булгаков Олег Митрофанович, доктор технических наук, профессор, первый заместитель начальника Краснодарского университета МВД России; e-mail: ombfrier@yandex.ru;
Гривенная Елена Николаевна, доктор педагогических наук, доцент, начальник отдела мониторинга реализации образовательных программ управления учебно-методической работы Краснодарского университета МВД России; e-mail: lady-docc@yandex.ru;
Дедикова Анна Олеговна, педагог дополнительного образования по информатике МБОУ «Прогимназия № 2»; e-mail: dedikova_a_o@rambler.ru
INFORMATION ABOUT AUTHORS
O.M. Bulgakov, Doctor of Technics, Professor, First Deputy Head of the Krasnodar University of the Ministry of the Interior of Russia; e-mail: ombfrier@yandex.ru;
E.N. Grivennaya, Doctor of Pedagogics, Associate Professor, Head of the Section for Monitoring the Implementation of Educational Programs of Educational and Methodological Department of the Krasnodar University of the Ministry of the Interior of Russia; e-mail: lady-docc@yandex.ru;
A.O. Dedikova, supplementary education teacher of computer science of Municipal Budget Educational Institution «Progymnasium № 2»; e-mail: dedikova_a_o@rambler.ru
137
