CC BY
13
Булгаков Олег Митрофанович Ладыга Антон Игоревич
Контроль остаточных знаний в контексте теории измерений и измерительных схем
Рассмотрены метрологические основы организации педагогических измерений при контроле остаточных знаний с применением тестов. Обращается внимание на то, что в основе косвенных измерений показателей остаточных знаний лежит дифференциальный метод и различие прямо измеряемых количественных показателей и меры, представленной базой знаний, определяется алгоритмами начисления штрафных баллов за неверные и частично верные ответы. Данный подход не только обеспечивает корректность априорных оценок погрешности измерений, но и позволяет предельно снижать ее систематическую составляющую. Повышение точности измерений обеспечивается дискретизацией прямо измеряемых величин и формированием результатов косвенных измерений на основе линейных или квадратичных зависимостей от аргументов.
Ключевые слова: контроль остаточных знаний, оценивание учебных достижений обучающихся, дифференциальный метод сравнения с мерой, относительная погрешность измерений, измерительная схема, измерительный преобразователь.
Residual knowledge control in the context of measurement theory and measuring circuits
The metrological foundations of the organization of pedagogical measurements in the control of residual knowledge with the use of tests are considered. It is shown that indirect measurements of residual knowledge indicators are based on the differential method, and the difference between directly measured quantitative indicators and the measure presented by the knowledge base is determined by the algorithms for calculating penalty points for incorrect and partially correct answers. This approach not only ensures the correctness of the a priori estimates of the measurement error, but also makes it possible to reduce its systematic component as much as possible. Increasing the measurement accuracy is provided by discretizing the directly measured values and generating the results of indirect measurements based on linear or quadratic dependences on the arguments.
Keywords: control of residual knowledge, assessment of educational achievements of students, differential method of comparison with a measure, relative measurement error, measuring circuit, measuring transducer.
Оценивание знаний и умений обучающихся, в особенности опосредованное, с применением тестов или письменных заданий, нередко отождествляют с измерениями, что, например, проявляется в употреблении понятий «педагогические измерения», «педагогическая квалиметрия» и др., а также использовании при обработке результатов оценивания учебных достижений аппарата теории вероятностей и математической статистики, аналогичного применяемому при обработке результатов многократных измерений физических величин [1, с. 15-21; 2; 3, с. 16-125; 4]. Собственно, термин «оценка» применительно к знаниям и умениям предполагает как проведение специальных контрольных процедур (устный опрос, письменная работа, тест, выполнение практического задания и др.) с использованием специфического инструментария (контрольных вопросов, тестовых заданий и т. д.), так и некоей погрешности
получаемых результатов как характеристики их отклонения от истинных показателей измеряемых параметров (уровня, состояния, объема и др.), что также дает основание для прямых аналогий с техническими измерениями.
Схожесть общих признаков технических и педагогических измерений предполагает дальнейшую углубленную интерпретацию видов, процедур и технологий оценки знаний и умений с позиций теоретической и практической метрологии, теории и практики измерений физических величин для повышения достоверности и надежности результатов оценивания учебных достижений обучающихся (далее - ОУДО) и обеспечения корректности их анализа. Однако специалисты в области разработки и применения современных технологий ОУДО в своих публикациях, как правило, не продвигаются далее повторения общих положений педагогической квалиметрии, например, констатирующих тест как инструмент педагогических измерений,
113
или привносят в теорию педагогических измерений не относящиеся к метрологии понятия, такие как «измерение латентных переменных» [5], без метрологического обоснования методик измерения соответствующих величин.
Рассмотрим оценивание знаний и умений обучающихся при помощи теста как измерение. Измерение предполагает преобразование информации об интересующем нас (измеряемом) свойстве объекта в формат, удобный для непосредственного восприятия и дальнейшего преобразования и анализа. Обычно в процессе измерения измеряемая величина переводится в числовой формат при помощи измерительного преобразователя и цифровой шкалы. Так, в большинстве аналоговых электроизмерительных приборов измеряемая величина сначала преобразуется в постоянный электрический ток, затем в угол отклонения стрелки, и результат однократного измерения рассматривается как проекция стрелки на числовую измерительную шкалу. В цифровых измерительных приборах также имеет место предварительное преобразование измеряемой величины в постоянное напряжение или периодическую последовательность импульсов, далее трансформируемых в цифровой код, отображаемый на шкале прибора в десятичном формате. В обоих случаях имеет место сначала прямое преобразование (однократное во втором случае, двукратное в первом), а затем перевод измеряемой величины в установленный формат и принятые единицы измерений -в первом случае с участием оператора, во втором - автоматически [6].
Измерительная схема ОУДО при помощи теста приведена на рис. 1.
Ищ - И„г И„„, И„Н1,
Входной ИП1 ИП2 ипз выходной
интерфейс интерфейс
Им,
М1
Рис. 1. Представление оценивания знаний тестом измерительной схемой
Блок ИП1 на рис. 1 - первый измерительный преобразователь, обеспечивающий преобразование измеряемого параметра - уровня или объема знаний и умений в удобный для оценивания формат: позиции (числовые или буквенные) выбранных вариантов ответов, числа, комбинации слов и др.; блок ИП2 - второй измерительный преобразователь, выполняющий преобразование формализованных решений тестовых заданий в баллы; блок ИП3 - третий измерительный преобразователь, осуществляющий перевод баллов в оценки на основе критериев соответствия и пороговых значений (интервалов) оценок. Блок М1 - мера (база
знаний), с которой происходит сравнение информационного сигнала с выхода ИП1. Входной и выходной интерфейсы актуальны для компьютерных тестирующих программ и предназначены для ввода измеряемой и вывода (визуализации) результатов измерений. Каждый из измерительных преобразователей характеризуется функцией преобразования:
ИвЫх1=^ (ИвХ1);
ИвЫХ2=^2 (Ивхг);
Ивых2=^2 (Ивх2).
Формула преобразования для теста в целом в соответствии с рис. 1 [7; 9]:
Ивых= ад^О^))) = Р1(Ивх1)^Р2(Ивх2))^Р3(Ивх3).(1)
Относительная погрешность измерения для измерительной схемы на рис. 1 [6; 7]:
бт = б1 + 62 + 63, (2)
где 6| - относительная погрешность измерения 1-го ИП.
В данном случае Ивх1 - генерируемая испытуемым информация на входе ИП1, подлежащая оцениванию. По сути, преобразователь ИП1 является эргатическим, т. е. включающим в себя человеческую компоненту, что определяет случайный характер его погрешности преобразования 61, определяемой ошибками первого рода - ошибочным введением неверных ответов, например, из-за невнимательности испытуемого или неправильного понимания им отдельных заданий или условий их решения, и ошибками второго рода - введением верных решений при реальном незнании проверяемого изученного содержания. Несмотря на то что значение 61 априори представляется наибольшим в ряду погрешностей всех измерительных преобразователей схемы на рис. 1, с позиций измерительной техники ИП1 является вспомогательным, т. к. лишь приводит измеряемую величину к удобному для измерений виду
Ивых1 ~ Ивх2.
Методы измерений подразделяются на две группы: методы непосредственной оценки и методы сравнения с мерой. Во второй группе методов измеряемая величина сравнивается с известной величиной,воспроизводимой мерой.
Очевидно, что непосредственная оценка знаний и умений обучающихся производится преподавателем и в качестве измерительного инструмента выступает совокупность его предметных знаний и методическая квалификация. Тестирование, напротив, основано на применении меры, степени совпадения измеряемых знаний и умений обучающихся и определяет их итоговую оценку.
В рассматриваемом примере в ИП2 происходит сравнение некоторой совокупности данных
114
ВЕСТНИК КРАСНОДАРСКОГО УНИВЕРСИТЕТА МВД РОССИИ • 2021 • № 3 (53)
Ивх2 с «правильной» совокупностью данных И2, играющей роль меры и сформированной из базы верных решений. Из методов сравнения измеряемой величины с мерой - дифференциальных, нулевых, замещения - к модели ИП2 наиболее применим дифференциальный метод, согласно которому после сравнения измеряемой величины И2 с мерой М2 измеряется их разница ДИ2, а измеряемая величина вычисляется по формуле [6-9]:
И2 = М2 - ДИ2.
В качестве М2 в данном случае следует рассматривать максимально возможное количество баллов, соответствующее идеальному знанию тестируемого содержания, ДИ2 - штрафы за неверно решенные задания. Относительная погрешность данного этапа измерения определяется как сумма погрешности меры бМ2 и погрешности измерения величины ДИ2 (погрешности начисления штрафов) [6; 7]:
б2 = бМ2 + бДИ2.
Погрешность меры определяется ошибками в базе заданий, допущенных разработчиком теста:
фактическими (ошибками содержания ответов);
структурными (дублированием дистракто-ров в различных единичных тестовых заданиях (далее - ЕТЗ), неоптимальным распределением количества ЕТЗ по дидактическим единицам проверяемого содержания обучения и др.);
методическими (неоптимальной трудностью ЕТЗ, чрезмерным сходством формулировок дистракторов и верных ответов, ориентацией ЕТЗ не на понимание тестируемыми изученного материала, а на его буквальное запоминание и др.).
Погрешность бДИ2 определяется в основном некорректными выбором алгоритмов начисления баллов за правильные ответы (например, игнорирование частично верных ответов, неучет уровней сложности вопросов и т. п.). По сути, величина бДИ2 является регулируемой, что позволяет реализовывать самые разнообразные подходы разработчиков тестов к ОУДО, обеспечивая потенциально высокую адекватность набранных баллов реальным знаниям и умениям обучающихся.
Данное обстоятельство наиболее наглядно демонстрирует тождественность измерительной схемы на рис. 1 «классическому» дифференциальному методу измерений, согласно которому разницу между неизвестной величиной и мерой измеряет высокоточный (как правило, узкодиапазонный) измерительный прибор. В рассматриваемом случае таким прибором явля-
ется алгоритм начисления штрафных баллов за неверные ответы (разницу между реальными, формализованными ИП1 знаниями и умениями отвечающих и их идеальным эквивалентом -мерой, представленной базой знаний теста), обладающий возможностями учета всех нюансов тестирования, начиная с целеполагания и заканчивая тонкими уровнями детализации ошибок.
Погрешность б3, вносимая ИП3, имеет методический характер и может быть обусловлена:
низкой прецизионностью оценочной шкалы (недостаточной «расщепленностю» уровней итоговых оценок);
некорректными критериями перевода баллов в итоговые оценки, например, из-за неверного соотнесения порогов оценок с прогнозируемыми статистическими данными ответов.
Величина б3, как следует из ее природы, может быть сведена к минимуму посредством адаптивной подстройки порогов и диапазонов в критериях перевода баллов в итоговые оценки, а также, при необходимости, введением дополнительных оценочных уровней.
В отличие от традиционного ОУДО при помощи тестов контроль остаточных знаний (далее -КОЗ) является многоцелевой комплексной процедурой, и данное обстоятельство должно быть учтено в особенностях как измерительных схем, обработки и интерпретации результатов измерений знаний и умений обучающихся, так и анализа погрешностей измерений, способах их компенсации [10]. В связи с тем что результаты КОЗ существенно зависят от времени, прошедшего с момента завершения изучения контролируемого содержания обучения (формирования контролируемой компетенции), такие изменения следует отнести к динамическим, что приводит к возникновению динамической погрешности в дополнение к статической погрешности измерений постоянной во времени величины [6-8].
Как правило, КОЗ проводится в целях [11; 12, с. 113-115]:
1) внешнего аудита образовательной деятельности образовательной организации;
2) мониторинга и оценки уровня и обеспечения реализации образовательных программ и их отдельных компонентов в системе внутри-вузовской системы управления качеством подготовки специалистов.
В первом случае ОУДО вполне соответствует измерительной схеме на рис. 1, и отличием КОЗ от иных видов контроля является выходящий за рамки измерительных процедур анализ массива полученных данных на основе их сравнения с некоторой моделью, характеризующей достаточный уровень образовательной деятельности субъекта аудита, или с аналогичными, как правило, усредненными или ран-
115
жированными, показателями иных субъектов аудита.
Во втором случае ОУДО необходимо рассматривать в контексте косвенных измерений, т. к., помимо собственно баллов и оценок, полученных при оценивании остаточных знаний и умений обучающихся, результатом КОЗ являются измеряемые динамические величины, характеризующие объем и темпы забывания освоенного материала, деградацию отдельных знаний и умений или их комплекса, объективность ОУДО на промежуточной аттестации и других формах контроля, предшествующих КОЗ.
Отнесение КОЗ к косвенным измерениям накладывает на процесс ОУДО дополнительные условия, в частности контроль отсутствия корреляции между погрешностями прямых измерений по критерию проверки гипотезы об отсутствии корреляции между погрешностями измерений аргументов, а также желательное приведение зависимости косвенно измеряемой величины от прямо измеряемых аргументов к линейному или линеаризуемому путем разложения в ряд Тейлора виду [10].
Особенности измерительных схем КОЗ будут определяться характеристиками мер и подходом к их применению. На рис. 2 представлена схема измерений остаточных знаний с использованием одной меры.
Рис. 2. Схема измерения остаточных знаний с применением одной меры
Блок ДТОЗ на рис. 2 отражает временной сдвиг на ДТОЗ между КОЗ и проведенным ранее измерением параметров учебных достижений обучающихся, например промежуточной аттестации. Блок К представляет собой двух-канальный компаратор - устройство сравнения результатов прямых измерений с выходов идентичных измерительных каналов, каждый из которых воспроизводит схему, представленную на рис. 1.
Принципиальным моментом организации измерений по схеме, приведенной на рис. 2, является использование единственной меры, общей для разделенных по времени контрольных мероприятий. Фактически такой мерой выступает база знаний, применяемая совместно с контрольно-измерительными материалами независимо от времени тестирования. Досто-
инствами данного подхода являются простота организации измерений и их минимальные трудозатраты, обусловленные отсутствием необходимости корректировки контрольно-измерительных материалов и, собственно, меры, а также возможность варьирования параметра ДТОЗ в широких пределах, что позволяет проводить измерения многократно как в контрольно-диагностических, так и исследовательских целях.
Проблема реализации измерительной схемы, представленной на рис. 2, состоит в адаптивной интерпретации результатов измерений на выходе компаратора в зависимости от ДТОЗ. В общем случае подлежат сравнению отражающие объем и уровень тестируемых знаний и умений баллы (оценки) тестирования в моменты Т0 и Т0 + ДТОЗ, однако при неизменных правилах начисления баллов и их перевода в оценки такое сравнение, характеризующее лишь общие показатели деградации знаний и умений (например, снижение средних баллов), будет малоинформативным. С другой стороны, решение задачи адаптации алгоритмов сравнения с мерой - начисления баллов порогов и диапазонов оценок - под параметр ДТОЗ зависит от многих подгоночных параметров как статистической, так и эвристической природы, т. е. является априори множественным ввиду невозможности корректного применения экс-траполяционных и интерполяционных процедур при интервальных оценках неявно зависимых от ДТОЗ величин.
На рис. 3 представлена схема измерений остаточных знаний с использованием двух мер.
ИП1 ИП2 ипз 1 1 к
---- - Л - ---- / \
М1
М2= Р(М1; йТоз)
г ,— — —
ЛТоз 1 ИП1 ИП2 ипз
1
Рис. 3. Схема измерения остаточных знаний с применением двух мер
Мера М2, используемая для измерения параметров остаточных знаний и умений, зависит от временного сдвига ДТОЗ и меры М1, т.е. является адаптивной. Адаптация меры М2 к параметру ДТОЗ осуществляется уменьшением содержания базы знаний путем исключения из нее сегментов повышенной и частично средней сложности с учетом динамики забывания изученного материала. Математические модели деградации знаний и умений достаточно адекватны и многократно апробированы [13, с. 36-
_116
ВЕСТНИК КРАСНОДАРСКОГО УНИВЕРСИТЕТА МВД РОССИИ • 2021 • № 3 (53)
39; 14, с. 97-125; 15, с. 23-25], что позволяет корректно определять объем и уровень сложности контролируемого содержания обучения [16, с. 138-141]. Важным преимуществом такого подхода является то, что адаптация меры и схемы измерений в целом может быть сведена к изменению единственного параметра, регулируемого, как правило, в широких пределах, что обеспечивает минимальную погрешность меры. Напротив, регулируемые с наименьшей потенциальной точностью параметры - пороговые значения и балльные диапазоны оценок -остаются неизменными.
Точность измерений характеристик КОЗ определяется функциональной зависимостью косвенно измеряемых параметров от величин, измеряемых прямо [6-10]. Результатами косвенных измерений на выходе компаратора в схемах на рис. 2 и 3 могут быть:
а) разность средних значений текущего и предшествующего ОУДО:
ДСБ = СБ(ДТоз) - СБ(0).
Несмотря на простоту интерпретации и анализа результатов измерений, метрологическая состоятельность величины ДСБ крайне низка из-за потенциально большой относительной погрешности косвенно измеряемой величины:
В этом случае относительная погрешность косвенного измерения:
Дсб(ДТоз)+Дсб(0)
где ДСБ (ЛТОЗ), ДСБ(0) - абсолютные погрешности прямых измерений величин СБ(ДТОЗ) и СБ(0); СБ(ДТОЗ), СБ(0) - измеренные (истинные) значения СБ(ДТОЗ) и СБ_(0).
Значения СБ(ДТОЗ) и СБ(0) могут различаться незначительно, а величины ДСБ(ДТОЗ) и ДСБ(0) примерно равны и мало меняются от серии к серии измерений, в итоге бСБ неограниченно возрастает по мере уменьшения разницы СБ(ДТОЗ) - СБ(0). Единственным способом уменьшения бСБ является минимизация абсолютных погрешностей прямых измерений ДСБ (ДТОЗ) и ДСБ(0), однако возможности такой минимизации для индивидуального ОУДО за счет повышения точности меры и корректности алгоритмов начисления штрафных баллов, как правило, исчерпываются априори, а увеличение количества прямых измерений (объема выборки тестируемых), позволяющее уменьшить дисперсию оценок, далеко не всегда согласуется с целями КОЗ;
б) отношение средних значений текущего и предшествующего ОУДО:
ДсБ " Ж(ДТ03) ■ СБ(0)
уменьшается и, по примерным оценкам, при доверительной вероятности 0,95 [10] не превышает 12-15%.
Для уменьшения значений относительных погрешностей косвенно измеряемых параметров в качестве определяемых величин целесообразно рассмотреть такие, которые при фиксированной абсолютной погрешности могли бы обладать потенциально высокой точностью измерений за счет возможности увеличения численных значений результатов измерений.
Данным условиям в полной мере соответствуют дискретные величины, абсолютная погрешность измерения которых электронно-счетными (цифровыми) способами - ошибка счета, как правило, равна ошибке квантования, т. е. единице счета [6; 7].
Дискретными измеряемыми величинами, которые формируются на выходе компаратора, для шкалы оценок от 2 до 5 («неудовлетворительно», «удовлетворительно», «хорошо», «отлично») могут быть:
количество отклонений оценок индивидуальных ОУДО в моменты времени I, = 0 и 12 = ДТОЗ на 1 балл - N(1);
количество отклонений оценок индивидуальных ОУДО в моменты времени ^ = 0 и 12 = ДТОЗ на -1, 2, -2, 3, -3 балла - N(-1), N(2), N(-2), N(3), N(-3) соответственно;
количество отклонений оценок индивидуальных ОУДО в моменты времени ^ = 0 и 12 = ДТОЗ на 0 баллов (количество совпадений оценок) - N(0).
Измерение данных величин должно быть отражено подключением семиканального (по каналу на каждую величину отклонений оценок) счетчика к выходу компаратора на схемах рис. 2 и 3.
В дальнейшем измеренные количества отклонений N(-3), N(-2), ... N(3) могут использоваться для расчета комплексных показателей, таких как дисперсия отклонений:
(3)
характеризующая степень несовпадения индивидуальных оценок Бк(ДТОЗ) и Бк(0); отношение дисперсий больших отклонений:
117
по которому определяется смещение оценок КОЗ относительно результатов предшествующего ОУДО, отношение дисперсий больших и малых отклонений и другие характеристики, позволяющие при помощи заданных критериев автоматически диагностировать существенные различия массивов индивидуальных оценок знаний и умений обучающихся в рассматриваемые моменты времени [17, с. 41-48]. На основе анализа комплексных показателей могут устанавливаться факты необъективного ОУДО на промежуточной аттестации, деградации базы контрольно-измерительных материалов для КОЗ и мер М1 и М2 в целом, а также проблемы организации, информационно-методического, материально-технического и кадрового обеспечения изучения контролируемого содержания обучения.
Отдельный интерес представляет использование при расчете комплексных характеристик на основе массивов отклонений индивидуальных оценок обучающихся «оптимальных» или «эталонных» моделей распределения отклонений, полученных с использованием экспертных оценок [18, с. 33-37]. В отличие от идеального распределения отклонений (Ы = N(0), полное совпадение оценок), «оптимальные» модели допускают наличие отклонений на -1 и +1 балл в соотношении:
или
N(-1) = N(+1) = 1/6 N, (5а)
N(-1) = N(+1) = 1/4 N. (5 б)
Нормирование экспериментально измеренного распределения индивидуальных отклонений оценок КОЗ от предшествующего ОУДО на «оптимальное» распределение (в простейшем случае - вычитанием второго из первого) позволяет повысить наглядность результатов измерений и надежность автоматизированных алгоритмов их обработки. «Оптимальное» распределение можно рассматривать в качестве меры М3, а ее применение в измерительной схеме на рис. 4 - как реализацию дифференциального метода измерений.
Рис. 4. Схема измерения остаточных знаний с применением модели «оптимальных» распределений отклонений оценок
Дополнительными, по сравнению с рис. 3, блоками измерительной схемы на рис. 4, помимо меры М3, показаны: Сч - счетчик отклонений оценок; К2 - компаратор для сравнения измеренного распределения отклонений оценок с «оптимальным» распределением; П - процессор для расчета комплексных характеристик КОЗ.
Формализация алгоритмов КОЗ измерительными схемами позволяет рассчитывать показатели надежности измерений (в частности, вероятность безотказной работы [19, с. 72-75]) на основе трансформации измерительных схем в последовательно-параллельные схемы надежности [20] и оценок надежности компьютерных тестов [21; 22, с. 45-55].
Выводы:
1. Контроль остаточных знаний предполагает косвенные динамические измерения показателей качества освоения образовательных программ как комплексным методом, подразумевающим получение измерительной информации интегрального характера о комплексном свойстве объекта измерений, так и поэлементным методом, характеризующимся измерением отдельных величин, в совокупности определяющих искомое комплексное свойство объекта измерений. Измерения на основе поэлементного метода проще интерпретируются, а их погрешность рассчитывается, контролируется и компенсируется на основе стандартизированных методик.
2. Важным условием обеспечения приемлемой точности измерений при КОЗ является установление относительно простых аналитических соотношений между косвенно измеряемой величиной и ее аргументами, значения которых измеряются прямо. Явный вид зависимости искомой величины от результатов прямых измерений, ее линейность или возможность линеаризации путем разложения в ряд Тейлора [10] обеспечивают высокую точность априорных оценок основных и дополнительных погрешностей измерений, в том числе границ неисключенной систематической погрешности результата косвенных измерений, и моделей их компенсации. Дополнительные возможности для математического моделирования и контроля точности и надежности измерений показателей знаний и умений обучающихся дает представление КОЗ измерительными схемами.
3. В основе КОЗ как измерительной процедуры лежит дифференциальный метод сравнения измеряемой величины с мерой. В качестве меры следует рассматривать базу знаний или выборку из нее для индивидуального теста. Такой подход позволяет повысить точность измерений за счет повышения точности меры, а также прецизионности алгоритмов начисления
_118
ВЕСТНИК КРАСНОДАРСКОГО УНИВЕРСИТЕТА МВД РОССИИ • 2021 • № 3 (53)
штрафов за неверные или частично верные ответы.
4. Существенное повышение точности измерений может быть достигнуто за счет представления прямо измеряемых величин в дискретной форме и увеличения их счетных значений. Такими дискретными величинами могут быть
1. Аванесов В. С. Основы педагогической теории измерений // Педагогические измерения. 2004. № 1.
2. Аванесов В. С. Теория и практика педагогических измерений (материалы публикаций в открытых источниках и Интернет). Екатеринбург, 2005.
3. Летова Л. В. Исследование качества теста как измерительного инструмента // Дистанционное и виртуальное обучение. 2013. № 11.
4. Ким В. С. Тестирование учебных достижений. Уссурийск, 2007.
5. Маслак А. А. Теория и практика измерения латентных переменных в образовании. М, 2016.
6. Тихонов Б.Н., Ходжаев И.А. Метрология и электрорадиоизмерения в телекоммуникационных системах: учебное пособие для вузов/под общ. ред. Б.Н. Тихонова. М., 2017.
7. Метрология и электрорадиоизмере-ния/ В.И. Нефедов, А.С. Сигов, В.К. Битюков и др. / под ред. В. И. Нефёдова. М., 2006.
8. Шишмарев В.Ю., Шанин В.И. Электрорадиоизмерения: учебник для вузов. М., 2020.
9. Мейзда Ф. Электронные измерительные приборы и методы измерений: пер. с англ. М., 1990.
10. ГСИ. Измерения косвенные. Определение результатов измерений и оценивание их погрешностей МИ 2083-90. Дата введения 01.01.1992
11. Гибадуллина Р.Н. Контроль остаточных знаний // Вестник Казанского государственного энергетического университета. 2013. № 4.
12. Денисова О. П. Моделирование системы квалиметрии образовательного процесса в вузе // Вестник Гуманитарного института Тольяттинского государственного университета. 2012. № 2.
13. Черемошкина Л.В., Осинина Т.Н. О забывании учебного материала // Экспериментальная психология. 2011. Т. 4. № 3.
14. Кочукова М.В., Донов А.Н. Скорость забывания знаний студентами различного уровня подготовки // Международный научно-исследовательский журнал. 2015. № 3-4.
количества отклонений на определенное количество баллов (от -3 до +3) персональных оценок КОЗ от соответствующих персональных оценок тестирования в момент окончания изучения контролируемого содержания обучения (формирования контролируемой компетенции).
1. Avanesov KS. Foundations of the pedagogical theory of measurements // Pedagogical measurements. 2004. № 1.
2. Avanesov US. Theory and practice of pedagogical measurements (materials of publications in open sources and the Internet). Yekaterinburg, 2005.
3. Letova L.V. Investigation of the quality of the test as a measuring tool // Distance and virtual learning. 2013. № 11.
4. Kim V.S. Testing of educational achievements. Ussuriisk, 2007.
5. Maslak A.A. Theory and practice of measuring latent variables in education. Moscow, 2016.
6. Tikhonov B.N., Khodzhaev I.A. Metrology and electrical radio measurements in telecommunication systems: a textbook for universities / under total. ed. B.N. Tikhonov. Moscow, 2017.
7. Metrology and electro-radio measurements / V.I. Nefedov, A.S. Sigov, V.K. Bityukov et al. / ed. V.I. Nefedov. Moscow, 2006.
8. Shishmarev V.Yu., Shanin V.I. Electroradio measurements: a textbook for universities. Moscow, 2020.
9. Meizda F. Electronic measuring devices and measurement methods: trans. from English. Moscow, 1990.
10. GSE. Indirect measurements. Determination of measurement results and estimation of their errors MI 2083-90. Date of introduction 01.01.1992.
11. Gibadullina R.N. Residual knowledge control// Bulletin of Kazan State Power Engineering University. 2013. № 4.
12. Denisova O.P. Modeling the system of qualimetry of the educational process in the university // Bulletin of the Humanitarian Institute of Togliatti State University. 2012. № 2.
13. Cheremoshkina L.V., Osinina T.N. On forgetting educational material // Experimental psychology. 2011. Vol. 4. № 3.
14. Kochukova M.V., Donov A.N. The speed of forgetting knowledge by students of various levels of training // International research journal. 2015. № 3-4.
15. Buimov A.G. Regularities of the behavior of forgetting curves //Report TUSUR. 2017. Vol. 20. № 4.
16. Bulgakov O.M., Ladyga A.I., Ryaboshapko O.N. Generalized model of selection of the content of
119
15. Буймов А. Г. Закономерности поведения кривых забывания //Доклады ТУСУР. 2017. Т. 20. № 4.
16. Булгаков О.М., Ладыга А.И., Рябошап-ко О.Н. Обобщенная модель отбора содержания контроля остаточных знаний // Вестник Воронежского института МВД России. 2019. № 2.
17. Булгаков О.М., Ладыга А.И., Рябошап-ко О.Н. Интерпретация результатов контроля остаточных знаний с применением элементов корреляционного анализа и математической статистики // Вестник Воронежского института ФСИН России. 2018. № 2.
18. Булгаков О.М., Ладыга А.И., Рябо-шапко О.Н. Интерпретация результатов контроля остаточных знаний с помощью корреляционных диаграмм // Педагогика и психология служебной деятельности. 2020. № 2.
19. Ямпурин Н.П. Основы надежности электронных средств: учебное пособие для студентов вузов /Н.П. Ямпурин, А.В. Баранова; под ред. Н.П. Ямпурина. М., 2010.
20. ГОСТ 27.002-2009. Надежность в технике. Термины и определения. М., 2011.
21. Булгаков О.М., Дедикова А.О. Математическая модель контроля безотказной работы теста для проверки знаний // Вестник Воронежского института МВД России. 2018. № 2.
22. Моделирование надежности тестов с усложненной структурой тестовых заданий/ О.М. Булгаков, И.Н. Старостенко, А.А. Хромых и др. // Вестник Воронежского института ФСИН России. 2020. № 2.
control of residual knowledge // Bulletin of the Voronezh Institute of the Ministry of Internal Affairs of Russia. 2019. № 2.
17. Bulgakov O.M., Ladyga A.I., Ryaboshapko O.N. Interpretation of the results of control of residual knowledge using elements of correlation analysis and mathematical statistics // Bulletin of the Voronezh Institute of the Federal Penitentiary Service of Russia. 2018. № 2.
18. Bulgakov O.M., Ladyga A.I., Ryaboshapko O.N. Interpretation of the results of control of residual knowledge using correlation diagrams // Pedagogy and psychology of service activity. 2020. № 2.
19. Yampurin N.P. Fundamentals of the reliability of electronic means: a textbook for university students / N.P. Yampurin, A.V. Baranova; ed. N.P. Yampurina. Moscow, 2010.
20. GOST27.002-2009. Reliability in technology. Terms and Definitions. Moscow, 2011.
21. BulgakovO.M., DedikovaA.O. Mathematical model of control of the failure-free operation of the test for testing knowledge // Bulletin of the Voronezh Institute of the Ministry of Internal Affairs of Russia. 2018. № 2.
22. Modeling the reliability of tests with a complicated structure of test tasks / O.M. Bulgakov, I.N. Starostenko, A.A. Khromykh et al. //Bulletin of the Voronezh Institute of the Federal Penitentiary Service of Russia. 2020. № 2.
СВЕДЕНИЯ ОБ АВТОРАХ
Булгаков Олег Митрофанович, доктор технических наук, профессор, первый заместитель начальника Краснодарского университета МВД России; e-mail: ombfrier@yandex.ru;
Ладыга Антон Игоревич, кандидат экономических наук, начальник управления учебно-методической работы Краснодарского университета МВД России; e-mail: evan-evans@yandex.ru
INFORMATION ABOUT AUTHORS
O.M. Bulgakov, Doctor of Technical Sciences, Professor, First Deputy Head of the Krasnodar University of the Ministry of Internal Affairs of Russia; e-mail: ombfrier@yandex.ru;
A.I. Ladyga, Candidate of Economic Sciences, Head of the Department of Educational and Methodological Work of the Krasnodar University of the Ministry of Internal Affairs of Russia; e-mail: evan-evans@yandex.ru
120
ВЕСТНИК КРАСНОДАРСКОГО УНИВЕРСИТЕТА МВД РОССИИ • 2021 • № 3 (53)
