CC BY
33
Общая педагогика, история педагогики и образования
УДК 378.146
DOI: 10.35750/2071-8284-2020-2-183-190
О. М. Булгаков
доктор технических наук, профессор Краснодарский университет МВД России Российская Федерация, 350005, Краснодар, ул. Ярославская, д. 128 ORCID: 0000-0003-3459-4954. E-mail: ombfrier@yandex.ru
А. О. Дедикова
Прогимназия № 2 Российская Федерация, 394005, Воронеж, ул. Вл. Невского, 65-Б ORCID: 0000-0001-8829-2252. E-mail: dedikova_a_o@rambler.ru
Тестирование учебных достижений: от проверки знаний к проверке понимания
Аннотация: В статье представлены результаты авторских исследований в области оценки сформированности компетенций обучающихся образовательных организаций высшего образования с применением тестовых технологий. Проведённый в русле педагогической квалиметрии анализ позволяет сделать выводы о высоком дидактическом потенциале единичных тестовых заданий с упорядочиванием ответов. Изучение особенностей применения тестовых технологий при формировании фондов оценочных средств по реализуемым образовательным программам высшего образования выявило преимущество указанного инструмента, выразившееся в виде возможности дифференцировать оценки в зависимости от дидактических целей теста и глубины контроля учебных достижений. В статье научно обосновано, что применение единичных тестовых заданий с упорядочиванием ответов, в отличие от других видов тестов (например, с единичным выбором, множественным выбором, установлением соответствия, установлением последовательности), предоставляет разработчику существенно больше возможностей в формировании оценочной шкалы и одновременно обеспечивает его более интересными для анализа результатами контроля успеваемости обучающихся. Авторами статьи получены первичные аналитические данные, при помощи которых могут быть рассчитаны количественные характеристики, позволяющие в совокупности с соответствующими критериями оценить успешность решения теста. Методом анкетирования слушателей, проходивших обучение по программе повышения квалификации профессорско-преподавательского состава «Инновационные образовательные технологии», получены оценки различных видов тестовых заданий, подтверждено, что разработка тестов на основе единичных тестовых за-
даний с упорядочиванием ответов требует от преподавателей не только глубоких познаний в своём предмете, но и творческих способностей и общего кругозора. Даны рекомендации по внедрению тестовых технологий в образовательной среде.
Ключевые слова: образовательный процесс, качество образования, компетентностный подход, педагогическая квалиметрия, фонд оценочных средств, тестовое задание, надёжность теста.
Для цитирования: Булгаков О. М., Дедикова А. О. Тестирование учебных достижений: от проверки знаний к проверке понимания // Вестник Санкт-Петербургского университета МВД России.
- 2020. - № 2 (86). - С. 183-190. DOI: 10.35750/2071-8284-2020-2-183-190.
Oleg M. Bulgakov
Doctor Sci. (Tech.), Professor Krasnodar University of the MIA of Russia 128, Yaroslavskaya str., Krasnodar, 350005, Russian Federation ORCID: 0000-0003-3459-4954. E-mail: ombfrier@yandex.ru
Anna O. Dedikova
Gymnasium № 2 65-B, Vl. Nevsky str., Voronezh, 394005, Russian Federation ORCID: 0000-0001-8829-2252. E-mail: dedikova_a_o@rambler.ru
Testing educational achievements: from knowledge test to test of understanding
Annotation: The article presents the results of author's research in the field of assessing the formation of competencies of students in educational institutions of higher education using test technologies. The analysis carried out in the context of pedagogical qualimetry allows us to draw conclusions about the high didactic potential of individual test tasks with the ordering of answers. The study of the features of the application of test technologies in the formation of funds for assessment tools for ongoing educational programs of higher education revealed the advantage of this tool, expressed in the form of the ability to differentiate grades de-pending on the didactic goals of the test and the depth of control of educational achievements. In the article, it is scientifically grounded that the use of single test tasks with ordering of answers, unlike other types of tests (for example, with a single choice, multiple choice, establishing compliance, establishing a sequence), provides the developer with significantly more possibilities in forming grading scale and at the same time provides it with more interesting for analysis results of monitoring student performance. The authors of the article obtained initial analytical data, with the help of which quantitative characteristics can be calculated, which, together with the relevant criteria, can evaluate the success of the test solution. The method of questioning students who were trained according to the advanced training program of the faculty "Innovative Educational Technologies" received estimates of various types of test items, it was confirmed that the development of tests based on single test items with ordering of answers requires not only deep knowledge in his subject, but also creative abilities and general outlook. Recommendations on the introduction of test technologies in the educational environment are given.
Keywords: educational process, quality of education, competency-based approach, pedagogical qualimetry, fund of assessment tools, test task, reliability of the test.
For citation: Bulgakov O. M., Dedikova A. O. Testing educational achievements: from knowledge test to test of understanding // Vestnik of St. Petersburg University of the Ministry of Internal Affairs of Russia.
- 2020. - № 2 (86). - P. 183-190. DOI: 10.35750/2071-8284-2020-2-183-190.
Введение самих обучающихся, но и всего профессорско-
Оценка сформированности компетенций преподавательского состава, а также степень обучающихся и их учебных достижений пред- эффективности деятельности образовательной ставляет собой область педагогической квали- организации в целом. Применяемые оценоч-метрии, охватывающую активность не только ные процедуры отражают различные аспекты
образовательного процесса, демонстрируя в итоге, насколько результат обучения адекватен поставленным учебным целям. Итоги различных видов контроля успеваемости являются обобщённой количественной характеристикой предшествующей работы всех уровней образовательной системы, имеют многофункциональное назначение и используются для определения направлений совершенствования организации и методологии обучения.
Очевидным требованием к результатам оценивания учебной деятельности и одновременно сложной педагогической проблемой является их объективность, а также способность образовательной системы к восприятию получаемых данных в качестве сигнала обратной связи для саморегулирования и собственного устойчивого развития.
Современный этап развития системы контроля и оценки качества обучения обусловлен введением ФГОС ВО нового поколения, сущность которых состоит в формулировании требований к профессиональной подготовленности выпускников образовательных организаций высшего образования в условиях компетентностного подхода. Иными словами, компетентностные дескрипторы представляют собой видимые преподавателям и обучающимся результаты обучения, увеличивающие благодаря этому вероятность их освоения. Требования к обязательным результатам обучения, зафиксированные в стандартах, становятся объективной основой для обновления всей системы оценки и контроля качества и разработки фондов оценочных средств, основанных на критериях эффективности качества обучения.
В настоящее время оценка сформирован-ности компетенций обучающихся производится преимущественно с применением тестовых технологий.
Описание исследования. Любой разработчик тестов для контроля знаний рано или поздно сталкивается с проблемой обеспечения их надёжности. Ряд авторов [1-3] основывают определение надёжности теста на воспроизводимости его результатов (оценок), что оставляет за пределами анализа систематическую погрешность оценок, например, из-за неправильного соотнесения базы заданий и базы знаний. Нами предложено определение надёжности теста [4] из его сопоставления с сортировочным или отбраковочным автоматом, базирующееся на общих положениях теории надёжности [5; 6], и в основу критерия надёжности теста положено его безошибочное оценивание знаний и умений
обучающихся. В связи с этим надёжность теста характеризуется вероятностью его полного или частичного отказа, которая в свою очередь напрямую зависит от ошибок первого и второго рода, приводящих к занижению и завышению оценок соответственно. Если ошибки первого рода носят методический или технический характер и могут быть устранены в процессе отладки и эксплуатации теста, то в ошибках второго рода преобладает деградационная составляющая, увеличивающая частоту возникновения ошибочных оценок с увеличением времени эксплуатации теста и обусловленная запоминанием обучающимися правильных ответов и передачей этой информации от одних тестирующихся другим. Таким образом, разработчик теста во избежание превышения вероятностью ошибок второго рода некоторого определённого им критического значения, зависящего от порога положительной оценки (при двухбалльной шкале оценивания «зачёт» - «незачёт») или интервалов между порогами оценок (при многобалльной шкале оценивания), должен регулярно модифицировать тест, и частота таких модификаций определяется оценкой надёжности теста [7]. В свою очередь, потенциальная устойчивость теста к ошибкам второго рода определяется его структурой: распределением заданий по уровням сложности, их взаимной корреляцией, обеспечивающей дополнительную верификацию оценок, а также типом и конструкцией единичных тестовых заданий (ЕТЗ). Снижению вероятности ошибок второго рода способствует формирование теста из ЕТЗ, предполагающих множественный выбор правильных вариантов ответа, установление соответствия между объектами и их признаками или группами признаков, установление правильной последовательности, например, слов в определении или формулировке.
Пример ЕТЗ на установление правильной последовательности: «Формулировка закона Ома для участка цепи:
1) сопротивление;
2) отношение;
3) равно;
4) ток;
5) напряжение».
Правильная комбинация цифр (вводимое число) - 43251, допустимый ответ - 13254. С учётом того, что «3» и «2» на второй и третьей позиции соответственно находятся постоянно, вероятность угадывания правильной комбинации - 1/6, за вычетом допустимого ответа - 1/5. Уменьшить вероятность угадывания в ЕТЗ с
установлением или восстановлением правильной последовательности можно за счёт увеличения количества позиций (разрядов числа) и уменьшения количества фиксированных позиций, определяемых структурой (правильным порядком слов) предложения, однако далеко не каждое правило (формула, закон и т.п.) пригодно для представления заданием с установлением (восстановлением) правильной последовательности.
Применение ЕТЗ такого рода значительно увеличивает трудоёмкость создания теста и требует относительно высокой методической квалификации разработчика, однако, по мнению критиков идеи проверки знаний и умений с помощью тестов, способствует лишь более достоверному выявлению знания ответов на отдельные вопросы, но не понимания изученного материала.
Одним из авторов настоящей статьи предложена конструкция ЕТЗ [8], по форме ответа (вводимого числа) тождественная установлению правильной последовательности, однако, на наш взгляд, обеспечивающая проверку не только фрагментарных знаний, но и понимания изученного материала и обладающая несопоставимо большими дидактическими возможностями по сравнению с наиболее распространёнными конструкциями ЕТЗ. В основе формирования последовательности - распределение предлагаемых вариантов ответа по степени близости к правильному, т.е. номер правильного ответа заносится в первый разряд, номер наиболее близкого к правильному - во второй и т. д. Рассмотрим пример: «Закон Ома для участка цепи:
1) E = m / c2 ;
2) Q = I2 • R • t;
3) I = U/R;
4) E = A /1;
5) I = E / (R + r)».
Первую позицию вводимого числа будет занимать цифра «3». Ближайший к нему достоверности - ответ под цифрой «5» - закон Ома для цепи с источником ЭДС. На третьей позиции стоит расположить ответ под номером «2» -одну из записей закона Джоуля-Ленца, объясняя свой выбор, во-первых, тем, что запись закона правильная, а во-вторых, тем, что из оставшихся трёх уравнений это единственное имеет отношение к электрическому току. Из оставшихся двух уравнений следует выбрать то, что записано без ошибки. Итоговый ответ на вопрос: 35214. В отличие от ЕТЗ с установлением последовательности в данном наборе цифр отсутствуют фиксированные, определяемые правильным порядком
слов в предложении позиции, что снижает вероятность угадывания правильного ответа до 1/5! = 1/120. С учётом возможностей компьютерной программы для создания тестов варьировать случайным образом очерёдность предлагаемых ответов, вводимая правильная комбинация не повторяется от одного сеанса тестирования к другому, что делает бесполезным запоминание правильного ответа для его сообщения другим испытуемым, а запоминание всех вариантов ответов, приводимых в тесте в виде формул, графических объектов, предложений, и их пересказ от испытуемого к испытуемому с нарастающим объёмом представляется задачей, по трудоёмкости сопоставимой с добросовестным изучением учебной дисциплины или её раздела, темы, содержание которых подвергается проверке.
Для того чтобы продемонстрировать дидактический потенциал ЕТЗ с упорядочиванием ответов (ЕТЗУО), рассмотрим следующий пример: «Как вычислить площадь круга 5, если известен его радиус г?
1) 5 = 2п • г;
2) 5 = п • г2/4;
3) 5 = 4п • г3/ 3;
4) 5 = 4п2;
5) 5 = п • г2».
После выбора правильного ответа под номером «5» испытуемый решает не менее сложную задачу, так как она требует логических рассуждений. Из оставшихся вариантов лишь один, под номером «3», в правой части даёт размерность площади, поэтому цифра «3» должна занять второй разряд вводимого в качестве ответа пятизначного числа. Из оставшихся трёх неправильных ответов единственный, под номером «1», имеет отношение к кругу, так как позволяет вычислить его периметр (длину окружности). Наконец, из вариантов ответа под номерами «3» и «4» один вообще не содержит радиус, т.е. является абсурдным и должен быть соотнесён с последним разрядом вводимого числа. Итог: 52134. В качестве исключаемого в первую очередь путём логических рассуждений может применяться и вариант ответа вида: 8=л/гл2, т.е. с обратной зависимостью площади от радиуса.
Рассмотрим следующий пример. «Расположите фигуры в порядке убывания отношения их периметра к площади.
1) круг;
2) квадрат;
3) правильный шестиугольник;
4) равносторонний треугольник;
5) равнобедренный (неравносторонний) треугольник».
В процессе получения правильного ответа (13245) испытуемый должен выявить, как минимум, две закономерности: 1) чем меньше углов у равностороннего выпуклого многоугольника, тем меньше отношение его периметра к площади; 2) при условии равенства количества углов отношение периметра к площади у неравностороннего многоугольника меньше, чем у равностороннего. Получить правильный ответ на ЕТЗ и выявить две эти закономерности испытуемый может различными рассуждениями, но наиболее эффективно и наглядно будет рассмотреть фигуры, вписанные в окружность.
Ещё одним преимуществом ЕТЗУО по сравнению с другими ЕТЗ является возможность дифференцировать оценки в зависимости от дидактических целей теста и глубины контроля учебных достижений.
Допустим, в предыдущем примере указан ответ 12345. С формальной точки зрения эта комбинация цифр довольно близка к верной, лишь одна пара цифр не на «своих» местах. С другой стороны, испытуемый не знает первой из лежащих в основе правильного ответа закономерностей. Он мог набрать комбинацию цифр наугад, что допускает штрафные санкции, или попытаться рассчитать интересующие его величины на реальных примерах и ошибиться, допустим, в расчёте площади правильного шестиугольника. Тогда санкции в его отношении должны быть минимальными. Рассмотрим следующую оценочную шкалу:
1) 1 балл за правильную первую цифру вводимого числа;
2) 0,4 балла за правильную вторую цифру;
3) 0,3 балла за правильную третью цифру;
4) 0,2 балла за правильную четвёртую циф-
ру;
5) 0,1 балла за правильную пятую цифру.
Таким образом, если каждую неверную позицию цифры во вводимом числе начислять ноль баллов, ответ будет оценен в 1,3 балла при максимальном балле 2,0.
Если за каждую неверную позицию цифру в рассмотренном примере вычитать соответствующее этой позиции количество баллов, то оценка за выполнение ЕТЗ составит 1 - 0,4 - 0,3 + 0,2 + 0,1 = 0,6.
ЕТЗУО, в отличие от ЕТЗ с единичным выбором, множественным выбором, установлением соответствия, установлением последовательности, предоставляет разработчику больше возможностей в формировании оценочной шкалы и одновременно обеспечивает его более интересными для анализа результатами контроля. Проиллюстрируем это утверждение следующим примером.
«Столицей штата Аляска (США) является:
1) Денвер;
2) Анкоридж;
3) Ренн;
4) Джуно;
5) Зурбаган».
Правильная комбинация цифр - 42135. В результате тестирования было получено N = 32 ответа. В таблице 1 приведены значения отклонений:
Лх. - — Х^.; I - 1, . . ., 5,
где к - правильный номер позиции города (цифра последовательности), к. - номер позиции текущего ответа, и количества таких отклонений.
Таблица 1
Величины и количества отклонений Ах.
г
от правильных позиций городов в ответах тестируемых
Город +4 +3 +2 +1 0 -1 -2 -3 -4
Джуно - - - - 4 3 7 8 10
Анкоридж - - — 17 8 6 1 0 —
Денвер - — 6 12 10 4 0 - —
Ренн — 4 5 5 13 5 — — —
Зурбаган 1 4 4 6 17 - - - -
Из первичных аналитических данных могут быть рассчитаны количественные характеристики, позволяющие в совокупности с соответствующими критериями оценить успешность решения теста [9], например, среднее отклонение по каждой к-й позиции:
где п_к (Дх_0 - количество отклонений величиной Дх_1, и дисперсия отклонений:
Результаты вычислений приведены в таблице 2.
Статистические характеристики решения ЕТзуо
* - усреднены абсолютные значения
Таблица 2
Город Щ(0) ПЬ(0)/ЛГ100% АЛ', ок
Джуно 4 12.5% -2,53 8,21
Анкоридж 8 25% 0,313 0,84
Денвер 10 31.3% 0,625 1.25
Рени 13 40,6% 0,688 2,06
Зурбаган 17 53,1% 0,938 2,31
среднее значение 10.4 32.5% 1.02' 2,93
Во второй графе таблицы 2 представлено количество верно указанных в ответах испытуемых позиций города. Первую позицию правильно отметили всего четыре из тридцати двух отвечавших. Полностью правильный ответ на ЕТЗ дали два проверяемых. Большинство отвечавших назвали столицей штата Аляска его крупнейший город Анкоридж (табл. 1), Денвер назван столицей штата в шести ответах. Вымышленный город Зурбаган оказался на последнем месте в комбинации цифр более чем в половине ответов. В целом отвечающие показали слабое знание вопроса, так как правильная позиция характеризуется максимальной дисперсией отклонений, в 2,8 раза превышающей среднее значение данной величины. Лишь одной позиции (2 - Анкоридж) соответствует среднеквадратичное отклонение (СКО) — меньше единицы, усреднённое для всех ответов значение СКО о = 1,71, а СКО правильного ответа о1 = 2,87, т.е. усреднённая величина промаха от минимально необходимого знания составила
почти три балла из четырёх возможных. Очевидно, для ЕТЗУО свидетельством наличия минимально необходимого знания у испытуемых следует считать результат а > , однако в рассматриваемом случае СКО правильного ответа в 1,68 раза превышает а. Таким образом, на значениях и количестве отклонений Ах. от правильных позиций вариантов ответа в ЕТЗУО, которые сравнительно просто определяются при автоматизированной обработке результатов тестирования, может строиться обобщённый статистический анализ контроля знаний.
При изучении темы «Контроль знаний и умений с применением компьютерных тестов» в программе повышения квалификации научно-педагогического состава Краснодарского университета МВД России «Инновационные образовательные технологии» обучающимся было предложено оценить по пятибалльной шкале некоторые качества различных видов ЕТЗ. Усреднённые оценки приведены в таблице 3.
Таблица 3
Результаты анкетирования по вопросам качества различных видов тестовых заданий
Характеристик» теп а Сумма баллов
Вид ЕТЗ Достоверность Устойчивость Обучающий Простота Универсальность
оценок к деградации потенции созданий применении
С единственным выбором 3,1 3.3 3,0 4.4 4,2 18,0
С множественным выбором 3.6 3,8 3,2 3.9 3.7 18,2
На установление соответствия 3,8 3,7 3.6 3.9 4,1 19,1
На установление последовательности 3,9 3.6 3.8 3,3 3.6 18,2
С упорядочиванием ответов 4.6 4.3 3,9 3.1 3,8 19,7
ЕТЗУО набрало максимальную сумму баллов, главным образом за счёт высокой, по мнению респондентов, достоверности оценок знаний обучающихся, получаемых в тестах на его основе. Также на первое место среди рассматриваемых видов ЕТЗ опрошенные поставили ЕТЗУО по таким показателям, как «Устойчивость к деградации» (обеспечение достоверности оценок при многократном применении теста) и «Обучающий потенциал», т.е. возможность для составителя теста формировать у обучающихся знания в процессе их тестирования. Очевидно, ожидаемо последнее место ЕТЗУО заняло по простоте (трудоёмкости) создания. Как отмечено респондентами, разработка тестов на основе ЕТЗУО требует от преподавателей не только глубоких познаний в своём предмете, но и творческих способностей и общего кругозора.
Отдельные ЕТЗ на установление последовательности формально очень близки к ЕТЗУО, например: «Распределите цвета видимого спектра электромагнитного излучения по возрастанию длины волны: 1. Красный. 2. Голубой. 3. Зелёный. 4. Жёлтый. 5. Фиолетовый». Казалось бы, алгоритм решения этого примера является типичным для ЕТЗУО: сначала находится цвет с минимальной длиной волны (красный), затем выстраивается вся последовательность: 14325. Однако для сравнения приведем ЕТЗУО с аналогичным заданием.
«Средняя частота какого диапазона цвета из видимого спектра электромагнитного излучения наиболее близка к средней частоте жёлтого цвета? Варианты ответа: 1. Красный. 2. Зелёный. 3. Оранжевый. 4. Инфракрасный. 5. Голубой». Правильная последовательность вариантов ответа: 32514 [10]. Очевидно, решение должно начинаться с постановки на пятую позицию инфракрасного диапазона хотя бы по формальному признаку его отсутствия
в видимом диапазоне электромагнитных волн или из знания, что ширина инфракрасного диапазона намного превышает ширины спектров всех видимых цветов, вместе взятых. Дальнейшая расстановка позиций основывается на понимании сложности определения границ видимого излучения ввиду субъективизма цветного зрения, приводящей к относительно большой ширине крайних (красного и фиолетового) диапазонов, а также знания близости жёлтого и оранжевого (так же, кстати, как и синего и голубого) спектров, например, из знакомства с иными (с количеством цветов не равным семи) цветовыми представлениями видимого электромагнитного излучения или запоминания ширины диапазонов основных видимых цветов.
Заключение
Эффективный контроль, анализ и научно обоснованная интерпретация данных о качестве профессиональной подготовленности обучающихся в период их вузовской подготовки, развитие инновационных технологий педагогической квалиметрии, их интеграция в действующие формы и виды контроля успеваемости относятся к числу приоритетных организационно-педагогических условий повышения качества образования [10]. Выражаем надежду, что результаты проведённого научного исследования в области теории и практики педагогических измерений при помощи тестовых технологий будут способствовать развитию методологии оценки качества подготовки специалистов в рамках построения общероссийской системы оценки качества образования, в частности - созданию фондов оценочных средств, позволяющих измерить сформированность предусмотренных стандартами компетенций с высокой степенью надежности, валидности и сопоставимости.
Список литературы
1. Ким В. С. Тестирование учебных достижений : монография. - Уссурийск: Издательство УГПИ, 2007. - 214 с.
2. Попова Е. Д. Методы обработки мнений экспертов при оценке качества объектов // Вестник МГУП имени Ивана Фёдорова. - 2015. - № 6. - С. 67-71.
3. Ефремова Н. Ф. Тестовый контроль качества учебных достижений обучающихся // Сибирский педагогический журнал. - 2006. - № 1. - С. 66-81.
4. Булгаков О. M., Дедикова А. О. О применимости методологического аппарата теории надёжности к оценке качества тестов для проверки знаний // Вестник Воронежского института ФСИН России. - 2017. - № 4. - С. 214-221.
5. Баранова А. В., Ямпурин Н. П. Методы оценки надёжности информационных систем // Труды международного симпозиума «Надёжность и качество». - 2014. - Т. 1 - С. 13-15.
6. Острейковский В. А., Шевченко Е. Н., Mикшина В. С. Количественная оценка риска в техногенной безопасности сложных динамических систем : монография / Итоги науки : избранные труды Международного симпозиума по фундаментальным и прикладным проблемам науки. - Москва: РАН, 2013. - Т. 1. - С. 12-31.
7. Булгаков О. M., Дедикова А. О. Математическая модель контроля безотказной работы теста для проверки знаний // Вестник Воронежского института МВД России. - 2018. - № 2. - С. 4S-SS.
8. Булгаков О. M. Совершенствование структуры компьютерных тестов / Новые информационные технологии в процессе подготовки современного специалиста : межвузовский сборник научных трудов. - Вып. 2. - Липецк: ЛГПИ, 1999. - С. 13-20.
9. Булгаков О. M., Ладыга А. И., Рябошапко О. Н. Интерпретация результатов контроля остаточных знаний с применением элементов корреляционного анализа и математической статистики // Вестник Воронежского института ФСИН России. - 2018. - № 2. - С. 33-37.
10. Кабанова Т. А., Новиков В. А. Перспективы развития тестовых технологий - инструмента оценки качества образования при переходе к федеральным государственным образовательным стандартам высшего профессионального образования // Вестник РУДН. Серия «Информатизация образования». - 2009. - № 2. - С. 78-83.
References
1. Kim V. S. Testirovaniye uchebnykh dostizheniy. Monografiya. - Ussuriysk: Izdatel'stvo UGPI. - 2007.
- 214 s.
2. Popova Ye. D. Metody obrabotki mneniy ekspertov pri otsenke kachestva ob»yektov // Vestnik MGUP. - 2015. - № 6. - S 67-71.
3. Yefremova N. F. Testovyy kontrol' kachestva uchebnykh dostizheniy obuchayushchikhsya // Sibirskiy pedagogicheskiy zhurnal. - 2006. - № 1. - S. 66-81.
4. Bulgakov O. M., Dedikova A. O. O prigodnosti metodologii apparata teorii dostovernosti otsenki kachestva testov dlya proverki znaniy // Vestnik Voronezh-skogo instituta FSIN Rossii. - 2017. - № 4. - S. 214-221.
5. Baranova A. V., Yampurin N. P. Metody otsenki nadezhnosti infor-matsionnykh sistem // Trudnosti mezhdunarodnogo simpoziuma nadezhnost' i kachestvo. - 2014. - T. 1 - S. 13-15.
6. Ostreykovskiy V. A., Shevchenko Ye. N., Mikshina V. S. Kolichestvennaya otsenka riska v tekhnogennoy bezopasnosti - slozhnyye dinamicheskiye sistemy: monogr. / V.A. Ostreykovskiy// Itogi nauki: izbr. tr. mezhdunar. simp. po fundamen-tal'nym i pri-kladnym problemam nauki. - Moskva: RAN, 2013. - T. 1. - S. 12-31.
7. Bulgakov O. M., Dedikova A. O. Matematicheskaya model' kontrolya be-zotkaznoy raboty testa dlya proverki znaniy // Vestnik Voronezhskogo instituta MVD Rossii. - 2018. - № 2. - S. 4S-SS.
8. Bulgakov O. M. Sovershenstvovaniye struktury komp'yuternykh testov // Mezhvuzovskiy sbornik nauchnykh trudov. - Vyp. 2. - Lipetsk: LGPI, 1999. - S. 13-20.
9. Bulgakov O. M., Ladyga A. I., Ryaboshapko O. N. Interpretatsiya rezul'ta-tov kontrolya ostatochnykh znaniy s ispol'zovaniyem elementov korrelyatsionnogo analiza i matematicheskoy statistiki // Vestnik Voronezhskogo instituta FSIN Rossii. - 2018. - № 2. - S. 33-37.
10. Kabanova T. A., Novikov V. A. Perspektivy razvitiya testovykh tekhno-logii - instrumenta otsenki kachestva obrazovaniya pri perekhode k federal'nym gosudarstvennym obrazovatel'nym standartam vysshego professional'nogo obrazovaniya // Vestnik RUDN. Seriya «Informatizatsiya obrazovaniya». - 2009.
- № 2. - S. 78-83.
© Булгаков О.М., Дедикова А.О., 2020
Статья поступила в редакцию 30.03.2020 г.
