Применение метода экспертного оценивания при разработке модели надежности системы безопасности объекта информатизации Текст научной статьи по специальности «Науки об образовании»

О.М. Булгаков,

доктор технических наук, профессор, Краснодарский университет МВД России

А.О. Дедикова,

МБОУ «Прогимназия № 2», г. Воронеж

МАТЕМАТИЧЕСКАЯ МОДЕЛЬ КОНТРОЛЯ БЕЗОТКАЗНОЙ РАБОТЫ ТЕСТА ДЛЯ ПРОВЕРКИ ЗНАНИЙ

MATHEMATICAL MODEL OF FAILURE-FREE OPERATION CONTROL OF KNOWLEDGE TEST

На основании сходства алгоритмов функционирования компьютерных тестов для проверки знаний и сортировочного автомата предложена математическая модель контроля безотказной работы теста для проверки знаний, опирающаяся на понятийный и математический аппарат теории надежности технических систем. Предложенная модель предполагает деление вопросов теста на различные категории сложности, что при наложении определенных условий при разработке теста позволяет контролировать наличие ошибок второго рода (успешное прохождение теста при реальном незнании соответствующего учебного материала) и безотказность работы теста в целом.

On the similarity of the algorithms for the functioning of computer tests for knowledge control and the sorting machine, a mathematical model of control of failure-free operation of the test for knowledge control based on the conceptual and mathematical apparatus of the reliability theory of technical systems was proposed. The model assumes the division of the test questions into different categories of complexity, which, if certain conditions are imposed during the development of the test, makes it possible to control the presence of type II errors (successful passing of the test with real ignorance of the relevant teaching material) and the failure-free operation of the test as a whole.

Введение. Одной из проблем разработки тестов для проверки знаний (ТПЗ) — является определение оптимального (минимально достаточного) количества вопросов, обеспечивающих объективность оценки уровня подготовки обучающегося, от которого напрямую зависит трудоемкость разработки. Данная проблема актуализировалась в связи с необходимостью формирования фондов оценочных средств для проверки ком-

петенций обучающихся и выпускников образовательных организаций высшего образования в соответствии с требованиями Федеральных государственных образовательных стандартов 3-го поколения. Корректность определения количества вопросов в тесте и в базе вопросов в целом в значительной степени зависит от корректности математической модели надежности теста.

В процессе многократного применения ТПЗ систематически встает вопрос о достоверности результатов тестирования, вызванной адаптацией обучающихся к заданиям, наиболее тривиально проявляющейся в заучивании ими правильных ответов без освоения содержания изучаемого материала.

Основная часть. В построении математической модели надежности ТПЗ мы исходим из отождествления алгоритмов функционирования ТПЗ и браковочного (при двухбалльной оценочной шкале «зачет-незачет») или сортировочного (при многобалльной оценочной шкале) автомата объектов по некоторому заданному параметру, что позволяет использовать для оценок достоверности результатов тестирования понятийный и математический аппарат теории надежности [1].

По аналогии с надежностью технических устройств надёжность ТПЗ означает его способность в течение заданного времени правильно (с допустимой погрешностью) соотносить знания испытуемых с принятой оценочной шкалой. Важной характеристикой надежности является безотказность — свойство объекта сохранять работоспособное состояние непрерывно в течение некоторого времени или некоторой наработки [2]. Применительно к ТПЗ можно сказать, что безотказность — свойство ТПЗ безошибочно соотносить знания испытуемых с принятой оценочной шкалой в течение некоторого времени или (и) некоторого количества тестирований.

Если оценка, полученная обучающимся в результате тестирования, не соответствует его реальным знаниям (например, не согласуется с достоверным результатом других проверок), это явление должно расцениваться как отказ теста.

Отказ ТПЗ проявляется в ошибках первого и второго рода [1]. Для одного вопроса теста ошибкой первого рода является квалификация незачет правильного ответа как неправильного. Для ТПЗ в целом ошибки первого рода будут приводить к занижению оценок знаний. Ошибка второго рода для одного вопроса теста в узком смысле проявляется в расценивании неправильного ответа как правильного, а в широком смысле — в квалификации ответа как правильного при реальном незнании соответствующего учебного материала, например, в результате подсказки или угадывания. Ошибки второго рода приводят к завышению оценок знаний обучающихся по итогам тестирования.

Количественными характеристиками отказов являются вероятность отказа Ротк и интенсивность отказов Хотк(1:) [3].

Вероятность безотказной работы теста:

= - _ Л-.-- = - _ _ (1)

где Р01Р н Рог? — соответственно вероятность ошибок первого и второго рода.

Угадывание правильного ответа при его незнании — наиболее часто встречающаяся ситуация при проверке знаний с помощью тестов с выбором правильного ответа из предлагаемого набора.

Вероятность угадывания ответа на вопрос в закрытом тесте:

п — количество вариантов ответа, ЩСкл — количество ответов, которые испытуемый исключает, опираясь на остаточные знания.

Величина ЩСкл зависит от времени, т.к. количество знаний, на которые опирается обучающийся при ответе, изменяется со временем в результате забывания ранее изученного материала и получения нового объема знаний (обучения), включая восстановление ранее забытых:

объч.,

' '■:.:".-. '■■ ^ ■■ ''-:.:■:.'■■'-■■ •'-:.:■.: '■-'-.К (3)

где Пискл ^ 0 — некоторый незабываемый остаток.

Функция, характеризующая накопление и восстановления знаний, по нашему мнению, должна представлять собой сумму ступенчатых функций, величина которых

обуч г г

л.. отражает объем знаний, соотнесенный с дидактическими единицами учебного ма-

териала, а времена «включения» — интенсивность его изучения и восстановления: об\ч ,

(4)

где а(£г — £;) — функция Хевисайда [4], а предел суммирования 1?(А?буч) определяется временем обучения (подготовки к тестированию) ¿обуч

Для моделирования забывания больше подходит экспоненциальная функция:

(5)

(2а)

где в — показатель забывчивости, [х] — округление числа х в большую сторону. С учетом выражений (3), (4), (5):

Отвечая на N вопросов теста, обучающийся дает Мщ, правильных ответов, часть из которых он знает, а часть угадывает:

мЛг) = м5Н(0 + дм^(0.

Для получения положительной оценки необходимо ответить правильно на Мзач

вопросов, т.е. должно выполняться условие

^>1

или

Отсюда необходимое условие безотказной работы теста:

> 1

(7) (7а)

(7б).

Вероятность угадывания Мзт ответов из N вопросов теста вычисляется по формуле Бернулли:

где Ругад — вероятность угадывания ответа на один вопрос;

p^SCFi _ _

N м

Si

ъпНм-м^У:

Если тестируемый не выполняет условие (76), то для получения положительной оценки он должен угадать хотя бы AMys(t) = Мзач — M3H(t) ответов. Вероятность этого

события:

Будем полагать, что в базе находятся W вопросов из разных тем (индексы соответствуют номерам тем): W = + W2 + Wz +. .. Поскольку сложность вопросов различается, условно разделим её на три уровня: легкий средний и трудный, т.е. для каждой темы

Если каждая 7-я тема содержит d{ дидактических единиц (ДЕ), то ей будет соответствовать Wt = Dt j вопросов (/ — номер ДЕ в /-й теме, D^j — количество вопросов для j-й ДЕ). Тогда общее количество вопросов:

где к — число тем в дисциплине.

С учетом уровней сложности вопросов:

Разделение вопросов по уровням сложности позволяет вводить дополнительные критерии удовлетворительной оценки, т.е. повышать надежность теста за счет уменьшения вероятности ошибок второго рода. Присвоим каждому уровню сложности весовой коэффициент: Рлегк, Рср, Ртр. Тогда условием успешного прохождения теста будет

набор заданного количества Тзачтт баллов:

(13)

j\тош . р I bjome . р i pjome

"лвгк L лег. к ' "ср Lcp ~ 1 чгяр

Р > Т

гле Nc

1ДС '».и

N,

ср

NmpS — количество правильных ответов на вопросы, отнесенные соот-

ветственно к категориям легких, средней трудности и трудных.

Нормальной для тестирования является ситуация, когда посредственно подготовленный испытуемый не отвечает на сложные вопросы и дает правильные ответы на часть вопросов средней трудности и большинство легких вопросов. Повышение уровня подготовки влечет за собой увеличение количества правильных ответов на вопросы во всех категориях, однако ситуация, когда при тестировании процент правильных ответов на сложные вопросы больше, чем процент безошибочно отвеченных лёгких вопросов, свидетельствует скорее о «взломе» теста или использовании испытуемым подсказок. Таким образом, разделение вопросов по уровням сложности позволяет контролировать корректность процедур тестирования и надежность самих тестов.

Поскольку на сложные вопросы может ответить меньшинство обучающихся, баллы за них носят премиальный характер, и набор Тшч тт должен быть обеспечен за счёт ответов на вопросы средней трудности и лёгкие:

дг * оли . р

*4 лез к 1 лез к

I д г *оте . р > j

(13а)

дг * отв -> лготе. лт *о?пв -> лт отв

Очевидно, правильные ответы на все лёгкие и средней трудности вопросы должны гарантировать положительную оценку, т.е.

д1е™Р - Р + - р >7

Отсюда величина достаточного для положительной оценки количества баллов может быть выражена через количество вопросов категорий лёгких и средней трудности:

^згтч min

(15)

' *леас 'лаж

, д/™* . р

т 1 vi7_p 1 (J7

k'

Здесь к" < 1 — варьируемый коэффициент, характеризующий уровень требований к знаниям обучающихся.

Дополнительными условиями критерия удовлетворительной оценки обучающегося, позволяющего контролировать наличие ошибок второго рода и безотказность работы теста в целом, могут быть требования ответов на определенное минимальное количество легких вопросов и вопросов средней трудности:

- х к *

— л Л],

тОШ

ЛТОШ > дг _

1 "легк — 1 *легк min * 'даете дiome > \iome _ д¡вопр 14 ср — l4cpmin 14 ср

.

(16а) (16б)

Здесь к^егк < 1 и к*р. <1 — коэффициенты, выбираемые организатором ТПЗ с

целью выявления ошибок второго рода.

Пример 1. Тест содержит 50 вопросов: 30 легких, 15 средней трудности и 5 трудных. Определим весовые коэффициенты уровней сложности следующим образом: Ркегх = 0,5, Рср = 1, Рщ/ = 1,5. Будем полагать, что для успешного прохождения теста

достаточно правильно ответить на 80% легких и средней трудности вопросов(

^легк

Lcp

0,8). Тогда:

Тзачты = (30 * 0,5 4- 15 * 1) * 0,8 - 24 балла;

Если к т

то

^25? > N™nin = 30 X 0,8 = 24; ^ N= 15 X 0,8 = 12,

т.е. Мзач Nxesxmin + NCpmin 36.

Однако правильным было бы предположить, что к'дВГК > кср, т.е. испытуемый

отвечает на больший процент лёгких вопросов, чем вопросов средней трудности. Тогда набор количества баллов, превышающего т!;п, при несоблюдении условия (7) может быть расценен как ошибка второго рода.

В общем случае критерий удовлетворительной оценки может быть дополнен требованием решения какого-то количества трудных вопросов (к> 0).

Очевидно, во избежание противоречивых толкований результатов разработчики теста в этом случае должны соблюдать условие

N.

еопр н

р -(— л1вощ> - Р <Т

(14а)

На рис. 1 представлен пример дерева событий прохождения теста с дополнительными скрытыми для тестируемых требованиями на решение определённого количества лёгких, средней сложности и сложных вопросов.

ДА

ДА

ДА

ДА

fjome маш '*mp ^ JV ср ^

дготе

* л вз к

д¡еопр ivmp

jи еопр lwcp

N.

еопр

моте > дгеопр , ,

ДГ««* > »ич> х к*

дготв > дг^опр , * 1т о Fii" — "легк "-лен

ТЕСТ ПРОЙДЕН УСПЕШНО

НЕТ

НЕТ

НЕТ

НЕТ

ОТКАЗ ТПЗ ОШИБКА ВТОРОГО

ТЕСТ НЕ ПРОЙДЕН

Рис. 1. Пример дерева событий прохождения теста

Условие (13) с учетом трех дополнительных требований и соблюдения требования, определяемого неравенством (14а), запишется:

Ш, (136)

№ш ■ Р (о + №ш ■ Р ш + №ш - Р '(о > Т

"легк 1 яегх Ч^лвгк < 1*ср 1ср Ч^ср ~ iwmp 1 mp Ч^тр — 1 и

где (р определяется следующим образом:

ягОТЕ

О ^легк ^ 1 *

, 6€ЛИ _ копр - «-легк

•Рлегк

N

легк

дгСГГВ

1, если > к

п

легк

<Р ср

Ni

N.

БОПр - "ср

ср

мСТБ

> к

БОПр

ср

ср

дгОТБ

"ТР Г,* BDip ■ п-хр

¡V.

<Р гр

1^'тр - _ 1 * , еСЛН Еопр — '¿гр ™тр

Пример 2. Тест состоит из 50 вопросов: 30 легких (^егк = 0,5,), 15 средней трудности (Рср = 1), 5 сложных (Ргр = 1,5). Условия успешного прохождения теста:

необходимо дать правильные ответы на 90% легких вопросов и 80% вопросов средней

трудности.

Отсюда Тзэч .тт =25,5 баллов; N^01,

1 зач min —UUJ1J1U,J> "лепстт

Рассмотрим модели обучающихся, условно отнесенных к шести уровням освоения учебного материала, характеризующихся знанием определённого процента (коли-

Ncpmin — 12.

чества) ответов на вопросы различной категории сложности. Будем полагать, что в зависимости от уровня подготовки обучающиеся могут исключить из вариантов неизвестных им ответов определённое количество неверных ответов (от нуля до двух), тем самым повысить вероятность угадывания верного ответа. Первый (низший) уровень подготовки характеризуется знанием 50% легких вопросов и возможностью исключения двух неверных вариантов ответов на остальные лёгкие вопросы, незнанием ответов на вопросы средней трудности и возможностью исключения одного неверного варианта ответа на вопросы данной категории, незнанием ответов и невозможностью исключения их неверных вариантов для сложных вопросов. Характеристики уровней освоения учебного материала (подготовки) приведены в табл. 1.

Таблица 1

Количественные характеристики освоения учебного материала обучающимися

Уровень подготовки Категория вопроса % известных вопросов Количество известных вопросов Количество исключаемых вариантов ответа Вероятность угадывания

легкие 50 15 2 1/2

1 средней трудности 0 0 1 1/3

трудные 0 0 0 1/4

легкие 60 18 2 1/2

2 средней трудности 20 3 1 1/3

трудные 0 0 0 1/4

легкие 70 21 2 1/2

3 средней трудности 50 7 2 1/2

трудные 0 0 1 1/3

легкие 80 24 2 1/2

4 средней трудности 60 9 2 1/2

трудные 0 0 1 1/3

легкие 90 27 2 1/2

5 средней трудности 70 10 2 1/2

трудные 0 0 2 1/2

легкие 90 27 2 1/2

6 средней трудности 90 13 2 1/2

трудные 0 0 2 1/2

В табл. 2 приведены вероятности выполнения условий прохождения теста испытуемым в зависимости от уровня его подготовки. Наиболее подготовленный испытуемый (шестой уровень) знает 90% легких вопросов (в нашем примере это дает ему 13,5 баллов) и 90% вопросов средней сложности (13 баллов), что позволяет ему набрать 26,5 баллов и тем самым выполнить основное условие успешного прохождения теста, определяемое выражением (13), а также дополнительные условия (16а) и (16б). Таким образом, испытуемый с вероятностью P=1 успешно пройдет тест.

51

Таблица 2

Результаты моделирования прохождения теста

Уровень подготовки Категория вопроса Набранные баллы Выполнение условий Вероятность прохождения теста Средний прогнозируемый балл

13б 16а 16б

Недостающие баллы Вероятность выполнения Недостающие ответы Вероятность выполнения Недостающие ответы Вероятность выполнения

1 легкие 7,5 18 0,0209 12 из 15 0,0176 1,04 10"7 18,125

средней трудности 0 12 из 15 2,82-10-3

2 легкие 9 13,5 0,0693 9 из 12 0,073 1,93 10-5 20,875

средней трудности 3 9 из 12 3,82-103

3 легкие 10,5 8 0,9625 6 из 9 0,254 0,088 26,25

средней трудности 7 5 из 8 0,3633

4 легкие 12 4,5 0,9964 3 из 6 0,656 0,4292 28,0

средней трудности 9 3 из 6 0,656

5 легкие 13,5 2 0,9998 0 1 0,8124 30,5

средней трудности 10 2 из 5 0,8125

6 легкие 13,5 0 1 0 1

средней трудности 13 0 1 1 32,0

Испытуемый с пятым уровнем подготовки знает 90% легких вопросов, что даёт ему 13,5 баллов, и 70% вопросов средней сложности (10 баллов). Для выполнения условия (13) ему не хватает 2 баллов. Эти баллы он может набрать, попытавшись угадать ответы на оставшиеся вопросы, причем его знания позволяют исключить два неверных варианта ответа (во всех категориях вопросов) и выбирать из двух оставшихся вариантов. Тогда вероятность угадывания ответа на один вопрос ^гад = = ^ . Испытуемый наберет недостающие баллы, если угадает ответы на вопросы в любой из следующих комбинаций:

1) 1 легкий, 1 трудный;

2) 2 легких, 1 средней трудности;

3) 1 средней трудности, 1 трудный;

4) 2 средней трудности;

5) 2 трудных.

Вероятность угадывания ответов в первой комбинации получим, умножив вероятности угадывания хотя бы одного вопроса из оставшихся легких (3 вопроса) и трудных (5 вопросов) соответственно. Таким образом, для приведенных выше комбинаций вероят-

ности угадывания соответственно равны: 0,848; 0,493; 0,9385; 0,8125; 0,8125. Вероятность

того, что хотя бы одна из этих комбинаций будет реализована, найдем по формуле [5]:

Р = 1~Чг*Чг*и, (17)

где = 1 — Р(, п — количество комбинаций, в результате применения которых для испытуемого с пятым уровнем подготовки вероятность набрать недостающие баллы и выполнить условие (13) оказывается равной 0,99983. Дополнительное условие (16а) выполнено с вероятностью P=1. Для выполнения дополнительного условия (16б) испытуемому с пятым уровнем подготовки необходимо угадать ответы хотя бы на два вопроса средней сложности из оставшихся пяти. Учитывая, что вероятность угадать ответ на один вопрос = получим вероятность выполнения условия (166) равной

0,8125. Вероятность выполнения всех трех условий получим, умножив вероятности выполнения каждого из условий. Для рассматриваемого случая вероятность успешного прохождения ТПЗ составит 0,8124.

Аналогичным способом рассчитаны вероятности прохождения ТПЗ для остальных моделей испытуемых. Число комбинаций для выполнения первого условия испытуемых с первым уровнем подготовки составило 46, со вторым уровнем — 40, с третьим — 28, с четвертым — 12.

Средний прогнозируемый балл, который могут набрать испытуемые с разным уровнем подготовки, рассчитывался сложением баллов, набранных за счет имеющихся знаний и за счет угадывания ответов на оставшиеся вопросы с учетом вероятности правильного выбора одного из неисключенных вариантов ответа. Начиная с третьего уровня подготовки, средний прогнозируемый балл превышает значение Тзач шт, что говорит о том, что при отсутствии условий (16а) и (16б) вероятность ошибки второго рода оказывается существенной. Влияние дополнительных условий на вероятность отказа ТПЗ наглядно демонстрируется сравнением диаграмм на рис. 2.

св 1 н 1

ё 0.9 | 0.8 § 0.7

Щ о.б

§ 0.5 с* 0.4 £ 0.3

I 0.2

£ 0.1

о

а 0

а) и

а

Уровень подготовки испытуемого

а) б)

Рис. 2. Вероятность прохождения теста: а — по критерию (13); б — с учетом дополнительных условий (16а) и (16б)

Использование дополнительных условий (16а) и (16б) не только обеспечивает повышение надежности ТПЗ за счет снижения вероятности ошибки второго рода, но и позволяет контролировать временную деградацию теста, например, на основе сравнения процента результатов тестирования, удовлетворяющих критерию (13) и результатов, удовлетворяющих критерию (13б). Увеличение процента испытуемых, преодолевающих критерий (13) без такого же увеличения доли результатов, удовлетворяющих условиям (13), (16а) и (16б) одновременно, свидетельствует об аномально высоком проценте угадывания ответов на сложные вопросы, т.е. о необходимости реконструкции ТПЗ. К аналогичным выводам можно прийти и на основе анализа соотношений правильных и неправильных ответов на вопросы различного уровня сложности. Для каждого теста нормальным является результат

Н™3

ТТ!77 ~ "::= ТТ7^7, (18) невыполнение условия (18) следует расценивать как проявление ошибки второго рода.

Выводы.

1. Существенной проблемой применения ТПЗ с выбором правильного варианта ответа из нескольких предлагаемых является значительная ошибка второго рода (незаслуженная положительная оценка) за счет успешных попыток угадывания испытуемым правильных ответов при их реальном незнании.

2. Снижение вероятности ошибки второго рода зачастую достигается существенным усложнением структуры ТПЗ и процедур проверки результатов тестирования. В тестах с множественным выбором снижение вероятности ошибки второго рода приводит к увеличению вероятности ошибки первого рода или применению эвристических критериев с сомнительной корректностью.

3. Обеспечение высокой объективности оценки ТПЗ с единичным выбором может быть достигнуто за счет разделения вопросов на две и более категорий сложности с применением критерия (13) в совокупности с дополнительными условиями (16а) и (16б).

4. Использование дополнительных условий вида (16а), (16б), (18) позволяет диагностировать отказ ТПЗ и поддерживать отказоустойчивое стояние теста путем своевременного изменения значений коэффициентов в выражениях (13), (16а), (16б).

ЛИТЕРАТУРА

1. Булгаков О. М., Дедикова А. О. О применимости методологического аппарата теории надежности к оценке качества тестов для проверки знаний // Вестник Воронежского института ФСИН России. — 2017. — № 4. — С. 214—222.

2. ГОСТ 27.002-2009. Надежность в технике. Термины и определения. — М. : Стандартинформ, 2011.

3. Павловская О. О. Статические методы оценки надежности программного обеспечения // Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника. — 2009. — № 26 (159). — С. 35—37.

4. Бугров Я. С., Никольский С. М. Высшая математика : учеб. для вузов: в 3 т. / под ред. В. А. Садовничего. — 6-е изд., стереотип. — М. : Дрофа, 2004. — (Высшее образование : Современный учебник). — 512 с.

5. Гмурман В. Е.Теория вероятностей и математическая статистика : учебник для прикладного бакалавриата. — М. : Юрайт, 2017. — 479 с.

REFERENCES

1. Bulgakov O. M., Dedikova A. O. O primenimosti metodologicheskogo apparata te-orii nadezhnosti k otsenke kachestva testov dlya proverki znaniy // Vestnik Voronezhskogo instituta FSIN Rossii. — 2017. — # 4. — S. 214—222.

2. GOST 27.002-2009. Nadezhnost v tehnike. Terminyi i opredeleniya. — M. : Standartinform, 2011.

3. Pavlovskaya O. O. Staticheskie metodyi otsenki nadezhnosti programmnogo obespech-eniya // Vestnik Yuzhno-Uralskogo gosudarstvennogo universiteta. Seriya: Kompyuternyie tehnologii, upravlenie, radioelektronika. — 2009. — # 26 (159). — S. 35—37.

4. Bugrov Ya. S., Nikolskiy S. M. Vyisshaya matematika : ucheb. dlya vuzov: v 3 t. / pod red. V. A. Sadovnichego. — 6-e izd., stereotip. — M. : Drofa, 2004. — (Vyisshee ob-razovanie : Sovremennyiy uchebnik). — 512 s.

5. Gmurman V. E.Teoriya veroyatnostey i matematicheskaya statistika : uchebnik dlya prikladnogo bakalavriata. — M. : Yurayt, 2017. — 479 s.

СВЕДЕНИЯ ОБ АВТОРАХ

Булгаков Олег Митрофанович. Первый заместитель начальника. Доктор технических наук, профессор.

Краснодарский университет МВД России

E-mail: [email protected]

Россия, 350005, г. Краснодар, ул. Ярославская, 128.

Дедикова Анна Олеговна. Педагог дополнительного образования по информатике.

МБОУ «Прогимназия № 2».

E-mail: [email protected]

Россия, 394005, г. Воронеж, ул. Вл. Невского, 65б.

Bulgakov Oleg Mitrofanovich. First Deputy Chief. Doctor of Technical Sciences, Professor.

Krasnodar institute of the Ministry of the Interior of Russia.

E-mail: [email protected]

Work address: Russia, 350005, Krasnodar, Jaroslavskaja Str., 128.

Dedikova Anna Olegovna. Supplementary education teacher of computer science.

Municipal Budget Educational Institution "Progymnasium № 2".

E-mail: [email protected]

Work address: Russia, 394005, Voronezh, Nevskogo Str., 65b.

Ключевые слова: тест для проверки знаний; вероятность безотказной работы; вероятность отказа; ошибка первого рода; ошибка второго рода.

Key words: tests for knowledge control; probability of failure-free operation; probability of failure; type I error; type II error.

УДК 371.263