CC BY
102
ВЕСТНИК«
ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА ......
МОРСКОГО И РЕЧНОГО ФЛОТА ИМЕНИ АДМИРАЛА С. О. МАКАРОВА^
9. Chepurnaja, Ju. V. "Situacionnoe upravlenie v adaptivnoj kompjuterizirovannoj sisteme testirovanija obuchaemyh." Jekspertnye ocenki jelementov uchebnogo processa: materialy XI mezhvuz. nauch.-prakt. konf. Harkov: Narodnaja ukrainskaja akademija, 2009: 65-66.
10. Shirokih, G. V., and Chernyj, S. G. "Modelirovanie processov zagruzhennosti postuplenija informacii na osnove samoobuchajushhihsja setej." Informacionnye tehnologii modelirovanija i upravlenija 2(20) (2005): 279-282.
11. Chernyi, S. "The implementation of technology of multi-user client-server applications for systems of decision making support." Metallurgical and Mining Industry 3 (2015): 60-65.
12. Zhilenkov, A., and S. Chernyi. "Investigation performance of marine equipment with specialized information technology." Procedia Engineering 100 (2015): 1247-1252. D0I:10.1016/j.proeng.2015.01.490
_ИНФОРМАЦИЯ ОБ АВТОРАХ
Журавлев Антон Евгеньевич — кандидат технических наук. ФГБОУ ВО «ГУМРФ имени адмирала С. О. Макарова» zhuravlevae@gumrf.ru Васильченко Дмитрий Сергеевич — кандидат технических наук. ФГБОУ ВО «ГУМРФ имени адмирала С. О. Макарова» tillaus@mail.ru
INFORMATION ABOUT THE AUTHORS
Zhuravlev Anton Evgenevich — PhD. Admiral Makarov State University of Maritime and Inland Shipping zhuravlevae@gumrf.ru Vasilchenko Dmitriy Sergeevich — PhD. Admiral Makarov State University of Maritime and Inland Shipping tillaus@mail.ru
Статья поступила в редакцию 20 октября 2016 г.
Э01: 10.21821/2309-5180-2016-8-6-251-259 УДК 371.3:681.51
Д. А. Печников
РАЗРАБОТКА МОДЕЛЕЙ И ПРОЦЕДУР ИНТЕРВАЛЬНОЙ ОЦЕНКИ РЕЗУЛЬТАТОВ КОНТРОЛЯ ЗНАНИЙ В КОМПЬЮТЕРНЫХ СИСТЕМАХ ТЕСТИРОВАНИЯ ВМФ
В данной статье рассматривается разработка моделей и процедур интервальной оценки результатов контроля знаний в компьютерных системах с применением методов, основанных на законах биноминального распределения и геометрического распределения как частного случая отрицательного биноминального распределения. Предложен новый переход от точечных оценок эмпирической частости успешного выполнения тестовых заданий к интервальным оценкам вероятности этой успешности, позволяющим определять погрешность и доверительный интервал полученных оценок. Также разработаны модели критериально-ориентированного оценивания в компьютерных системах тестирования, доказано, что данные модели повышают результаты текущего педагогического контроля. Для того чтобы осу- в
ществлять военно-профессиональную подготовку специалистов ВМФ, необходима соответствующая у
учебно-материальная база. Основу такой базы раньше всегда составляли действующие учебные и тре- 6
нировочные образцы военной техники и вооружения, которые ранее поступали в военно-морские учебные 0
заведения в достаточном количестве и обеспечивали необходимый уровень как теоретической, так и прак- 0
тической подготовки будущих офицеров ВМФ. В результате резкого сокращения в 1990 гг. отраслей воен- 6
но-промышленного комплекса, разрабатывающих технику и вооружения для ВМФ, новейшие образцы этой ^КЦ техники и вооружений теперь изготовляются не сериями, а отдельными экземплярами. Вопрос о производстве учебных и тренировочных образцов не стоит вообще. В этих условиях в качестве единственного средства, способного обеспечить военно-профессиональную подготовку, могут рассматриваться только виртуальные аналоги образцов военной техники и вооружения, разрабатываемые средствами информационных технологий, т. е. тренажерно-обучающие системы ВМФ. Разработка и применение предлагаемых в данной статье моделей интервального оценивания результатов критериально-ориентированного те-
ВаВЕСТНИК
~ ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
МОРСКОГО И РЕЧНОГО ФЛОТА ИМЕНИ АДМИРАЛА С. О. МАКАРОВА
стирования обеспечивает переход от точечных оценок эмпирической частости к оценкам вероятности правильного действия, которые имеют количественно оцениваемый доверительный интервал. Последнее обеспечивает применение этих моделей для решения задачи автоматизации управления процессом критериально-ориентированного тестирования в целях обеспечения его оперативности путем остановки процедуры предъявления техническое задание после получения оценки заданной достоверности.
Ключевые слова: доверительный интервал, интервальная оценка, компьютерная система тестирования, критериально-ориентированное тестирование, биноминальный закон распределения.
Е52
Вводная часть
В тенденциях развития тренажерно-обучающих систем (ТОС) ВМФ отмечается следующий ряд основных противоречий: 1) между ростом возможностей ТОС как средств моделирования управляемых объектов и неизменностью их дидактических характеристик; 2) между необходимостью индивидуализации процесса подготовки и ограниченными психофизиологическими возможностями обучающих по управлению обучением в группах с количественным составом более пяти-семи обучаемых; 3) между ростом числа и сложности задач управления обучением и неизменностью психофизиологических возможностей руководителей обучения.
В качестве средства разрешения этих противоречий рассматривается автоматизация в ТОС ВМФ функций управления обучением. Ключевой функцией, без автоматизации которой нельзя автоматизировать все остальные функции управления обучением, является функция педагогического контроля качества подготовки обучаемых. Качество реализации в ТОС ВМФ функции контроля качества подготовки различно в отношении знаний и действий (умений и навыков) обучаемых. На достижение целей контроля усвоения знаний в ТОС ВМФ ориентирована компьютерная система тестирования военного назначения (КСТ ВН) «Система автоматизированного контроля (САК)», которая входит в состав комплекса программ инструментальных средств (КПИС) «Медиатор». Эта КСТ является типичным представителем современных КСТ и полностью соответствует современному уровню их развития.
ГОСТ РВ 51540-2005 и ГОСТ РВ 15.205-2004 определяют КСТ по функциональному предназначению как продукцию двойного назначения и относят КСТ к комплектующим изделиям межотраслевого применения (КИМП), представляющим собой «изделие военной техники (ВТ), предназначенное для выполнения определенных технических функций в составе изделий ВТ или их составных частей, создаваемое не для конкретного изделия ВТ по самостоятельным комплектам и не подвергаемое изменениям в процессе создания изделий ВТ, в котором его применяют». В соответствии с классификациями, приведенными в ГОСТ РВ 51540-2005 и ГОСТ Р 50-605-8093, КСТ должны быть отнесены к изделиям ВТ, которые входят в категорию учебно-тренировочных средств, принадлежащих к учебной ВТ как виду ВТ.
В настоящее время в компьютерных системах тестирования наибольшее распространение получили тестовые задания закрытого типа с единственным верным ответом, которые применяются не менее чем в 92 % случаев. В рассматриваемых тестовых заданиях успешность их выполнения оценивается путем установления факта совпадения ответа обучаемого с заранее заданным правильным вариантом ответа, любой другой вариант является неправильным. Для последующей статистической обработки результаты (верно - неверно) выполнения таких тестовых заданий представляются в виде дихотомической переменной (0 - 1).
Существует большое число компьютерных систем тестирования. По оценкам авторов, только в свободном доступе в Интернете их представлено не менее 50. Абсолютное большинство КСТ (VeralTest, iSpring QuizMaker, MyTest, AVELife TestGold Studio, UniTest System, Универсальный тестовый комплекс и т. д.) ориентировано на решение задач текущего педагогического контроля, который должен осуществляться в процессе обучения и обеспечивать адаптивность управления этим процессом. Текущий контроль, как показано в [2], [4], [7] - [9] и др., может быть реализован только методами критериально-ориентированного тестирования, идентифицирующими соотно-
ВЕСТНИК«
ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА ШЦ^
МОРСКОГО И РЕЧНОГО ФЛОТА ИМЕНИ АДМИРАЛА С. О. МАКАРОВА^
шения «усвоил - не усвоил» между конкретными обучаемыми и конкретными познавательными объектами, в отношении которых реализуется рассматриваемый процесс обучения. При этом «сам тест должен полностью соответствовать содержанию обучения и разрабатываться тем преподавателем, который осуществлял обучение» [4].
В таких тестах преобладает форма закрытого технического задания (ТЗ) с единственным правильным ответом. Так, из 3581 ТЗ, ориентированных на решение задач текущего педагогического контроля и представленных в Интернете, эта форма используется в 3304 случаях, т. е. в 92,3 %. По данным других авторов [1], [4], [6], [10], доля заданий с единственным правильным ответом колеблется от 86 % до 98 %. Эти оценки и определяют целесообразность первоочередного решения задач интервального оценивания в отношении ТЗ закрытого типа с единственным верным ответом. Безошибочность (правильность) ответов обучаемого определяется в виде показателя частности B, который имеет вид
п
в = (1)
п
где 1 (I = 1, п ) — номер ТЗ; п — число ТЗ в тесте; (j¡ = 0,1) — результат выполнения ТЗ (j¡ = 1 — верный ответ; j¡ = 0 — неверный ответ).
Все существующие процедуры обработки результатов выполнения тестов в КСТ основаны на оценке вида (1). Такие оценки являются точечными и не несут информации о величине своей погрешности, а потому не могут быть использованы в целях обеспечения оперативности процедуры тестирования (прекращения тестирования при получении оценки, имеющей заданную погрешность). Далее предлагаются модели и процедуры интервального оценивания результатов выполнения систем ТЗ закрытого типа с единственным верным ответом, которые, в отличие от точечных оценок, несут в себе информацию как о своей наиболее вероятной величине, так и о ее погрешности.
Постановка и решение задачи интервальной оценки результатов критериально-ориентированного тестирования
Предлагаемые модели и процедуры базируются на том факте, что показатель «правильность» является дихотомической переменной, а процедура его определения в процессе решения обучаемым тестирующей выборки из п заданий соответствует схеме Бернулли.
Для корректного применения схемы Бернулли должны быть выполнены следующие условия:
1) каждое испытание имеет ровно два исхода, условно называемых успехом и неудачей;
2) независимость испытаний: результат очередного эксперимента не должен зависеть от результатов предыдущих экспериментов;
3) вероятность успеха должна быть постоянной (фиксированной) для всех испытаний.
Первое условие всегда выполняется за счет того, что в ТЗ закрытого типа с единственным верным ответом результаты представлены дихотомической переменной (ji = 0,1).
Второе условие в критериально-ориентированном тестировании выполняется также всегда за счет возможности предъявления всех ТЗ в случайном порядке.
Третье условие выполняется только в случае, когда обучаемый никаких новых сведений об объектах тестирования из формулировки ТЗ не получает. Выполнение этого требования ограничено существованием у обучаемого возможности угадывания верного решения. Возможность угадывания правильного решения имеет место во всех формах ТЗ закрытого типа, но в форме задания с единственным верным ответом вероятность такого угадывания наиболее высока.
Для исключения этой возможности и достижения истинности результатов тестирования в тестологии используются два метода. Суть первого метода состоит в снижении вероятности угадывания путем увеличения в ТЗ числа дистракторов (альтернатив решений). В тестологии [1], [5], [6], [10] и др. считается, что истинность оценки выполнения систем закрытых ТЗ с единственным верным ответом достигается, если во всех ТЗ число дистракторов равно или больше
ВаВЕСТНИК
~ ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
МОРСКОГО И РЕЧНОГО ФЛОТА ИМЕНИ АДМИРАЛА С. О. МАКАРОВА
пяти. Суть второго метода состоит во введении поправки на угадывание в результат (1) тестирования. В случае критериально-ориентированного тестирования используются фиксированные поправки, виды которых приведены в [1], [5], [6], [10] и др. Оба метода реализуемы в любой из КСТ.
С учетом изложенного примем допущение о том, что вероятность правильного выполнения ТЗ определяется только знаниями обучаемого и не зависит от фактора угадывания. В соответствии с этим допущением безошибочность выполнения ТЗ обучаемым характеризуется некоторой постоянной вероятностью p = const правильного выполнения ТЗ, что и определяет полное соответствие процедуры критериально-ориентированного тестирования схеме Бернулли.
Пусть в результате решения обучаемым выборки из n ТЗ получен вектор (примеры векторов приведены в табл. 1)
j = 0/lv»> ji,..., jn ), (2)
в котором j = 0,1 есть оценки успешности выполнения соответствующего задания (j = 1 — ТЗ выполнено без ошибок, j = 0 — ТЗ выполнено с ошибкой). Требуется оценить вероятность p безошибочного решения ТЗ.
Таблица 1
Некоторые варианты векторов результатов тестирования для n = 12
Вариант h j2 h h h h h h h j 10 J'U J12
1 1 1 1 1 1 1 1 1 1 1 1 1
2 0 0 0 0 0 0 1 1 1 1 1 1
3 1 1 1 1 1 1 0 0 0 0 0 0
4 1 0 1 0 1 0 1 0 1 0 1 0
5 0 1 0 1 0 1 0 1 0 1 0 1
6 1 1 0 0 0 0 0 0 0 1 1 1
7 1 1 0 0 1 1 1 1 1 0 1 1
8 1 1 1 1 0 1 1 1 0 1 1 1
9 1 1 1 1 0 0 0 1 1 1 1 0
10 1 1 0 1 1 0 0 1 1 0 1 0
Эмпирические данные, полученные по схеме Бернулли, подчиняются законам таких распределений как биномиальное, геометрическое и отрицательное биномиальное. В целях интервальной оценки вероятности р безошибочного выполнения ТЗ целесообразно использовать те законы распределения, которые обеспечивают обработку любого числа (., i = 1, +да) ТЗ. Такому требованию соответствуют только законы биномиального и геометрического распределения. Биномиальное распределение имеет место в тех случаях, когда последовательность испытаний Бернулли обрывается после проведения фиксированного числа п испытаний. При этом под биномиальной случайной величиной X понимается число успехов в серии из п испытаний Бернулли.
Вероятность Р (J) появления вектора J при биномиальном распределении оценивается как
ру) = с„У-¥ при скп =—-—, (3)
п п к!(п - к)!'
где J — рассматриваемый вектор результатов тестирования; р — вероятность безошибочного выполнения ТЗ; q = 1 - р — вероятность выполнения задания с ошибкой; k — число заданий, выполненных с ошибкой; п — общее число заданий; п - k — число заданий, выполненных без ошибок.
Геометрическое распределение возникает при обрыве испытаний сразу же после первого успеха или неудачи. При этом вероятность Р У; ]. = 1) успеха оценивается как
Р^; ^ = 1) = phq, (4)
а вероятность Р У; ]. = 0) неудачи — как
ВЕСТНИК«
ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА ......
МОРСКОГО И РЕЧНОГО ФЛОТА ИМЕНИ АДМИРАЛА С. О. МАКАРОВА^
РV; = 0) = ^р, (5)
где р — вероятность безошибочного выполнения задания; q = 1 - р — вероятность выполнения задания с ошибкой; h = 1, п)) — номер 1 последнего ТЗ, выполненного без ошибки или, наоборот, с ошибкой (число «неудач» до первого «успеха» или число «успехов» до первой «неудачи)».
Для обеспечения возможности использования геометрического распределения в отношении векторов (2) любой конфигурации введем понятие вектора h непрерывного результата (успеха или неудачи), под которым будем понимать любую часть вектора (2), кажды й из элементов которой равен 1 или 0. Если все элементы вектора равны 1 (= 1) — вектор Ь+ непрерывного успеха, если все элементы вектора равны 0 (= 0) — вектор Ь- непрерывной неудачи. Например, в табл. 1 для шестого варианта вектора ] — это вектора И = j2), Щ = (]3,]5,]6,j9), ¿3 _ (jlo,711, j п).
Вероятность появления вектора (1) можно оценивать с двух позиций [11] - [13]:
1) как вероятность события L, заключающегося в том, что при выполнении п заданий обучаемым было достигнуто (п - к) успехов (допущено к ошибок);
2) как вероятность события Н, заключающегося в появлении в векторе (1) т векторов непрерывного результата.
Вероятность Р (L) наступления события L оценивается по биномиальному закону. В соответствии с (3), при определении доверительного интервала (ДИ) вероятности р успешного выполнения ТЗ корректно использование следующих формул:
1) оценка точного ДИ биномиального распределения [3]:
'_(п - k)_ (п - k + 1)_к+1),2к2 1
(п _ к) + (k + 1)F2(к+1) /2 к + (П _ k + 1)^(п_к+1),2к, 1_Е/2 ) '
где п — число испытаний; k — число ошибок; F а — квантиль порядка а распределения F с /, g степенями свободы;
2) оценка приближенного ДИ биномиального распределения [3]:
n - к (n - к)к n - k (n - k)k
U1-e/2\ 2 ' + U1-E/2\ 2
n v n n V n
\ j \ ' '
(7)
где p* — оценка эмпирической частости правильного выполнения ТЗ; u1-E/2 — квантили стандартного нормального распределения порядка 1 - s / 2.
Геометрическое распределение является единственным дискретным распределением со свойством отсутствия памяти (последействия): знание об отсутствии успеха (неудачи) в предыдущих опытах никак не влияет на распределение оставшегося числа опытов до появления успеха (неудачи). Используем это свойство для оценки вероятности события H, которое заключается в появлении в векторе (2) m векторов непрерывного результата.
В соответствии с ним события hs е H появления в составе вектора (2) отдельных векторов hs непрерывного результата относятся к категории попарно несовместных событий. Поэтому вероятность P (H) любого из вариантов их реализаций (см. табл. 1) оценивается по формуле
P(H) = P(h>u... u hs u... и hm) = P(h) +... P(hs) +... P(hm), (8)
где s (s = 1, m; m < n) — номер вектора непрерывного результата; n — число выполненных ТЗ; P(hs) — вероятность появления отдельных векторов hs непрерывного результата, оцениваемая в соответствии с (4), (5).
Для оценки в (8) неизвестного параметраp предлагается использовать метод правдоподобия, при котором в качестве оценки вероятности p принимается ее значение
р = arg max f (j\p) = arg max P(H), (9)
Р<0Д) Р<0Д)
о:
ВаВЕСТНИК
~ ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
МОРСКОГО И РЕЧНОГО ФЛОТА ИМЕНИ АДМИРАЛА С. О. МАКАРОВА
максимизирующее вероятность Р(Н) появления при выполнении п ТЗ вектора 1 = (д,..., ji,..., jn), включающего т (т = 1, п) векторов hs непрерывного результата.
Соответствующая функция Ш(р,, р) правдоподобия для любой из реализаций события Н = может быть представлена в виде
w ( ps, р)=П P(h )=П )П P (h )=p(n- k)+im-,) qk+l,
(10)
5=1 5=1 5=1
где k (к = 0, п) — число ТЗ, выполненных с ошибкой; (п - k) ((п - k) = 0, п) — число ТЗ, выполненных правильно; 5 (5 = 1, т) — номера векторов hs непрерывного результата 5 (5 = 1,1);
(s = l +1, m) — соответственно номера векторов непрерывного успеха и непрерывной неудачи; l, ( m -1 ) — соответственно число векторов непрерывного успеха и непрерывной неудачи (m +1 < n).
Поиск оценки p наибольшего правдоподобия целесообразно реализовать путем решения следующей задачи нелинейного программирования:
p(п-к)+(m-1 ) (1 _ р)к+1 p 6 (0,1).
Для решения (11) можно использовать стандартную функцию «Solve (Поиск решения)» Microsoft Excel. ДИ оценки p может быть определен как
■ max; |
p
(11)
P - U1-E/2 Л P{1 Р) > Р + и1-г12\\ P{1 Р)
(12)
Сравним оценки обучаемых, полученные обычным путем на основе предлагаемых моделей. Пусть обучаемыми выполнено 13 заданий и получены результаты, приведенные в табл. 1. Оценки этих результатов тестирования приведены в табл. 2.
Таблица 2
Оценки результатов тестирования, приведенных в табл. 1
Интервальные оценки
биномиального распределения геометрического распределения
Номер вари- п-к к l m-l Точечная оценка по вероятней- границы ДИ по (6) вероят-нейшее границы ДИ по (12)
анта (1) шее значение по (3) нижняя верхняя значение по (11) нижняя верхняя
1 12 0 1 0 1,000 1,000 0,735 1,000 0,923 0,754 1,000
2 6 6 1 1 0,500 0,500 0,211 0,789 0,500 0,182 0,818
3 6 6 1 1 0,500 0,500 0,211 0,789 0,500 0,182 0,818
4 6 6 6 6 0,500 0,500 0,211 0,789 0,500 0,182 0,818
5 6 6 6 6 0,500 0,500 0,211 0,789 0,500 0,182 0,818
6 5 7 2 1 0,417 0,417 0,152 0,723 0,400 0,089 0,711
7 9 3 3 2 0,750 0,750 0,428 0,945 0,647 0,343 0,951
8 10 2 4 2 0,833 0,833 0,516 0,979 0,667 0,367 0,966
9 8 4 2 2 0,667 0,667 0,349 0,901 0,625 0,317 0,933
10 7 5 4 4 0,583 0,583 0,277 0,848 0,550 0,234 0,866
еа
Г256
Выводы
На современном уровне развития информационных технологий тестирование является единственным универсальным техническим средством текущего контроля знаний обучаемых [14] - [17]. Процедуры контроля знаний в современных компьютерных системах тестирования не соответствуют предъявляемым к ним требованиям по следующим характеристикам:
ВЕСТНИК«
ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА ......
МОРСКОГО И РЕЧНОГО ФЛОТА ИМЕНИ АДМИРАЛА С. О. МАКАРОВА^
1) отсутствию возможности оценки погрешности результатов тестирования;
2) отсутствию возможности прекращения тестирования при достижении заданной достоверности его результатов
Оценки, приведенные в табл. 2, свидетельствуют о том, что применение предлагаемых моделей интервального оценивания результатов критериально-ориентированного тестирования обеспечивает переход от точечных оценок эмпирической частости к оценкам вероятности правильного действия, которые имеют количественно оцениваемый ДИ. Последнее обеспечивает применение этих моделей для решения задачи автоматизации управления процессом критериально-ориентированного тестирования в целях обеспечения его оперативности путем остановки процедуры предъявления ТЗ после получения оценки заданной достоверности. Разработанный в статье новый переход от точечных оценок эмпирической частости успешного выполнения тестовых заданий к интервальным оценкам вероятности этой успешности, позволяет с достаточной точностью определять погрешность и доверительный интервал полученных оценок.
Для эффективного внедрения средств оперативного критериально-ориентированного педагогического контроля знаний в процесс подготовки специалистов ВМФ и обеспечения возможности совместного анализа и обработки оценок результатов обучения, целесообразно реализовать следующие практические рекомендации:
- формулировку системы предпочтений преподавателя в отношении качества подготовки обучаемых и системы предпочтений преподавателя в отношении значимости единичных тестовых заданий в тесте следует рассматривать в качестве наиболее ответственных этапов подготовки теста к практическому использованию;
- преподавателю, впервые производящему ввод своих систем предпочтений, следует проверить их фактическое соответствие на выборке из пяти - десяти таких результатов выполнения теста, которые покрывают весь спектр возможных результатов (от полностью верных до полностью неверных).
СПИСОК ЛИТЕРАТУРЫ
1. Аванесова Т. П. Электронное обучение: учеб. пособие / Т. П. Аванесова, А. Н. Печников, А. Н. Ши-ков. — СПб.: Изд-во Военной академии связи, 2014. — 73 с.
2. Евсигнеев А. Е. Концепция развития тестовой технологии контроля уровня обученности студентов в системе профессионального образования России. [Электронный ресурс] / А. Е. Евсигнеев. — Режим доступа: http://www.vevivi.ru/best/downloads.html&req=download&code=confirm_download&id=156184 (дата обращения: 07.11.2016).
3. Наумов В. Н. Теоретические основы представления содержания профессиональной подготовки специалистов ВМФ в интеллектуальных обучающих системах: дис. ... д-ра воен. наук / В. Н. Наумов. — СПб.: ВВМИРЭ им. А. С. Попова, 1994. — 296 с.
4. Переверзев В. Ю. Технология разработки тестовых заданий: справ. рук. / В. Ю. Переверзев. — М.: Е-Медиа, 2005. — 265 с.
5. Печников А. Н. О соответствии результатов критериально ориентированного тестирования целям текущего педагогического контроля / А. Н. Печников, Д. А. Печников // Фундаментальные и прикладные исследования в современном мире. — 2015. — № 10-5. — С. 74-85.
6. Аванесов В. С. Композиция тестовых заданий: учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов / В. С. Аванесов. — 4-е изд. — М.: Центр тестирования, 2002. — 237 с.
7. Ким В. С. Тестирование учебных достижений: монография / В. С. Ким. — Уссурийск: Изд-во УГПИ, 2007. — 214 с.
8. Печников А. Н. Решение задач текущего педагогического контроля на основе анализа результатов критериально-ориентированного тестирования / А. Н. Печников, Д. А. Печников // Образовательные технологии и общество. — 2015. — Т. 18. — № 2. — С. 489-513.
9. Иванов В. Н. Метод автоматизированной оценки качества профессиональной деятельности в корабельных автоматизированных системах: дис. ... канд. воен. наук / В. Н. Иванов. — СПб: ВМИРЭ, 2009. — 187 с.
Г25Л
ВЫВЕСТИ И К
~ ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
МОРСКОГО И РЕЧНОГО ФЛОТА ИМЕНИ АДМИРАЛА С. О. МАКАРОВА
10. Печников А. Н. Проектирование и применение компьютерных технологий обучения. / А. Н. Печников, Ю. А. Ветров. — СПб.: Изд-во БГТУ, 2002. — Ч. 1. Концепция систем автоматизированного обучения и моделирование процессов деятельности. Кн. 1. — 195 с.
11. Ван дер Варден Б. Л. Математическая статистика / Б. Л. Ван дер Варден: пер. с нем. — М.: Иностранная литература, 1960. — 436 с.
12. Печников А. Н. Комплекс методов и моделей оценки качества и эффективности деятельности операторов вооружения и военной техники в тренажерно-обучающих системах ВМФ: дис. ... д-ра техн. наук / А. Н. Печников. — СПб.: СПбГЭТУ, 2011. — 343 с.
13. Печников А. Н. Генератор оценки / А. Н. Печников, А. М. Стручков, Е. В. Хекерт, [и др.]. — Свидетельство о государственной регистрации программ для ЭВМ №2009613362 от 26.06.2009.
14. Платов А. Н. Автоматизация управления контролем подготовки на тренажерах ВМФ: дис. ... канд. техн. наук / А. Н. Платов. — СПб.: 1 ЦНИИ МО РФ, 2000. — 125 с.
15. Пузырев В. Ю. Диагностика деятельности операторов корабельных электромеханических систем в специализированных тренажерах ВМФ: дис. ... канд. техн. наук / В. Ю. Пузырев. — Новороссийск: НГМА, 2005. — 129 с.
16. Челышкова М. Б. Адаптивное тестирование в образовании (теория, методология, технология) / М. Б. Челышкова. — М: Исслед. центр проблем качества подготовки специалистов, 2001. — 165 с.
17. Челышкова М. Б. Теория и практика конструирования педагогических тестов: учеб. пособие / М. Б. Челышкова. — М.: Логос, 2002. — 432 с.
DEVELOPMENT OF MODELS AND PROCEDURES FOR INTERVAL ESTIMATION OF THE RESULTS OF CONTROL OF KNOWLEDGE IN COMPUTER SYSTEMS TESTING, NAVY
This article discusses the development of models and procedures for interval estimation of knowledge of test results in the computer systems using methods based on the laws of the binomial distribution and geometric distribution, as a special case of the negative binomial distribution. A new transition from the point estimates of the empirical relative frequency successful execution of tests for interval estimates ve probability of success, allowing determination of the error and the confidence interval of the estimates. Also in the article are designed criterion-based model otse-nivaniya computer testing systems, proven data model that increases the results of the re-current pedagogical control. To carry out military training experts of the Navy requires appropriate training facilities. The basis of such a framework had always constituted existing training and tre-nirovochnye samples of military equipment and weapons that had previously acted in naval schools in sufficient numbers and to ensure the necessary level of both theoretical and practical training of future naval officers. As a result of the sharp contraction in 1990, branches of the military-industrial complex, developing a techno-ku and weapons for the Navy, the newest samples of the equipment and weapons are now manufactured Xia not series and individual pieces. The issue of education and training samples production is not worth at all. In these circumstances, as the only means capable of providing military training, can be considered only the virtual counterparts of military equipment and weapons, developed by means of information and technologies, ie, trenazherno-learning systems (TOS) of the Navy. Development and application of the proposed model in this paper interval estimation criterion-oriented test results provide a transition from an empirical point estimates often-sti to the estimated probability of correct actions, which have quantified CI. The latter provides for the use of these models to solve the problem of automation of process control criterion-based testing to ensure its efficiency by stopping the procedure after receiving the submission of TK assessment given credibility.
Keywords: interval estimation, confidence intervals, binomial distribution.
REFERENCES
1. Avanesova, T. P., A. N. Pechnikov, and A. N. Shikov. Jelektronnoe obuchenie: uchebnoe posobie. SPb.: VAS, 2014.
2. Evsigneev, A. E. Koncepcija razvitija testovoj tehnologii kontrolja urovnja obuchennosti studentov v sisteme professionalnogo obrazovanija Rossii. Web. 7 Nov. 2016 <http://www.vevivi.ru/best/downloads. html&req=download&code=confirm_download&id=156184>.
BECTHl
ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
МОРСКОГО И РЕЧНОГО ФЛОТА ИМЕНИ АДМИРАЛА С. О. МАКАРОВА^
3. Naumov, V. N. Teoreticheskie osnovy predstavlenija soderzhanija professionalnoj podgotovki specialistov VMF v intellektualnyh obuchajushhih sistemah. Dr. diss. Petrodvorec: VVMIRJe im. A. S. Popova, 1994.
4. Pereverzev, V. Ju. Tehnologija razrabotki testovyh zadanij: spravochnoe rukovodstvo. M.: E-Media, 2005.
5. Pechnikov, A. N., and D. A. Pechnikov. "Relevant findings criterion-oriented testing purpose of this pedagogical control." Fundamentalnye i prikladnye issledovanija v sovremennom mire 10-5 (2015): 74-85.
6. Avanesov, V. S. Kompozicija testovyh zadanij. Uchebnaja kniga dljaprepodavatelej vuzov, uchitelej shkol, aspirantov i studentovpedvuzov. 4-th ed. M.: Centr testirovanija, 2002.
7. Kim, V. S. Testirovanie uchebnyh dostizhenij: Monografija. Ussurijsk: Izdatelstvo UGPI, 2007.
8. Pechnikov, A. N., and D. A. Pechnikov. "Reshenie zadach tekushhego pedagogicheskogo kontrolja na osnove analiza rezultatov kriterialno-orientirovannogo testirovanija." Obrazovatelnye tehnologii i obshhestvo 18.2 (2015): 489-513.
9. Ivanov, V. N. Metod avtomatizirovannoj ocenki kachestva professionalnoj dejatelnosti v korabel'nyh avtomatizirovannyh sistemah. PhD diss. Petrodvorec: VMIRJe, 2009.
10. Pechnikov, A. N., and Ju. A. Vetrov. Proektirovanie i primenenie kompjuternyh tehnologij obuchenija. Ch.1. Koncepcija sistem avtomatizirovannogo obuchenija i modelirovanieprocessov dejatelnosti. Kn.1. SPb: BGTU,
11. Van der Varden, B. L. Matematicheskaja statistika. Translated. M.: Izd-vo Inostrannoj literatury, 1960.
12. Pechnikov, A. N. Kompleks metodov i modelej ocenki kachestva i jeffektivnosti deja-telnosti operatorov vooruzhenija i voennoj tehniki v trenazherno-obuchajushhih sistemah VMF. Dr. diss. (Tech.). SPb.: SPbGJeTU,
13. Pechnikov, A. N., A. M. Struchkov, E. V. Hekert, et al. Generator ocenki: The computer program. Certificate № 2009613362. Publ. 26.06.2009.
14. Platov, A. N. Avtomatizacija upravlenija kontrolem podgotovki na trenazherah VMF. Phd diss. SPb.: 1 CNII MO RF, 2000.
15. Puzyrev, V. Ju. Diagnostika dejatelnosti operatorov korabelnyh jelektromehanicheskih sistem v specializirovannyh trenazherah VMF. PhD diss. Novorossijsk: NGMA, 2005.
16. Chelyshkova, M. B. Adaptivnoe testirovanie v obrazovanii (teorija, metodologija, teh-nologija). M: Issledovatelskij centr problem kachestva podgotovki specialistov, 2001.
17. Chelyshkova, M. B. Teorija i praktika konstruirovanija pedagogicheskih testov: Uchebnoe posobie. M.: Logos, 2002.
2002.
2011.
ИНФОРМАЦИЯ ОБ АВТОРЕ
INFORMATION ABOUT THE AUTHOR
Печников Денис Андреевич — кандидат технических наук, доцент.
Pechnikov Denis Andreevich — PhD, associate professor.
Военно-морская академия имени Адмирала Флота Naval Academy named after Admiral
Советского Союза Н. Г. Кузнецова
19pda72@bk.ru
of the Fleet of the Soviet Union N.G. Kuznetsova
19pda72@bk.ru
Статья поступила в редакцию 10 ноября 2016 г.
