Подход к сравнительной оценке методик переподготовки администраторов сетей Текст научной статьи по специальности «Науки об образовании»

Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie.ru/

Том 9, №1 (2017) http://naukovedenie.ru/vol9-1.php

URL статьи: http://naukovedenie.ru/PDF/27TVN117.pdf

Статья опубликована 20.02.2017

Ссылка для цитирования этой статьи:

Белоус В.В., Спиридонов С.Б., Постников В.М. Подход к сравнительной оценке методик переподготовки администраторов сетей // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №1 (2017) http://naukovedenie.ru/PDF/27TVN117.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.

УДК 519.81

Белоус Валентина Владимировна

ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана», Россия, Москва1

Доцент кафедры «Системы обработки информации и управления»

Кандидат технических наук E-mail: [email protected]

Спиридонов Сергей Борисович

ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана», Россия, Москва

Доцент кафедры «Системы обработки информации и управления»

E-mail: [email protected]

Постников Виталий Михайлович

ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана», Россия, Москва

Доцент кафедры «Системы обработки информации и управления»

Кандидат технических наук E-mail: [email protected]

Подход к сравнительной оценке методик переподготовки администраторов сетей

Аннотация. Рассмотрен подход к сравнительной оценке альтернативных методик переподготовки небольших групп администраторов сетей, с целью выбора и дальнейшего использования наиболее эффективной методики. Группы слушателей, которые проходят переподготовку по альтернативным методикам, имеют одинаковый уровень начальной подготовки. Занятия в этих группах проводит один и тот же преподаватель в учебных помещениях, близких по своей инфраструктуре, а каждая из групп включает не менее пяти человек.

Эффективность сравниваемых методик определяется результатами аттестации слушателей после завершения теоретических и практических занятий, предусмотренных учебным планом. Эффективность методик оценивается числом баллов, набранных слушателями за правильно выполненный набор тестовых заданий за рабочее время тестирования. При этом бальные оценки, полученные слушателем за каждое выполненное задание, учитывают, как уровень сложности этого задания, так и степень проработки ответа на задание. Поэтому баллы, полученные слушателями за выполнение набора тестовых заданий, в полной мере отражают знания, умения и навыки, полученные ими в процессе переподготовки.

1 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1

Проведен анализ подходов к обработке результатов аттестационного тестирования небольших по численности групп слушателей. На основе анализа подходов к обработке данных малого объема, показано, что с учетом простоты, удобства и корректности обработки результатов тестовых заданий слушателей, следует использовать двухвыборочный критерий Вилкоксона, а при качественной оценке эмпирический коэффициент детерминации и вербально-числовую шкалу Чеддока.

Рассмотрен пример, иллюстрирующий особенности использования предложенных критериев при проведении сравнительной оценки альтернативных методик преподавания, для переподготовки администраторов сетей и принятия решения по выбору наиболее предпочтительной методики для организации инновационного процесса обучения.

Ключевые слова: переподготовка администраторов сетей; тестовые задания; обработка результатов тестов; двухвыборочный критерий Вилкоксона; эмпирическое корреляционное отношение; шкала Чэддока

Введение

Необходимость эффективного использования автоматизированных систем обработки информации и управления (АСОИиУ) ставит перед высшей школой задачу подготовки и переподготовки специалистов по их обслуживанию, сопровождению, модернизации и реорганизации т.е. инженеров по эксплуатации, администраторов сетей, инженеров -системотехников. При этом сфера системного администрирования, охватывающая администрирование структурированных кабельных систем, администрирование систем управления базами данных и администрирование сетевых операционных систем, является одной из наиболее нуждающихся в квалифицированных специалистах. Постоянное совершенствование оборудования, программных средств и технологий обработки информации в АСОИиУ требует от вузов непрерывную корректировку учебного процесса, методов и методик, направленных на переподготовку кадров по обслуживанию автоматизированных систем [1-3].

При этом качество учебного процесса определяют в основном две составляющие [4-5]:

• качество условий, т.е. возможность внедрения в учебный процесс информационных и коммуникационных технологий и формирования на их основе инновационных методов обучения;

• качество результатов, т.е. полученные слушателями знания, умения и навыки, которые помогут им успешно и эффективно решать производственные задачи.

Однако, следует отметить, что сами по себе инновационные методы обучения важны лишь в тех случаях, когда традиционные способы обучения не дают положительного результата, не соответствуют требованиям, предъявляемым к образовательному процессу. Поэтому проверенные опытным путем методики преподавания, дающие постоянно положительный эффект, надо сохранять, а если и заменять на новые методики, то с учетом оценки их предпочтительности [6]. Критерием оценки важности педагогических инноваций, значимости новых приемов, способов, методов, методик и технологий обучения в первую очередь следует считать их результативность [7].

При этом результативность как существующих, так и инновационных методик преподавания учебных дисциплин можно оценить, используя различные системы контроля успеваемости слушателей, подробно рассмотренные в [8-13], и учитывающие при аттестации их знаний, умений и навыков уровень и степень усвоения ими изученного материала.

Однако, согласно [13], анализ основных положений существующих математических теорий обработки результатов тестирований, в том числе и современной теории обработки результатов тестирования IRT (Item Response Theory), показал, что их практическое применение для сравнения существующих и инновационных методов преподавания, вызывает определенные затруднения, поскольку не обеспечивает требуемый уровень корректности получаемых результатов. Особенно это проявляется при их использовании для аттестационного тестирования малых групп слушателей и частых обновлениях учебных курсов, по которым осуществляется тестирование, что в частности касается и курсов по администрированию вычислительных систем.

Поэтому разработка математических методов и подходов, позволяющих корректно проводить сравнительную оценку существующих и предлагаемых к внедрению инновационных процессов обучения, с целью принятия решения по выбору наиболее эффективной методики переподготовки администраторов сетей, с учетом результатов аттестационного тестирования небольшой группы слушателей, является весьма актуальной.

Постановка задачи

Необходимо разработать подход к сравнительной оценке методик переподготовки администраторов сетей, по результатам аттестационного тестирования небольшой группы слушателей, позволяющий давать рекомендации по эффективности использования этих методик обучения при принятии решения по организации инновационного педагогического процесса.

Подход к решению задачи

Обычно для сравнения несвязных выборок, результатов тестирования двух групп слушателей, используют критерий Стьюдента [14-15]. Однако этот критерий основан на допущении, что исследуемый признак подчиняется нормальному распределению. Это условие на малых выборках практически не выполняется и поэтому применение критерия Стьюдента в таких случаях не совсем корректно [16-17]. Корректнее применять непараметрические методы анализа данных, которые не требуют нормального закона распределения данных, не используют параметры генеральной совокупности, а осуществляется ранжирование абсолютных значений данных, что позволяет нивелировать эффект скошенности распределения. Основу этих методов составляют ранговые критерии.

Среди ранговых критериев наиболее распространенными непараметрическими статистическими критериями являются: критерий Манна-Уитни [15] и двухвыборочный критерий Вилкоксона [17-19].

Согласно [17-21]. критерий Манна - Уитни и двухвыборочный критерий Вилкоксона являются непараметрическими аналогами критерия Стьюдента для несвязанных выборок малого объема, каждая размером от 5 до 20. Эти критерии достаточно мощные и при практическом использовании дают очень близкие результаты, при этом двухвыборочный критерий Вилкоксона является чуть более мощным и его применение более оправдано. Основные условия практического применения двухвыборочного критерия Вилкоксона, при проведении сравнительной оценки результатов аттестационного тестирования двух групп слушателей, обучающихся по разным методикам, на предмет выбора наиболее предпочтительной методики переподготовки администраторов сетей, следующие:

• наличие двух групп слушателей, имеющих одинаковый или близкий уровень начальной подготовки, следовательно, двух несвязанных выборок малого размера;

• наличие количественного признака, по которому осуществляется сравнение выборок, т.е. числа баллов, набранных каждым слушателем, за рабочее время тестирования; в процессе выполнения аттестационного набора тестовых заданий, по завершении процесса переподготовки;

• наличие одного преподавателя и двух альтернативных методик переподготовки администраторов сетей, при этом в каждой из групп теоретические и практические занятия преподаватель проводит только по одной из этих методик;

• наличие близких по инфраструктуре учебных аудиторий, в которых проводятся занятия со слушателями;

• отсутствие требования на нормальность распределения, предъявляемого к баллам, набранным слушателями, т.е. к выборкам тестируемых слушателей.

Подход к подбору двух групп слушателей, имеющих близкий уровень начальной подготовки, рассмотрен авторами статьи в [22], и является базой для формирования подхода к корректному сравнению альтернативных методик переподготовки администраторов сетей, по которым один и тот же преподаватель проводит занятия в этих группах, рассматриваемому в данной статье.

Согласно [23], достаточно эффективным средством качественного сравнения результатов тестирования двух групп (выборок) малого размера, является комбинированный подход, основанный на расчете эмпирического коэффициента детерминации и использовании вербально-числовой шкалы Чеддока. Основные условия его практического применения те же, что и двухвыборочного критерия Вилкоксона.

Результатами аттестационного тестирования слушателей являются баллы, которые они набирают в процессе решения набора тестовых заданий, одинаковых для двух групп Баллы, набранные слушателем за каждое выполненное задание, учитывают степень выполнения задания слушателем, а также уровень сложности задания, т.е. максимально возможное число баллов за правильное выполнение этого задания. После выполнения полного набора тестовых заданий каждый слушатель получает баллы, вычисленные по формуле:

8=1

X

48 8

(1)

X

1 - сумма баллов, которую набрал 1 -ый слушатель 1 -ой группы по результатам выполнения всех тестовых заданий;

X

8 - уровень задания, максимальный балл, который дают слушателю за правильное выполнение 8 -го тестового задания;

Ру8 - степень правильного выполнения1 -ым слушателем 1 -ой группы 8 -го тестового

задания ( принимает значения от 0,1 до 1);

2 - количество тестовых заданий в наборе.

Рассмотрим особенности практического применения предложенных подходов для сравнения результатов аттестационного тестирования двух небольших по численности групп слушателей, администраторов сетей, которые обучались у одного преподавателя по разным методикам.

Сравнение результатов тестирования двух групп слушателей на основе двухвыборочного критерия Вилкоксона:

1. Определяют численный состав слушателей каждой из двух подгрупп, которые

п П г

проходят тестирование, соответственно значения 1 и 2 , а также общее число слушателей

п = п + п двух групп 1 2.

При этом подгруппы нумеруют так, чтобы выполнялось условие П ~ П2 .

2. Для каждой группы слушателей осуществляют ранжирование индивидуальных результатов тестовых испытаний слушателей, т. е. набранных ими баллов, в порядке их не увеличения, начиная с максимального числа набранных слушателями баллов за выполнение набора тестовых заданий.

3. Составляют единый для двух групп слушателей ранжированный ряд результатов тестирования (баллов) в порядке их не увеличения, начиная с максимального числа набранных слушателями баллов.

4. Заменяют единый ранжированный ряд результатов тестирования слушателей (баллов) на единый ряд соответствующих им рангов. При этом наибольшему баллу присваивают ранг 1, следующему по величине - ранг 2 и т.д. Если имеют два и более одинаковых результата тестирования, то им присваивают средний ранг, соответствующий их месторасположению в едином ранжированном ряду результатов тестирования. Такие результаты тестирования принято называть связанными. Численное значение ранга каждого из связанных результатов тестирования вычисляют по следующей формуле:

* 1

Пк +1 г = п — к к 2

(2)

Гк

где: к - значение ранга, который присваивают результатам тестирования, входящим в состав к -ой группы связности;

п,

к - количество результатов тестирования, которые имеют более важный ранг, чем

к

результаты тестирования, входящие в состав к -ой группы связности; *

п* Ъ-

к - количество результатов тестирования, которые входят в состав к -ой группы связности.

5. Разделяют единый ряд рангов на два ряда, соответственно относящихся к первой и второй группам слушателей, участвующих в тестировании.

6. Подсчитывают отдельно сумму рангов, которую набрала каждая группа слушателей, по формуле.

,11

1=1

(3)

Я

где: 1 - сумма рангов, которую набрала 1 -ая группа слушателей; г 1

11 - ранг, который имеет -ый слушатель входящий в состав 1 -ой группы; п1 - 1 -

1 - число слушателей в составе 1 -ой группы. 7. Определяют большую из двух ранговых сумм (Ит) и соответствующую ей

п

численность группы

т

Ят = тах(Ц , )

(4)

8. Определяют математическое ожидание Вилкоксона соответственно по формулам:

М(Ж) В(Ж)

и дисперсию статистики

М (Ж) =

П (п +1)

2

(5)

В (Ж) =

П • ^ (п + 1)

9.

формуле:

12 (6) Определяют нормированную и централизованную Т-статистику Вилкоксона по

Ц - М(Ж) 2Ц -п (п+1) >/В(Ж) Л/п п (п+1)/3

V 1 2 (7)

10. Сравнивают результаты тестирования двух групп слушателей, проходивших переподготовку по различным методикам, на основе Т-статистики Вилкоксона. Определяют по табл. 1 табличное значение Т-статистики Вилкоксона для уровня значимости а, обычно

а = 0,05

считают, что

Таблица 1

Т-статистика Вилкоксона

(1-а) 0,9 0,91 0,92 0,93 0,94 0,95 0,954 0,96 0,975 0,99

Тт 1,645 1,695 1,75 1,812 1,884 1,96 2,0 2,05 2,24 2,57

Если

Т > 1 (1 -а)

1 , то с вероятностью 4 7 различия между результатами тестирования

двух групп слушателей, т. е. между суммарными рангами 1 и 2 баллов слушателей групп, являются значимыми. В этом случае считают, что группы слушателей существенно отличаются по уровню знаний, умений и навыков, полученных в процессе переподготовки.

В этом случае методику, по которой обучалась группа слушателей, имеющая наименьший суммарный ранг баллов по результатам тестирования, следует считать более предпочтительной для дальнейшего использования.

т: Т < 1 (1 - а)

Если Т , то с вероятностью различия между результатами тестирования

двух групп слушателей практически отсутствуют и методики, по которым слушатели этих групп проходили переподготовку, следует считать равноценными.

Сравнение результатов тестирования двух групп слушателей на основе эмпирического коэффициента детерминации и вербально-числовой шкалы Чеддока.

1. Вычисляют средние значения и дисперсии количества баллов, набранных слушателями каждой из двух групп в процессе выполнения набора тестовых заданий, по завершении процесса переподготовки, по формулам:

п1 2Х11 X. =1=х

1п п

1 „„„/ = 1,2

для 1 = -1,2 (8)

1 2 22 (Ху -Х1 )2

2 1=1 ст2 = ^-

1п

для 1 = 1,2 (9)

п-

1 - количество слушателей в 1 -ой группе; п - суммарное количество слушателей в обеих группах;

- порядковый номер слушателя в группе 1 ;

1

- номер группы, в которую включен слушатель 1 = 1, 2;

X..

11 - количество баллов, которое набрал 1 -ый слушатель 1 -ой группы в процессе выполнения набора тестовых заданий;

Х-

1 - среднее число баллов, набранных слушателем 1 -ой группы, в процессе выполнения набора тестовых заданий;

1 - дисперсия числа баллов слушателей 1 ой группы при выполнении набора тестовых

заданий.

X

2. Вычисляют среднее число баллов слушателей, общее для обеих групп ( с ), и среднее значение внутригрупповых дисперсий баллов слушателей ( с ) по формулам:

ХС =

2

IX 1=1

7 К' 1 I

п

(10)

I 2

I аг щ 2 _ 1=1

ас =

п

3. Вычисляют межгрупповую дисперсию ( слушателями по формуле:

2 2 I (X -х) • Щ 2 _ 1=1

а

м

(11)

) числа баллов, набранных

а

м

4.

формуле:

а

п

2

(12)

Вычисляют общую дисперсию ( ) числа баллов, набранных слушателями по .2__2 ,

-2

а

ас + ам

(13)

5. Вычисляют эмпирический коэффициент детерминации ( корреляционное отношение ( К ) соответственно по формулам:

? а2

К 2 _ ам

К2

) и эмпирическое

а

К = ам

2

а

(14)

(15)

К

2

Показатель ( ) представляет собой долю межгрупповой дисперсии в общей дисперсии и характеризует степень различия уровней переподготовки слушателей двух групп.

К 2 = 0 8

Так, например, при значении. ' имеем, что 80% вариации количества набранных

слушателями баллов обусловлено принадлежностью слушателей к разным группам. Показатель К показывает тесноту связи между уровнем переподготовки слушателей и принадлежностью их к определенным группам.

Для качественной оценки тесноты связи на основе показателя эмпирического корреляционного отношения следует использовать соотношения Чэддока [20], приведенные в табл. 2.

Таблица 2

Качественная оценка тесноты связи по Чэддоку

Показатель К 0,1 - 0,3 0,3 - 0,5 0,5 - 0,7 0,7 - 0,9 0,9 - 1,0

Сила связи Слабая Умеренная Заметная Тесная Весьма тесная

Согласно табл. 2 имеем:

• если эмпирическое корреляционное отношение, т.е. К ^ 0'5, то сравниваемые группы слушателей заметно отличаются по уровню знаний, умений и навыков, полученных в процессе переподготовки, и наиболее предпочтительной следует считать ту методику, по которой обучалась группа слушателей, набравшая большее число баллов. При этом, чем больше значение К; тем более предпочтительной будет эта методика;

К < 0 5

• если эмпирическое корреляционное отношение, т.е. _ ' , то различие в уровне знаний, умений и навыков, полученных слушателями групп, проходивших переподготовку по разным методикам, следует считать несущественным, а методики практически одинаковыми.

Пример

Рассмотрим пример, который носит иллюстративный характер и показывает возможность применения предложенных подходов для сравнительного анализа двух методик переподготовки администраторов сетей, и принятия решения по целесообразности дальнейшего использования той методики, которая является более эффективной.

По методике, приведенной в [22], были отобраны две группы слушателей, близкие по уровню начальной подготовки, каждая группа численностью восемь человек

Слушатели каждой группы проходили переподготовку и совершенствовали свои знания по методике, непосредственно утвержденной для этой группы, т.е. соответственно по методикам М1 и М2. Занятия в группах проводил один и тот же преподаватель. После завершения обучения слушатели решали аттестационные тестовые задания, одинаковые для групп. Набор тестовых заданий, выполненный каждым слушателем, оценивался по формуле (1), учитывающей как степень выполнения задания, так и сложность задания.

Результаты тестирования слушателей и их ранжирования приведены в табл. 3:

• в строках 1 и 2 соответственно приведены суммарные баллы, которые набрали слушатели первой и второй групп, в процессе выполнения набора тестовых заданий;

• в строке 3 приведены результаты ранжирования баллов, набранных слушателями двух групп. При этом наибольшему баллу соответствует первое место и ранг равный 1, по мере убывания баллов увеличивается ранг. При наличии связанных рангов для их оценки используется выражение (2);

• в строках 4 и 5, приведены результаты ранжирования баллов, набранных слушателями соответственно первой и второй групп.

Таблица 3

Результаты выполнения слушателями тестовых заданий и ранжирование этих результатов

Группа 1, баллы X слушателей 1 88 84 78 72 68 68 68 62

Группа 2, баллы "X2 у слушателей 2 -1 96 92 90 86 82 80 76 70

Ранг баллов общий 1 2 3 4 5 6 7 8 9 10 11 12 14 14 14 16

Группа 1, ранги баллов Г слушателей 1 ] 4 6 9 11 14 14 14 16

Группы 2, ранги баллов " Г2 слушателей 2■ 1 2 3 5 7 8 10 12

Составлена авторами

Используя предложенные в работе критерии, проводим сравнительную оценку двух методик переподготовки администраторов сетей на основе сравнения результатов тестирования слушателей этих групп, полученных в процессе выполнения ими одного и того же набора тестовых заданий.

Оценка результатов тестирования слушателей по двухвыборочному критерию Вилкоксона.

Определяем сумму рангов, набранную каждой группой, по формуле (3):

Щ = 88 Щ = 48

п М(Ж) П(Ю

Определяем математическое ожидание и дисперсию статистики

Вилкоксона соответственно по формулам (5) и (6):

М (Ж) = 68 П(Ж) = 90,66

Определяем нормированную, централизованную Т-статистику Вилкоксона по формуле

(7)

Щ - М (Ж) Т = 1 _ = 2,1

Определяем для уровня значимости ^ = 005 табличное критическое

значение

Тт = 1,96

критерия Вилкоксона, из табл1 имеем 1 .

Поскольку Т > Тт, то принимаем гипотезу, свидетельствующую о том, что с вероятностью 95% различия между результатами тестирования двух групп слушателей являются значимыми.

Суммарный ранг баллов слушателей второй группы меньше суммарного ранга слушателей первой группы, поэтому согласно двухвыборочного критерия Вилкоксона, методика М2 преподавания курса, по которой обучались слушатели второй группы, является более эффективной, чем методика М1.

Оценка результатов тестирования слушателей на основе эмпирического коэффициента детерминации и вербально-числовой шкалы Чеддока.

Вычисляем средние значения и дисперсии числа баллов, набранных слушателями каждой группы в процессе выполнения аттестационных тестовых заданий, соответственно по формулам (8) и (9).

Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №1 (январь - февраль 2017)

http://naukovedenie.ru [email protected]

Xj = 73 Х^ = 84

2 2 а2 = 75 а2 = 66

Вычисляем среднее число баллов слушателя, которое является общим для обеих групп и

и (11).

X а2

( с ) и среднее значение внутригрупповых дисперсий ( c ) соответственно по формулам (10)

Хс = 78,5 а2 = 70,5 а2

Вычисляем межгрупповую дисперсию ( м ) количества баллов набранных слушателем

по формуле (12).

.2 а2

Вычисляем общую дисперсию (

(13):

= 30,125

Вычисляем общую дисперсию ( ) количества баллов для обеих групп по формуле

2 2 2 а2 =a¿ +аМ = 100,625

К 2

Вычисляем эмпирический коэффициент детерминации ( ) и эмпирическое корреляционное отношение ( К ) соответственно по формулам (14) и (15)

2 а2

К2 =ам = о,з

а2 К = 0,548

тг_rv

Поскольку показатель = , , то согласно данным приведенным в табл. 2, между методиками М1 и М2, по которым осуществлялась переподготовка администраторов сетей, и суммарным числом баллов, набранных слушателями в процессе выполнения набора тестовых заданий после завершения обучения по этим методикам, существует заметная связь. Так как слушатели второй группы набрали больше баллов, чем слушатели первой группы, то методика преподавания М2 более предпочтительна, чем методика М1.

Оба рассмотренных подхода, используемых для оценки результатов тестирования слушателей и сравнения используемых методик переподготовки, дали один и тот же результат: методика переподготовки администраторов сетей М2 предпочтительнее методики М1.

Выводы

1. Предложен подход к сравнительной оценке методик переподготовки администраторов сетей, базирующийся на результатах выполнения слушателями, близкими по уровню начальной подготовки, полного набора аттестационных тестовых заданий, которые отражают, полученные слушателями в процессе переподготовки, знания, умения и навыки.

2. Подход к сравнительной оценке методик переподготовки администраторов сетей предназначен для выбора наиболее эффективного варианта организации

инновационного процесса обучения и направления его дальнейшего совершенствования.

3. Результаты выполнения слушателями набора аттестационных тестовых заданий представляются в виде баллов, учитывающих как степень выполнения слушателем каждого задания, так и сложность этого задания

4. Для сравнения результатов тестирования двух групп слушателей, каждая группа численностью от 5 до 20 человек, отражающих эффективность методик переподготовки администраторов сетей, предложено использовать двухвыборочный критерий Вилкоксона, а для качественной оценки -эмпирический коэффициент детерминации и шкалу оценки тесноты связи по Чеддоку.

5. Приведен пример, иллюстрирующий возможность практического применения предложенного подхода к сравнению методик переподготовки администраторов сетей и ранжированию этих методик по уровню предпочтительности.

ЛИТЕРАТУРА

1. Постников В.М. Основы эксплуатации АСОИиУ: учебное пособие в 2 ч. Ч.1. Техническое обслуживание. М.: Изд-во МГТУ им. Н.Э. Баумана. 2015. 191 с.

2. Постников В.М. Основы эксплуатации АСОИиУ: учебное пособие в 2 ч. Ч.2. Администрирование и развитие. М.: Изд-во МГТУ им. Н.Э. Баумана. 2015. 188 с.

3. Рысин М.Л. Преподавание основ системного администрирования в вузе // Образование и наука в современных условиях: материалы VI Междунар. науч.-практ. конф. (Чебоксары, 26 февр. 2016 г.) Чебоксары: ЦНС «Интерактив плюс», 2016. №1 (6). С. 155-161.

4. Ткаченко А.В., Корольков И.А., Лунева М.А. Информационно-коммуникационные технологии и качество образования. // Информационно-измерительные и управляющие системы. 2016. №6. С. 70-73.

5. Дрыгина И.В., Маркова Е.С. Инновационные тенденции в образовании // Всероссийская научно-практическая конференции с международным участием «Системы оценки качества образования»: труды, Красноярск: Изд-во СибГТУ, 2015. С. 25-28.

6. Калинина М.А. Инновационная направленность в педагогической деятельности // Всероссийская научно-практическая конференции с международным участием «Системы оценки качества образования»: труды, Красноярск: Изд-во СибГТУ, 2015. С. 28-30.

7. Лозовая М.А., Лозовой А.А. Инновационные тенденции в образовании // Всероссийская научно-практическая конференции с международным участием «Системы оценки качества образования»: труды, Красноярск: Изд-во СибГТУ, 2015. С. 34-36.

8. Сапрыгина Н.Г. Балльно-рейтинговая система контроля успеваемости студентов // Всероссийская научно-практическая конференции с международным участием «Системы оценки качества образования»: труды, Красноярск: Изд-во СибГТУ, 2015. С. 95-97.

9. Толкачева Е.В. Современные средства оценивания результатов обучения // Всероссийская научно-практическая конференции с международным участием

«Системы оценки качества образования»: труды, Красноярск: Изд-во СибГТУ, 2015. С. 101-109.

10. Мамаева И.А. Методика оценки успешности обучения студентов // Современные проблемы науки и образования. 2008. №4. С. 85-86; URL: https://www.science-education.ru/ru/article/view?id=1011 (дата обращения: 20.12.2016).

11. Абекова Ж.А., Оралбаев А.Б., Бердалиева М., Избасарова Ж.К. Технология критериального оценивания, методика ее применения в учебном процессе // Международный журнал экспериментального образования. 2016. №2-2. С. 215218; URL: https://expeducation.ru/ru/article/view?id=9559 (дата обращения: 20.12.2016).

12. Чугунов Е.А., Ермолаева В.В. Сравнение методик преподавания общего курса физики на примере проведения лабораторных работ в технических вузах Швейцарии и России // Молодой ученый. 2014. №5. С. 569-571.

13. Певцов К.С. Автоматизация процессов контроля качества профессионального обучения в системе переподготовки персонала предприятий: автореф. дис. ... канд. техн. наук. М., 2009. 22 с.

14. Харькова О.А., Гржибовский А.М. Сравнение одной и двух несвязанных выборок с помощью пакета статистических программ STATA: параметрические критерии // Экология человека 2014. №3. С. 57-61.

15. Харькова О.А., Гржибовский А.М. Сравнение двух несвязанных выборок с использованием пакета статистических программ STATA: непараметрические критерии // Экология человека 2014. №4. С. 60-64.

16. Чибисов Д.М. Лекции по асимптотической теории ранговых критериев. Лекционные курсы НОЦ. Выпуск 14. М.; Математический институт им. В.А. Стеклова РАН. 2009. 176 с.

17. Орлов А.И. Часто ли распределение результатов наблюдений является нормальным // Заводская лаборатория. Диагностика материалов. 1991. №7. С. 64 - 66.

18. Орлов А.И. Двухвыборочный критерий Вилкоксона - анализ двух мифов // Научный журнал КубГАУ, 2014. №10. С. 1-21.

19. Левин Д.М., Стефан Д., Кребиль Т.С., Беренсон М.Л. Статистика для менеджеров с использованием Microsoft Excel - М.: Вильямс 2004. 1312 с.

20. Лемешко Б.Ю., Лемешко С.Б. Об устойчивости и мощности критериев проверки однородности средних // Измерительная техника. 2008. №9. С. 23-28.

21. Хиценко В.Г. Непараметрическая статистика в задачах защиты информации. Конспект лекций. Новосибирск: Изд-во НГУ. 2012. 200 с.

22. Белоус В.В., Спиридонов С.Б., Постников В.М. Подход к сравнению по уровню начальной подготовки учебных подгрупп слушателей по направлению переподготовки администрирование сетей // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 8, No 6 (2016). http://naukovedenie.ru/PDF/96TVN616.pdf (доступ свободный). Загл. С экрана. Яз. рус., англ.

23. Гусаров В.М., Кузнецова Е.И. Статистика. М.: ЮНИТИ-ДАНА. 2008. 480 с.

Belous Valentina Vladimirovna

Bauman state technical university, Russia, Moscow E-mail: [email protected]

Spiridonov Sergey Borisovich

Bauman state technical university, Russia, Moscow E-mail: [email protected]

Postnikov Vitalii Michalovich

Bauman state technical university, Russia, Moscow E-mail: [email protected]

Approach to comparative evaluation of methods of training network administrators

Abstract. In the paper is developed the approach to comparative evaluation of alternative methods of training small groups of network administrators, to select and use the most effective methods. The group of students who are taking courses on alternative methods to have the same level of initial training. Lessons in these groups by the same teacher in classrooms similar to their infrastructure, and each group includes at least five people.The effectiveness of the compared methods is determined by the results of certification of students after completing theoretical and practical training in the curriculum. Efficiency of techniques is estimated by the number of points earned by the students correctly completed a set of test tasks for the working time of testing. Thus the score received by the students for each completed task, take into account both the level of complexity of the task and the maturity of response to the task. Therefore, the scores obtained by the students for the implementation of a set of tests that fully reflect the knowledge and skills acquired in the process of retraining.

The analysis of approaches to the processing of the results of certification testing to a small number of audiences. Based on the analysis of approaches to processing data of small volume, it is shown that given the simplicity, convenience and accuracy of processing of results of tests of students, you should use the two-sample Wilcoxon test, and the qualitative evaluation of the empirical coefficient of determination and a verbal-numerical scale of Cedoca.

An example illustrating the peculiarities of using the proposed criteria for the comparative evaluation of alternative methods of teaching, retraining of network administrators and decision for choosing the most preferred methods for organizing innovation in the learning process.

Keywords: retraining of network administrators; test items; processing of test results; two-sample Wilcoxon criterion; empirical correlation ratio; scale Chedoke