Подход к ранжированию контрольных мероприятий по дисциплинам направления «Информатика и вычислительная техника» и оценке вариантов их проведения Текст научной статьи по специальности «Науки об образовании»

Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie.ru/

Том 9, №2 (2017) http://naukovedenie.ru/vol9-2.php

URL статьи: http://naukovedenie.ru/PDF/102TVN217.pdf

Статья опубликована 14.05.2017

Ссылка для цитирования этой статьи:

Белоус В.В., Спиридонов С.Б., Постников В.М. Подход к ранжированию контрольных мероприятий по дисциплинам направления «Информатика и вычислительная техника» и оценке вариантов их проведения // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №2 (2017) http://naukovedenie.ru/PDF/102TVN217.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.

УДК 519.81

Белоус Валентина Владимировна

ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана», Россия, Москва1

Доцент кафедры Кандидат технических наук E-mail: [email protected]

Спиридонов Сергей Борисович

ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана», Россия, Москва

Доцент кафедры «Системы обработки информации и управления»

E-mail: [email protected] РИНЦ: http://elibrary.ru/author profile.asp?id=796592

Постников Виталий Михайлович

ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана», Россия, Москва

Доцент кафедры «Системы обработки информации и управления»

Кандидат технических наук E-mail: [email protected] РИНЦ: http://elibrary.ru/author profile.asp?id=413854

Подход к ранжированию контрольных мероприятий по дисциплинам направления «Информатика и вычислительная техника» и оценке

вариантов их проведения

Аннотация. Рассмотрены виды контрольных мероприятий, используемых в вузе для оценки знаний, умений и навыков студентов, полученных ими при изучении дисциплин направления подготовки «Информатика и вычислительная техника» - бакалавры. Для ранжирования видов контроля знаний по степени важности предложено использовать метод экспертных оценок. Выбран качественный и количественный состав экспертов рабочей группы для получения корректных и математически строгих рекомендаций. В результате согласованной оценки мнений экспертов рабочей группы, получен строго ранжированный ряд контрольных мероприятий, который по мере убывания важности имеет следующий вид: модульный контроль, итоговый, тематический, лекционный, входной.

Рассмотрены организационные вопросы проведения модульного контроля, отражающего оценку знаний, полученных студентами при изучении логически завершенной

1 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1

части дисциплины, и приобретения соответствующих компетенций. При формировании теста модульного контроля рекомендовано использовать вопросы закрытого и открытого типов в количественном отношении три к одному.

Выделены типы ошибок, допускаемых студентами при ответе на вопросы теста модульного контроля. Рассмотрены два варианта его проведения: типовой и консультационный Типовой вариант включает набор вопросов теста и инструкцию по ответу на вопросы, Консультационный вариант предусматривает предварительную консультацию студентов по особенностям и правилам ответа на вопросы теста. При этом группы, которые подвергают тесту модульного контроля по альтернативным вариантам его проведения, должны иметь одинаковый уровень начальной подготовки при изучении дисциплин, занятия в этих группах должен проводить один и тот же преподаватель в учебных помещениях, близких по своей инфраструктуре.

Эффективность сравниваемых вариантов проведения модульного контроля оценивают числом баллов, набранных студентами за правильные ответы на вопросы теста за рабочее время тестирования. При этом бальные оценки, полученные студентами, учитывают как уровень сложности вопроса, так и степень ответа на вопрос теста.

С учетом простоты, удобства и математической корректности обработки результатов ответа на вопросы теста, предложено использовать: двухвыборочный критерий Вилкоксона, при численности студентов в группе от 5 до 20 человек, и критерий Стьюдента, при численности студентов в группе 20 и более человек.

Приведен пример сравнения двух рассматриваемых вариантов проведения тестового модульного контроля знаний по дисциплине «Схемотехника дискретных устройств» и показана эффективность использования консультационного варианта его проведения по сравнению с типовым вариантом.

Ключевые слова: метод экспертных оценок; эксперты рабочей группы; контрольные мероприятия; модульный контроль; тест модульного контроля; обработка результатов теста; двухвыборочный критерий Вилкоксона; критерий Стьюдента

Введение

Одной из основных стратегических целей вузов является подготовка конкурентоспособных специалистов, адекватных современному уровню науки, технологии, экономики и требованиям национально-региональных потребностей [1].

Непрерывное развитие, постоянное совершенствование и широкое использование средств вычислительной техники ставят перед высшей школой задачу подготовки квалифицированных специалистов по их разработке, обслуживанию и сопровождению. Поэтому одной из актуальных проблем современных вузов является совершенствование качества образования по дисциплинам, входящих в подготовку специалистов по направлению «Информатика и вычислительная техника» - бакалавры.

Следует учитывать, что понятие качество образования, как правило, студенты и работодатели воспринимают по-разному [2]:

• для студентов - это знания, умения и практические навыки, необходимые для успешного трудоустройства и карьерного роста;

• для работодателей - это подготовка вузами таких специалистов, которые владеют необходимыми компетенциями и способны адаптироваться к динамично меняющимся условиям производства.

Поэтому деятельность преподавателей вузов, направленная на совершенствование качества образования, должна быть неразрывно связана с разработкой и использованием инновационных методов преподавания, учитывающих частую корректировку программ дисциплин на их соответствие запросам работодателей [3].

Это в свою очередь требует внедрения в учебный процесс дисциплин, в частности, по направлению. «Информатика и вычислительная техника», эффективных способов организации и проведения контрольных мероприятий, оценивающих качество подготовки студентов. Одним из эффективных и широко используемых инструментом такой оценки является тестовый метод контроля качества обучения студентов в вузе [4-5], основу которого составляет набор закрытых, открытых или комбинированных педагогических тестов по соответствующим дисциплинам. При этом, улучшение качества подготовки будущих специалистов должно происходить как за счет совершенствования методов и средств обучения, так и за счет способов и подходов контроля знаний, получаемых в процессе обучения [6].

Дело в том, что при правильном формировании, систематическом и своевременном использовании педагогические тесты позволяют не только оценить уровень знаний, умений и практических навыков, полученных студентами в процессе изучения учебных дисциплин, но также позволяют преподавателям внести определенные целенаправленные коррективы в педагогический процесс с целью его дальнейшего совершенствования [7].

Практика показывает, что попытки улучшить качество образования, не подкрепленные действенными методами проверки знаний, как правило, не приносят желаемых результатов [8].

В связи с этим, проблема эффективной организации и проведения контрольных мероприятий, а также их постоянного совершенствования, по учебным дисциплинам направления подготовки «Информатика и вычислительная техника», является весьма актуальной.

Постановка задачи

Для дальнейшего повышения эффективности учебного процесса и получения корректных оценок уровня усвоения студентами учебного материала, следует провести ранжирование контрольных мероприятий по степени их важности и выработать подходы к сравнительной оценке способов их проведения и обработки полученных результатов.

Подход к решению задачи

Анализ ряда работ, среди которых в первую очередь следует выделить [8-10], показал, что преподаватели вузов, с учетом внедрения балльно-рейтинговой системы оценивания знаний, в основном используют для оценки контроля знаний студентов следующие виды контрольных мероприятий:

входной - для предварительной оценки степени готовности студентов к освоению содержания учебной дисциплины;

текущий - для оценки еженедельных знаний студентов, полученных в ходе выполнения самостоятельных и лабораторных работ;

тематический - для оценки знаний студентов, полученных после изучения очередной

темы;

рубежный - для оценки степени усвоения студентами ряда тем или модуля дисциплины;

итоговый - для оценки знаний, умений и навыков, сформированных по окончании изучения дисциплины. Это интегрирующий контроль, проводимый на базе модульных контролей, который позволяет судить об общих достижениях студентов.

Программы дисциплин, входящих в подготовку бакалавра по направлению «Информатика и вычислительная техника», как правило, состоят из модулей, включающих ряд тем, а темы состоят из лекций, каждая из которых содержит ряд разделов. При этом модуль представляет собой самостоятельную, логически завершенную часть учебного процесса по дисциплине, позволяющую студенту достигнуть определенного уровня знаний, умений и практических навыков, определяемого программой этой дисциплины. Как правило, в процессе изучения модуля у студента формируются определенные профессиональные компетенции.

Такому структурному подходу к содержанию программ дисциплин соответствует и набор контрольных мероприятий, используемых для оценки степени усвоения студентами учебного материала соответствующих дисциплин. Поэтому выделены следующие виды оценки контроля знаний студентов:

• входной контроль для оценки начального уровня знаний студентов по дисциплине;

• лекционный контроль для оценки уровня усвоения студентами учебного материала лекций; осуществляется при проведении семинарских занятий;

• тематический контроль для оценки уровня усвоения студентами материала темы, входящей в состав модуля дисциплины; осуществляется при защите домашних заданий и лабораторных работ по соответствующей теме дисциплины;

• модульный контроль для оценки уровня усвоения студентами материала модуля дисциплины и полученного уровня профессиональной компетенции; проводится на их соответствие планируемым результатам, указанным в образовательной программе этой дисциплины;

• итоговый контроль для оценки уровня знаний, умений и навыков, полученных студентами по завершении изучения дисциплины, на их соответствие итоговым планируемым результатам образовательной программы по этой дисциплине.

При проведении ранжирования приведенных контрольных мероприятий по степени важности их влияния на уровень знаний, умений и навыков, получаемых студентами в процессе изучения дисциплин, решено использовать, с учетом рекомендаций [11, 12], метод экспертных оценок. Он обеспечивает объективное, коллективное, корректное, строго математически обоснованное, суждение экспертов [13]. При этом экспертами должны быть, согласно [11, 12], квалифицированные преподаватели дисциплин, входящих в подготовку бакалавров, имеющие большой опыт педагогической работы.

В методе экспертных оценок, показатели, подлежащие ранжированию, называют

X

факторами и обозначают символом « 1 », где 1 - номер фактора подлежащего ранжированию.

X] Хгу

В нашем случае пять факторов: 1 - входной контроль, 2 - лекционный контроль,

Х^ X л X с

3 - тематический контроль, 4 - модульный контроль, 5 - итоговый контроль. Выбор

количественного состава экспертной группы, для получения математически строгой и

согласованной оценки экспертов по рассматриваемому вопросу, проведен с учетом

рекомендаций, приведенных в [14, 15]. При ранжировании пяти факторов в составе экспертной

группы должно быть от шести до двенадцати экспертов, дальнейшее увеличение числа

экспертов может привести к снижению уровня согласованности или к получению

несогласованного мнения экспертов рабочей группы. Поэтому была создана рабочая группа экспертов в количестве девяти человек, соответствующая среднему рекомендуемому значению для указанных граничных значений.

Опрос экспертов, заполнение таблиц экспертного опроса и обработка полученных результатов были проведены в соответствии с методикой, приведенной в [15].

Эксперты работали независимо друг от друга. Каждый эксперт рабочей группы располагал все факторы по степени их важности. Наиболее значимому фактору он присваивал первое место и значение ранга равное 1, соответственно второму по значимости фактору -второе место и значение ранга равное 2, и т.д. Наименее значимому фактору эксперт присваивал последнее место и значение ранга п=5.

Каждый эксперт работал в стандартизованной ранговой системе. Поэтому если он был в затруднении указать порядок мест важности двух или более факторов, так как, по его мнению, эти факторы важны в одинаковой степени, то этим факторам он присваивал один и тот же ранг. При этом эти факторы принято называть связанными. Численное значение ранга связанных факторов представляет собой среднее значение суммы мест этих факторов в ранжированном ряду факторов данного эксперта и вычисляют по следующей формуле

*

-+1

Г. = п •+п7— 0)

77 2

*

*

г ■

где: 7 - значение ранга, который 7 -ый эксперт присваивает связанным факторам,

- V

7 - количество факторов, которые 7 -ый эксперт считает более важными, чем

связанные факторы, *

- ■

7 - количество факторов, которые 7 -ый эксперт включает в одну группу связанных факторов.

Обобщенные результаты экспертных оценок сравниваемых факторов, выполненные экспертами рабочей группы, приведены в табл. 1 .

Таблица 1

Обобщенные результаты экспертных оценок сравниваемых факторов

Код фактора Экспертные оценки факторов

Э1 Э2 эз Э4 Э5 Э6 Э7 Э8 Э9 Г (Г - Г)2

Х1 4 5 5 5 5 5 5 4 5 43 256

X 2 3 3 4 4 4 3,5 3,5 5 3 33 36

Хз 5 2 3 1 3 3,5 3,5 3 4 28 1

Х 4 1,5 1 1 2 2 2 1,5 1 12 13 196

Х 5 1,5 4 2 3 1 1 1,5 2 2 18 81

Составлено авторами

При обработке результатов, приведенных в табл. 1, использованы следующие обозначения:

п - количество факторов подлежащих ранжированию экспертами (п = 5), m - количество экспертов в составе рабочей группе ^ = 9),

Г..

У -

ранг, присвоенный ]-ым экспертом ьму фактору ^ = 1, п), (]= 1, m),

Г

1 - суммарный ранг ьго фактора,

т

Г1 = I ГУ 1 у=1У

Г - суммарный средний ранг факторов, определяемый условиями опроса экспертов,

п т

1 П т (п + 1) т ^

Г=-»==! =Ч-=27

(Г1 - Г)2

- квадрат отклонения суммарного ранга i - го фактора от суммарного среднего ранга факторов,

5 - сумма квадратов отклонений суммарных рангов каждого из факторов от суммарного среднего ранга факторов,

п т о п о

5= I I Г - г)2 = I (Г - Г)2 =570 1=1 У

II 11 Г ') =1= У1 ') =5'0 (2)

5

тах - максимальная сумма квадратов отклонений суммарных средних рангов факторов от их суммарного среднего значения. Вычисляют согласно [15] по следующей формуле:

12 3 т

5тах = 12-2(п3 - п)- тIТу (3)

где

1 НУ г 3

Т. =—I (г3, - г.,) (4)

У 12 к=1 У Ук) ()

Т.

У - коэффициент, учитывающий наличие связанных факторов у ]-го эксперта, Н - число групп одинаковых рангов факторов у ] -го эксперта, к - номер группы одинаковых рангов факторов у ]-го эксперта ( к = 1,Н ),

У

число одинаковых рангов факторов в к-ой группе у ] -го эксперта.

Для оценки согласованности мнений экспертов рабочей группы использовали

коэффициент конкордации W, предложенный Кендаллом. При этом W - это отношение

£

фактически полученной величины S к ее максимальному значению тах для одной и той же группы экспертов и числа факторов. Поэтому имеем:

Ж = ■

Я

12 3 т

т (п — п) — т £ Т-

(5)

12

7

/=1 7

Анализ данных, приведенных в табл. 1 показывает, что только первый, шестой и седьмой эксперты имеют связанные ранги факторов, а остальные эксперты имеют строго ранжированные ряды факторов. После подстановки исходных данных в выражения (2) и (4)

соответственно имеем:

. £ = 570

Т2 = Т3 = Т4 = Т5 = Т8 = Т9 = 0 Т1 = Т6 =0,5 Т7 =1

После подстановки исходных данных в выражение (5) получаем численное значение

коэффициента конкордации

Ж = 0,712

Оценка значимости коэффициента конкордации проведена по критерию хи-квадрат. Согласно [15] имеем:

= Ж ■ т ■ (п -1)

(6)

После подстановки исходных данных в выражение (6) получаем расчетное значение

критерия хи-квадрат.

= 25,63

Табличное значение критерия хи-квадрат () определяем из [15] при уровне

2 9 5

значимости а = 0,05 и числе степеней свободы & = п — 1 = 4. Получаем Т ' .

Поскольку Т, т.е. расчетное значение больше табличного, то с вероятностью

95% можно утверждать, что мнения экспертов по порядку ранжирования факторов являются вполне согласованными.

Для качественной оценки степени согласованности мнений экспертов использованы вербально-числовые шкалы, предложенные Марголиным и Харрингтоном, соответственно приведенные в табл. 2 и табл. 3, и взятые из [15].

Таблица 2

Оценка степени согласованности мнений экспертов по шкале, предложенной Марголиным

№ Числовое значение коэффициента конкордации Оценка степени согласованности мнений экспертов

1 0 < Ж < 0,1 Согласованность отсутствует

2 0,1 < Ж < 0,3 Согласованность очень слабая

3 0,3< Ж< 0,5 Согласованность слабая

№ Числовое значение коэффициента конкордации Оценка степени согласованности мнений экспертов

4 0,5 < Ж < 0,7 Согласованность умеренная

5 0,7< Ж<0,9 Согласованность высокая

Составлено авторами

Таблица 3

Оценка степени согласованности мнений экспертов по шкале Харрингтона

№ Числовое значение коэффициента конкордации Оценка степени согласованности мнений экспертов

1 0 < Ж < 0,2 Согласованность очень низкая

2 0,2< Ж <0,37 Согласованность низкая

3 0,37 < Ж < 0,64 Согласованность средняя

4 0,64< Ж<0,8 Согласованность высокая

5 0,8< Ж< 1,0 Согласованность очень высокая

Составлено авторами

Согласно приведенных вербально - числовых шкал, согласованность мнений экспертов по ранжированию факторов - высокая.

Поэтому с учетом численных значений рангов факторов, приведенных в тал. 1, согласованный вариант ранжирования факторов, полученный экспертами, имеет следующий

вид: 4 3 2 *.

Таким образом, при организации и проведении контрольных мероприятий по дисциплинам, входящим в направление подготовки «Информатика и вычислительная техника» в первую очередь особое внимание следует уделить модульному контролю, затем по степени важности идут итоговый, тематический, лекционный и входной виды контроля.

Рассмотрим особенности проведения контрольных мероприятий на примере модульного контроля, как одного из наиболее важных видов контрольных мероприятий, проводимых при изучении дисциплин. С учетом опыта нашей работы и рекомендаций, приведенных в [16], при формировании вопросов и ответов для теста модульного контроля знаний по учебной дисциплине и его проведения, следует соблюдать следующие правила:

• вопросы, входящие в состав теста, должны охватывать все разделы модуля дисциплины;

• тест должен содержать около 20 вопросов, из которых 15 вопросов закрытого типа и 5 вопросов открытого типа, количественно эти вопросы должны быть в отношении три к одному;

• вопрос закрытого типа должен предполагать выбор одного правильного ответа или выбор нескольких правильных ответов;

• на вопрос закрытого типа должно быть приведено не менее пяти вариантов ответа, чтобы вероятность угадывания правильного ответа составляла не более 20%;

• на вопрос закрытого типа могут быть не приведены правильные ответы, при условии, что есть ответ типа «другие варианты»;

Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №2 (март - апрель 2017)

http://naukovedenie.ru [email protected]

• не следует включать в тест вопросы, которые могут оказать помощь студенту при формировании ответа на другие вопросы этого теста;

• вопросы следует располагать в порядке изучения материала дисциплины и возрастания их по степени сложности;

• тест должен содержать полную инструкцию по правилам выбора ответа на вопрос закрытого типа и правилам формирования ответа на вопрос открытого типа со свободным изложением ответа.

По результатам ответа на вопросы теста модульного контроля знаний студенты получают баллы, учитывающие как уровень сложности вопроса, так и степень полноты ответа на вопрос, вычисленные по формуле:

Ху = !Х ■ (7)

8=1

X

7 - сумма баллов, которую набрал 7 -ый студент * -ой группы по результатам выполнения теста;

-8 -уровень сложности вопроса, т.е. максимальный балл, который дают студенту за 8 -

правильный ответ на -ый вопрос теста;

8 -степень полноты правильного ответа 7 -ым студентом * -ой группы на 8 -ый вопрос теста;

2 - количество вопросов в тесте модульного контроля.

Анализ ответов студентов, на вопросы теста модульного контроля оценки знаний по ряду дисциплин направления «Информатика и вычислительная техника, позволил провести классификацию ошибок и основных причин их появления, приведенных в табл. 4.

Таблица 4

Классификация ошибок студентов при ответе на вопросы теста модульного контроля

№ Тип ошибки ответов на вопросы теста модульного контроля Неверные (или неполные) ответы студентов на вопросы теста и их причины

1 Принципиальные ошибки Дан неверный вариант ответа на вопрос теста из-за того, что не усвоили пройденный материал или не подготовились к модульному контролю.

2 Ошибки поверхностного усвоения материала Не указаны границы и области применения математических моделей при формировании ответов на вопросы теста открытого типа из-за поверхностного усвоения материала.

3 Ошибки оформления ответа Не приведены ссылки на используемые законы, теоремы, правила или формулы при формировании ответов на вопросы теста открытого типа из-за невнимательного изучения инструкций по проведению тестирования.

№ Тип ошибки ответов на вопросы теста модульного контроля Неверные (или неполные) ответы студентов на вопросы теста и их причины

4 Организационные ошибки Дан не полный выбор ответов на вопросы теста закрытого типа из-за невнимательного изучения инструкций по проведению тестирования.

5 Терминологические ошибки Отсутствие единой терминологии во взаимодействии преподавателя со студентами при ответе на вопросы теста открытого типа из-за использования не научных терминов.

Составлено авторами

Анализ ошибок, приведенных в табл. 4, и обсуждение результатов тестирования со студентами, показало, что большинство организационных и терминологических ошибок, а также значительная часть ошибок оформления ответа, вызвана поспешностью и невнимательностью студентов при изучении инструкций по оформлению ответов на вопросы теста. Все это естественно сказывается на корректности результатов, получаемых при использовании на практике типового варианта проведения модульного контроля знаний.

В связи с этим в практической работе предложено использовать консультационный вариант проведения модульного контроля знаний, который предусматривает предварительную, перед началом тестирования, консультацию студентов, направленную на формирование корректных ответов на вопросы теста.

Для корректного сравнения типового и консультационного вариантов проведения модульного контроля знаний, следует соблюдать следующие правила:

• группы, которые подвергают тесту модульного контроля по различным вариантам его проведения, должны иметь одинаковый уровень начальной подготовки при изучении дисциплины,

• занятия в этих группах должен проводить один и тот же преподаватель в учебных помещениях, близких по своей инфраструктуре.

Эффективность сравниваемых вариантов проведения модульного контроля оценивают числом баллов, набранных студентами за правильные ответы на вопросы теста за рабочее время тестирования, около 90 минут, согласно выражению (7).

Обычно для сравнения несвязных выборок, результатов тестирования двух групп, используют критерий Стьюдента [17-18], который основан на допущении, что исследуемый признак подчиняется нормальному распределению, или все результаты расположены в пределах области плюс/минус три сигма от среднего значения. На малых выборках, размером менее 20, это условие не всегда выполняется. Поэтому применение критерия Стьюдента в таких случаях не совсем корректно [19-20]. Корректнее для малых выборок применять непараметрические методы анализа данных, которые не требуют нормального закона распределения данных, не используют параметры генеральной совокупности, а осуществляется ранжирование абсолютных значений данных, что позволяет при необходимости нивелировать эффект скошенности распределения. Основу этих методов составляют ранговые критерии. Среди ранговых критериев наиболее распространенным непараметрическим статистическим критерием является двухвыборочный критерий Вилкоксона для несвязанных выборок малого объема, каждая выборка имеет размер от 5 до 20 [21].

Основными условиями практического применения двухвыборочного критерия Вилкоксона, используемого при сравнительной оценке вариантов проведении модульного

тестирования двух групп студентов, на предмет выбора наиболее предпочтительного варианта тестирования, являются следующие:

• наличие двух групп студентов, имеющих одинаковый или близкий уровень начальной подготовки по дисциплине, следовательно, двух несвязанных выборок малого размера;

• наличие количественного признака, по которому осуществляется сравнение выборок, т.е. числа баллов, набранных каждым студентом, за рабочее время тестирования; в процессе выполнения теста;

• наличие одного преподавателя и близких по инфраструктуре учебных аудиторий, в которых проводятся занятия со студентами;

• отсутствие требования на нормальность распределения, предъявляемого к баллам, набранным студентами, т.е. к выборкам тестируемых студентов.

Подход к подбору двух групп студентов, имеющих близкий уровень начальной подготовки, рассмотрен в [22]. Он является базой для корректного сравнения результатов модульного тестирования двух групп студентов, когда в одной группе используют типовой вариант, а в другой группе консультационный вариант тестирования, при условии, что один и тот же преподаватель проводит занятия в этих группах.

Рассмотрим особенности практического применения предложенных критериев для сравнения различных вариантов проведения модульного тестирования.

Сравнение результатов модульного тестирования двух групп студентов

на основе двухвыборочного критерия Вилкоксона

1. Определяют численный состав студентов каждой из двух групп, которые

П П г

проходят модульное тестирование, соответственно значения 1 и 2 , а также общее число

п = п + П

студентов двух групп 1 2.

При этом подгруппы нумеруют так, чтобы выполнялось условие П1 ~ П2 .

2. Осуществляют, для каждой группы студентов, ранжирование индивидуальных результатов ответов на вопросы теста т.е. набранных студентами баллов, в порядке их не увеличения, начиная с максимального числа набранных студентами баллов.

3. Составляют единый для двух групп студентов ранжированный ряд результатов тестирования (баллов) в порядке их не увеличения, начиная с максимального числа набранных студентами баллов.

4. Заменяют единый ранжированный ряд результатов тестирования студентов (ряд баллов) на единый ряд соответствующих им рангов. При этом наибольшему баллу присваивают ранг 1, следующему по величине - ранг 2 и т.д. Если имеют место два и более одинаковых результата тестирования, то им присваивают средний ранг, согласно выражению (1).

5. Разделяют единый ряд рангов на два ряда, соответственно относящихся к первой и второй группам студентов, участвующих в модульном тестировании.

6. Подсчитывают отдельно сумму рангов, которую набрала каждая тестируемая группа студентов, по формуле.

п

Ъ = £ ги

1 7=1 1

(8)

где: ^ - сумма рангов, которую набрала 1 -ая группа студентов,

Г 1

1 - ранг, который имеет •> -ый студент входящий в состав 1 -ой группы, п1 1 -

1 - число слушателей в составе 1 -ой группы.

7. Определяют большую из двух ранговых сумм () и соответствующую ей численность группы.

Пт Ят = тах( 8. Определяют математическое ожидание М(Ж)

Вилкоксона соответственно по формулам:

М (Ж) =

П (п +1)

2

(9)

В(Ж )

и дисперсию статистики

(10)

) =

П • ^ (п +1)

(11)

12

9. Определяют нормированную и централизованную T -статистику Вилкоксона по формуле:

Т =

Ях - М(Ж) 2^ -п (п+1)

) (п+1)/3

(12)

10. Сравнивают результаты модульного тестирования двух групп студентов, проводимого по различным вариантам на основе T-статистики Вилкоксона. Определяют по табл. 5 табличное значение Т-статистики Вилкоксона для уровня значимости &, обычно

а = 0,05

считают, что

Таблица 5

Т-статистика Вилкоксона

(1-&) 0,9 0,91 0,92 0,93 0,94 0,95 0,954 0,96 0,975 0,99

Тт 1,645 1,695 1,75 1,812 1,884 1,96 2,0 2,05 2,24 2,57

Составлено авторами

^ Т >1 (1 -а)

Если 1 , то с вероятностью 4 7 различия между результатами тестирования

двух групп студентов, т. е. между суммарными рангами 1 и баллов студентов этих групп, являются значимыми. В этом случае считают, что вариант модульного тестирования, по которому группа студентов набрала меньшую сумму рангов, является более предпочтительным для дальнейшего использования.

^ Т < Т (1 - а)

Если 1 , то с вероятностью 4 7 различия между результатами модульного

тестирования двух групп студентов практически отсутствуют и оба эти варианта следует считать равноценными.

Сравнение результатов модульного тестирования двух групп студентов на основе критерия Стьюдента:

1. Определяют численный состав студентов каждой из двух групп, п и п , и общее

п = п + п?

число студентов в двух группах 1 2.

2. Определяют средний суммарный балл студентов каждой группы, т.е. Х и Х, при их ответе на вопросы теста модульного контроля знаний.

п.

X =1 (13)

• п ]=1 •

Х

где: • - суммарный балл, набранный 3 -ым студентом • -ой группы при ответе на вопросы теста модульного контроля знаний.

3. Определяют дисперсию числа баллов для студентов каждой группы, т.е. 1 и

п■

= ^ (ХЦ - X )2 (14)

• п -1 у=1 •

4. Определяют для двух групп студентов объединенное стандартное отклонение числа набранных баллов.

7 =

? 9

(^-1)•7^ + (^-1) •72

п + ^ - 2

(15)

5. Определяют расчетное значение критерия Стьюдента.

, = . Х1 - Х2

1 1

- + —

п1 п2

(16)

6. Сравнивают результаты модульного тестирования двух групп студентов, проводимого по двум альтернативным вариантам. Из [23]. определяют табличное значение

критерия Стьюдента ^Т для уровня значимости & = 005, и числа степеней свободы

V = п + п2 - 2

п t >^ (1 -а)

Если Т , то с вероятностью различия между результатами модульного

тестирования двух групп студентов являются значимыми. В этом случае считают, что вариант модульного тестирования, по которому группа студентов набрала большую среднюю сумму баллов, является более предпочтительным для дальнейшего использования.

Если ^ ^ ^т, то с вероятностью (1 а) различия между результатами модульного тестирования двух групп студентов практически отсутствуют и оба эти варианта следует считать равноценными.

Пример

При проведении модульного контроля знаний студентов по дисциплине «Схемотехника дискретных устройств» было принято решение сравнить два рассмотренных в статье варианта организации проведения тестирования: типовой и консультационный для принятия по целесообразности дальнейшего использования одного из них. По методике, приведенной в [22], были отобраны две группы студентов, близкие по уровню начальной подготовки, каждая группа численностью 20 человек

Студенты обеих групп входили в один поток и слушали лекции у одного преподавателя, он же проводил у них и другие виды занятий по этой дисциплине. Студенты первой группы выполняли модульный контроль согласно типового варианта его проведения, а студенты второй группы - согласно консультационного варианта, при этом использовали один и тот набор вопросов в тесте. Тест состоял из 20 вопросов, 15 вопросами закрытого типа и 5 вопросов открытого типа. За каждый правильный и полный ответ на любой вопрос закрытого типа студент получал один балл, а за полный правильный ответ на вопрос открытого типа - 3 балла, при отсутствии ссылок на законы, теоремы - 2 балла, при наличии неточностей - 1 балл, а при неправильном ответе - 0 баллов. Максимально число баллов, которое студент мог получить за правильные ответы на все вопросы теста, составляло 30 баллов.

Результаты модульного тестирования студентов и их ранжирования приведены в табл.

6:

• в строках 1 и 2 соответственно приведены суммарные баллы, которые набрали студенты первой и второй групп, в процессе ответа на вопросы теста;

• в строке 3 приведены результаты ранжирования баллов, набранных студентами двух групп. При этом наибольшему баллу соответствует первое место и ранг равный 1, по мере убывания баллов увеличивается ранг. При наличии связанных рангов для их оценки используется выражение (1);

• в строках 4 и 5, приведены результаты ранжирования баллов, набранных студентами соответственно первой и второй групп по отдельности.

Таблица 6

Результаты выполнения студентами двух групп теста модульного контроля

1 Группа 1, X1 / баллы 1 28 26 26 26 *) 25 24 23 22 22 22 22 22 21 20 19 19 19 ОО ОО 8

2 Группа 2, X2, баллы 1 29 28 28 28 28 26 26 26 25 25 24 24 23 23 23 22 22 21 20 19

3 Ранг баллов общий 1 4 9,5 14 17 20,5 26 30,5 32,5 35,5 39

4 Группа 1, ранги Г баллов 11 4 28,5 14 17 20,5 130 30,5 32,5 106,5 117

5 Группа 2, ранги Г баллов 2 1 16 28,5 28 34 61,5 52 30,5 32,5 35,5

Составлено авторами. Примечание. *) В столбце таблицы указано число баллов, набранных студентами группы в процессе выполнения тестового задания, так в первой группе три студента набрали одинаковое число баллов по 26 баллов

В приложении 1 приведены некоторые типичные ошибки, допущенные студентами при ответе на вопросы теста, при типовом варианте его проведения, которые, как правило, практически были устранены при консультационном варианте его проведения.

Используя рассмотренные в работе критерии, проводим сравнение типового и консультационного вариантов модульного контроля знаний студентов при изучении модуля №1 дисциплины «Схемотехника дискретных устройств».

Оценка результатов модульного тестирования двух групп студентов по двухвыборочному критерию Вилкоксона.

Определяем сумму рангов, набранную каждой группой студентов, по формуле (8).

R = 500,5 R = 319,5

Определяем математическое ожидание M(W) и дисперсию D(W) статистики Вилкоксона соответственно по формулам (10) и (11): M (W) = 410 D(W) = 1366,66

Определяем нормированную T-статистику Вилкоксона по формуле (12).

R - M (W)

T = -±-= 2,43

л/DcW)

Определяем по табл. 5 для уровня значимости ^ 0,05 табличное

значение

Tr = 1,96 T-статистики Вилкоксона, 1

Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №2 (март - апрель 2017)

http://naukovedenie.ru [email protected]

Т > Т

Поскольку т, то принимаем гипотезу, свидетельствующую о том, что с

вероятностью 95% различия между результатами модульного тестирования двух групп студентов являются значимыми. Поэтому согласно двухвыборочного критерия Вилкоксона, консультационный вариант модульного контроля оценки знаний студентов является более предпочтительным, чем типовой вариант.

Оценка результатов модульного тестирования двух групп студентов по критерию Стьюдента.

Определяем средний суммарный балл студентов каждой группы, при их ответе на

X = 440 Х9 = 490 вопросы теста, по формуле (13) 1 2 .

Определяем дисперсию числа баллов для студентов каждой группы, при их ответе на

= 9,68 = 8,36

вопросы теста, по формуле (14) 1 2 Определяем для двух групп студентов

объединенное стандартное отклонение числа баллов, набранных при ответе на вопросы теста,

по формуле (15): а = 2,97.

4- _ Л /Г/Г

Определяютм расчетное значение критерия Стьюдента по формуле (16): = , .

Определяем табличное значение критерия Стьюдента для уровня значимости

а = 0 05 -а V = п + п - 2 = 38 и = 2,03

' и числа степеней свободы 12 Т

Поскольку ^ > ^т , то с вероятностью 95% различия между результатами модульного тестирования двух групп студентов являются значимыми. Поэтому, согласно критерия Стьюдента, консультационный вариант модульного контроля оценки знаний студентов является более предпочтительным, чем типовой вариант.

Согласно использованию обоих критериев получаем один и тот же результат, согласно которого консультационный вариант проведения теста модульного контроля знаний позволяет более корректно отразить знания, приобретенные студентами в процессе изучения модуля дисциплины «Схемотехника дискретных устройств».

Выводы

1. Предложен комплексный подход к ранжированию по степени важности контрольных мероприятий, используемых в вузе для оценки знаний, умений и навыков, полученных студентами в процессе изучения дисциплин по направлению «Информатика и вычислительная техника», и сравнительной оценке вариантов их проведения.

2. Для ранжирования контрольных мероприятий предложено использовать метод экспертных оценок. В результате согласованной оценки мнений экспертов рабочей группы получен строго ранжированный ряд контрольных мероприятий, имеющий следующий вид: модульный контроль, итоговый, тематический, лекционный и входной.

3. Рассмотрены организационные вопросы проведения модульного контроля, отражающего оценку знаний, полученных при изучении логически завершенной части дисциплины. Для модульного контроля рекомендовано использовать тесты, включающие до двадцати вопросов закрытого и открытого типов, соответственно в численном отношении как три к одному, т.е. пятнадцать вопросов закрытого типа, пять вопросов открытого типа.

4. Выявлены типовые ошибки, допускаемые студентами при ответе на вопросы теста модульного контроля, и проведено разделение их на группы: принципиальные ошибки, ошибки поверхностного усвоения материала, ошибки оформления, организационные ошибки и терминологические ошибки.

5. На основе анализа ошибок, допускаемых студентами при ответе на вопросы теста, предложено рассмотреть два варианта его проведения: типовой вариант, предусматривающий наличие инструкции его проведения, и консультационный вариант, предусматривающий, кроме инструкции, еще и предварительную консультацию, направленную на формирование корректных ответов на вопросы теста.

6. Для сравнения результатов теста модульного контроля, полученных с помощью типового и консультационного вариантов его проведения, рекомендовано использовать двухвыборочный критерий Вилкоксона, при числе студентов в группе от 5 до 20 человек, и критерий Стьюдента при числе студентов в группе 20 и более человек.

7. Приведен пример сравнительного анализа результатов модульного тестирования двух групп студентов по дисциплине «Схемотехника дискретных устройств», который показал преимущество консультационного варианта проведения теста по сравнению с типовым вариантом для получения более корректных оценок уровня знаний, получаемых студентами при изучении модуля дисциплины.

ЛИТЕРАТУРА

1. Саяпина Н.Н. Оценка качества образовательного процесса вуза // Вестник Омского университета. Серия Экономика. 2009. №4. С. 91-98.

2. Пак Ю.Н., Погребицкая М.В., Пак Д.Ю. Интеграционные аспекты в оценке качества образования // Аккредитация в образовании. 2015. №3. С. 66-69.

3. Калинина М.А Инновационная направленность в педагогической деятельности // Всероссийская научно-практическая конференции с международным участием «Системы оценки качества образования»: труды, Красноярск: Изд-во СибГТУ, 2015. С. 28-30.

4. Жунусакунова А.Д. Методы контроля и оценки результатов обучения в учебном процессе // Молодой ученый. 2016. №20. С. 26-29.

5. Чурина К.В., Зимина Е.К. Тестирование как форма контроля результатов обучения // Молодой ученый 2015. №9. С. 1214-1217.

6. Иванченко И.В. Проблема повышения качества образования в вузе // Молодой ученый. 2016. №5. С. 18-21.

7. Чандра И.Ю. Технология мониторинга качества преподавания в вузе // Политематический журнал научных дискуссий «Дискуссия». 2014. №4 (45). С. 139-146.

8. Буйновский А.С., Медведева М.К., Молоков П.Б., Стась М.Ф. Системный контроль как средство обучения и воспитания студентов. Ч.1. Входной, текущий и тематический контроль // Известия Томского политехнического университета. 2007. №1. С. 217-222.

9. Буйновский А.С., Медведева М.К., Молоков П.Б., Стась М.Ф. Системный контроль как средство обучения и воспитания студентов. Ч.2. Рубежный

контроль и итоговая аттестация // Известия Томского политехнического университета. 2007. №3. С. 223-227.

10. Ким Н.Ф. Рейтинговая система оценки успеваемости студентов вуза, как фактор повышения качества образования // Молодой ученый. 2015. №17. С. 535-537.

11. Крулехт М.В., Тельнюк И.В. Экспертные оценки в образовании: учеб. пособие. М.: Издательский центр «Академия» 2002. 112 с.

12. Шихов Ю.А., Шиховаа О.Ф. Экспертные методы в педагогических исследованиях // 20 Всероссийская научно-практическая конференция «Инновации в профессиональном и профессионально-педагогическом образовании»: труды. Екатеринбург. Изд-во Российский государственный профессионально-педагогический университет. 2015. С. 164-166.

13. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика. 1974. 160 с.

14. Постников В.М. Анализ подходов к формированию состава экспертной группы, ориентированной на подготовку и принятие решений. Наука и образование. М.: МГТУ. Электрон. журн. 2012. №5 DOI: 10.7463/0512.0360720.

15. Постников В.М., Черненький В.М. Методы принятия решений в системах организационного управления: учеб. пособие. М.: Изд-во МГТУ им. Н.Э. Баумана. 2014. 205 с.

16. Опарина Н.М., Полина Г.Н., Файззулин Р.М., Шрамкова И.Г. Адаптивное тестирование. Учебно-методическое пособие. Хабаровск: ДВГУПС. 2007. 95 с.

17. Харькова О.А., Гржибовский А.М. Сравнение одной и двух несвязанных выборок с помощью пакета статистических программ STATA: параметрические критерии // Экология человека 2014. №3. С. 57-61.

18. Харькова О.А., Гржибовский А.М. Сравнение двух несвязанных выборок с использованием пакета статистических программ STATA: непараметрические критерии // Экология человека 2014. №4. С. 60-64.

19. Чибисов Д.М. Лекции по асимптотической теории ранговых критериев. Лекционные курсы НОЦ. Выпуск 14. М.; Математический институт им. В.А. Стеклова РАН. 2009. 176 с.

20. Орлов А.И. Часто ли распределение результатов наблюдений является нормальным // Заводская лаборатория. Диагностика материалов. 1991. №7. С. 64 - 66.

21. Левин Д.М., Стефан Д, Кребиль Т.С., Беренсон М.Л. Статистика для менеджеров с использованием Microsoft Excel М.: Вильямс 2004. 1312 с.

22. Белоус В.В., Спиридонов С.Б., Постников В.М. Подход к сравнению по уровню начальной подготовки учебных подгрупп слушателей по направлению переподготовки администрирование сетей // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 8, No 6 (2016). http://naukovedenie.ru/PDF/96TVN616.pdf (доступ свободный). Загл. С экрана. Яз. рус., англ.

23. Гусаров В.М., Кузнецова Е.И. Статистика. М.: ЮНИТИ-ДАНА. 2008. 480 с.

Belous Valentina Vladimirovna

Bauman state technical university, Russia, Moscow E-mail: [email protected]

Spiridonov Sergey Borisovich

Bauman state technical university, Russia, Moscow E-mail: [email protected]

Postnikov Vitalii Michalovich

Bauman state technical university, Russia, Moscow E-mail: [email protected]

The Approach to the ranking of control measures according to the disciplines of a direction "computer science" and evaluation of their implementation

Abstract. In the paper is considered the types of control measures used within the University to assess the knowledge and skills students acquired while studying disciplines of the specialty "computer science" - bachelors. To rank the types of knowledge control according to the degree of importance is proposed to use expert evaluation method. Selected qualitative and quantitative composition of the experts working group to obtain mathematically correct and strict recommendations. The result is a coherent assessment of the expert opinions of the working group received a strictly regimented series of control measures, in descending order of importance is as follows: modular control, final, theme, lecture, entrance.

Discussed organisational issues of the module control, which reflects the assessment of the knowledge gained by students while studying logically completed part of the discipline and the acquisition of appropriate competencies. During the formation test module control it is recommended to use the questions of closed and open types, in quantitative terms, three to one.

The described the types of errors made by students when answering the test questions module control. Two variants were considered for its implementation: a standard and consultation The standard variant includes a set of test questions and instructions for answering questions The consultation variant provides for a preliminary consultation of students on the specifics and the rules answer the questions of the test At the same groups that are subjected to the test module control according to the alternative variants of its implementation, must have the same level of initial training students, the classes in these groups should undertake the same teacher in classrooms similar to their infrastructure.

Compare the effectiveness of the modular control variants estimate the number of points earned by the students for the correct answers to the test questions for the working time of testing.

Thus the points received by students, calculated as the level of complexity of the issue and the degree of response to the test question.

Given the simplicity, convenience and accuracy of mathematical processing of results of the answer to the test questions, proposed use: two-sample Wilcoxon criterion, when the number of students per group from 5 to 20 people, and the student's criterion, if the number of students in a group of 20 or more people.

An example of comparison of two considered variants of the modular test control of knowledge on discipline "The circuit design of discrete devices" and demonstrates the efficiency of the consultation variant of his conduct in comparison with standard variant.

Keywords: the method of expert evaluations; the experts of the working group; control measures; modular control; the test module control; processing test results; the two-sample Wilcoxon criterion; the Student criterion

Приложение 1

В таблице приведены некоторые вопросы из типового набора вопросов теста модульного контроля оценки знаний по дисциплине «Схемотехника дискретных устройств», при ответе на которые студенты, как правило, выбирали не полный набор правильных ответов, т.е. совершают ошибки организационного типа, из-за невнимательного изучения инструкции по формированию ответов на вопросы теста.

Устранение большинства ошибок организационного типа происходило за счет использования консультационного варианта проведения теста модульного контроля, и непосредственного указания преподавателя такого вида: «всегда при ответе на вопрос теста закрытого типа выбирайте все правильные ответы, а не только тот первый ответ, который стоит в перечне ответов на вопрос».

Таблица

Типовые вопросы теста модульного контроля (составлено авторами)

№ Содержание вопроса теста Типовые неправильные

ответы студентов

1 Выберите формулы, выражающие следствие из закона Де Ответ Б) ил ответ Г)

Моргана. Варианты ответа:

А) Х1 + Х2 = Х1 ' Х2

Б) Х1 + Х2 = Х1 ■ Х2

В) Х1 ^ Х2 = Х1 + ^Х2

Г) Х1 ■ Х2 = Х1 + ■Х2

Д) Х1 + Х2 = Х1 ■ Х2

Правильный ответ: Б) и Г)

2 На основе, каких логических элементов может быть Ответ А) или ответ В)

построен шифратор? Варианты ответа:

А) Логических элементах «И-НЕ».

Б) Логических элементах «И».

В) Логических элементах «ИЛИ».

Г) Логических элементах «И-НЕ»

Д) Логических элементах «ИЛИ исключающее»

Правильный ответ: А) и В)

№ Содержание вопроса теста Типовые неправильные ответы студентов

3 Схемотехнические особенности построения триггеров MS-типа Варианты ответа: A). Наличие двух соединённых друг с другом идентичных схем синхронных RS-триггеров. Б). Появление значения состояния триггера на «заднем фронте» синхроимпульса. B). Возможность одновременного считывания состояния триггера MS-типа с записью нового состояния. Г) Наличие асинхронных установочных входов. Д) Инверсная подача синхроимпульса на второй триггер. Ответ А) и Б)

Правильный ответ: А) Б) В) Д)