CC BY
19
Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie. ru/
Том 9, №3 (2017) http://naukovedenie.ru/vol9-3.php
URL статьи: http://naukovedenie.ru/PDF/118TVN317.pdf
Статья опубликована 11.07.2017
Ссылка для цитирования этой статьи:
Белоус В.В., Спиридонов С.Б., Постников В.М. Формирование тестов модульного контроля знаний по дисциплинам направления «Информатика и вычислительная техника» // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №3 (2017) http://naukovedenie.ru/PDF/118TVN317.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
УДК 519.81
Белоус Валентина Владимировна
ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана», Россия, Москва1
Доцент кафедры «Системы обработки информации и управления»
Кандидат технических наук E-mail: technomag015@gmail.com
Спиридонов Сергей Борисович
ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана», Россия, Москва
Доцент кафедры «Системы обработки информации и управления»
E-mail: spirid@bmstu.ru
Постников Виталий Михайлович
ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана», Россия, Москва
Доцент кафедры «Системы обработки информации и управления»
Кандидат технических наук E-mail: postnikovvm@yandex.ru
Формирование тестов модульного контроля знаний по дисциплинам направления «Информатика и вычислительная техника»
Аннотация. Даны рекомендации по принятию решений при формировании состава и структуры тестов модульного контроля оценки знаний, умений и навыков студентов вузов по дисциплинам направления «Информатика и вычислительная техника» - бакалавры. Рекомендации касаются выбора основных параметров тестов модульного контроля: вида теста, числа заданий закрытого и открытого типов, уровня их сложности, а также времени формирования ответов студентов на вопросы заданий теста.
Разработка рекомендаций проводилась с использованием экспертных методов: метода экспертных оценок и метода Дельфи. При выборе вида теста и его состава использован метод экспертных оценок. Для получения математически строгих результатов экспертного опроса, проведен анализ, на основе которого сформирован качественный и количественный состав преподавателей, являющихся экспертами рабочей группы.
С учетом простоты, удобства и корректности обработки экспертной информации, оценка параметров тестов проводилась экспертами с помощью стандартизированной ранговой системы, а согласованность мнений экспертов оценивалась с использованием коэффициента
1 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1
конкордации и критерия хи-квадрат. Для качественной оценки степени согласованности мнений экспертов использовалась вербально-числовая шкала Харрингтона.
При выборе времени формирования ответов на вопросы заданий тестов закрытого и открытого типов использован метод экспертного опроса Дельфи. Экспертами являлись студенты дисциплин, по которым применялись тесты модульного контроля.
В результате согласованной оценки мнений экспертов получен ряд результатов, рекомендуемых для практического использования при принятии решения по формированию тестов модульного контроля.
Наиболее предпочтительными являются следующие два варианта тестов: тесты открытого типа и тесты комбинированного типа, в которых число заданий закрытого и открытого типов находится в отношении три к одному. Задания тестов должны содержать вопросы среднего уровня сложности. Даны рекомендации по числу заданий в тестах. На каждый вопрос задания теста закрытого типа должно быть не менее пяти-шести ответов, при этом число правильных ответов два-три. Время тестирования должно составлять не более 90 минут, время формирования ответа на вопрос задания теста открытого типа - 9 минут, а на вопрос задания теста закрытого типа - 3 минуты.
Ключевые слова: принятие решений; модульный контроль; тест модульного контроля; задания теста закрытого типа; задания теста отрытого типа; обработка экспертной информации; метод экспертных оценок; эксперты; согласованность мнений экспертов
Введение
Постоянное развитие и широкое, повсеместное использование средств вычислительной техники ставят перед высшей школой задачу подготовки квалифицированных специалистов по их разработке, обслуживанию и сопровождению. Поэтому совершенствование качества образования по дисциплинам, входящих в подготовку специалистов по направлению «Информатика и вычислительная техника» - бакалавры, является актуальной задачей современных вузов. [1]
Деятельность преподавателей вузов, направленная на совершенствование качества образования, должна учитывать, что для работодателей качество образования - это подготовка вузами таких специалистов, которые владеют необходимыми компетенциями и способны адаптироваться к динамично меняющимся условиям производства. [2]
При этом, улучшение качества подготовки будущих специалистов должно происходить как за счет совершенствования методов и средств обучения, так и за счет способов контроля знаний, получаемых в процессе обучения. [3]
Практика показывает, что попытки улучшить качество образования, не подкрепленные действенными методами проверки знаний, как правило, не приносят желаемых результатов [4-5]. Это требует внедрения в учебный процесс дисциплин по направлению. «Информатика и вычислительная техника» эффективных способов организации и проведения контрольных мероприятий, оценивающих качество подготовки студентов.
Одним из наиболее важных контрольных мероприятий, как отмечено в [6], является модульный контроль знаний, умений и навыков студентов. Он проводится в вузе после завершения изучения студентами учебного модуля дисциплины, как правило, в форме тестового контроля, основу которого составляет набор закрытых, открытых или комбинированных педагогических тестов по соответствующим дисциплинам.
При правильном формировании и корректном использовании тесты модульного контроля знаний позволяют не только оценить уровень знаний, умений и практических навыков, полученных студентами в процессе изучения учебных дисциплин, но также позволяют преподавателям внести определенные целенаправленные коррективы в педагогический процесс с целью его дальнейшего совершенствования. [7]
В связи с этим, проблема принятия решения по формированию тестов модульного контроля знаний по учебным дисциплинам направления подготовки «Информатика и вычислительная техника», является весьма актуальной.
Постановка задачи
Следует разработать рекомендации для принятия решения по формированию состава и структуры тестов модульного контроля знаний студентов по дисциплинам направления «Информатика и вычислительная техника» для получения корректных оценок уровня усвоения студентами учебного материала модулей дисциплин и дальнейшего повышения эффективности учебного процесса.
Подход к решению задачи
Педагогическая деятельность авторов статьи, их коллег, а также анализ ряда работ, среди которых следует выделить [8-10], показали, что преподаватели вузов, с учетом внедрения балльно-рейтинговой системы оценивания знаний, для оценки контроля знаний студентов, по завершении модуля дисциплины, в основном используют следующие варианты тестов модульного контроля:
В
• вариант 1 , все задания закрытого типа;
• вариант В2, 75% заданий закрытого типа и 25% заданий открытого типа;
• вариант Вз, задания закрытого и открытого типов близки по количественному составу;
• вариант 4, 25% заданий закрытого типа и 75% заданий открытого типа;
В,
• вариант 5, все задания открытого типа.
При ранжировании приведенных вариантов тестов модульного контроля по уровню их важности для оценки знаний студентов, с учетом рекомендаций [11, 12], был использован метод экспертных оценок, базирующийся на стандартизованной ранговой системе. Согласно [13], он обеспечивает объективное, коллективное и строго математически обоснованное, суждение экспертов. При этом экспертами должны быть, согласно [11, 12], квалифицированные преподаватели дисциплин, входящих в подготовку бакалавров, имеющие большой опыт педагогической работы. В методе экспертных оценок, показатели, подлежащие ранжированию, в данном случае варианты тестов, обычно называют факторами.
Выбор количественного состава экспертной группы, для получения математически строгой и согласованной оценки экспертов по рассматриваемому вопросу, проведен с учетом рекомендаций, приведенных в [14, 15]. При ранжировании пяти факторов по степени их предпочтительности, в составе экспертной группы должно быть от шести до двенадцати экспертов, дальнейшее увеличение числа экспертов не дает существенного увеличения в
согласованности их мнений. Поэтому была создана рабочая группа экспертов в количестве девяти человек, соответствующая среднему рекомендуемому значению для указанных граничных значений.
Опрос экспертов, заполнение таблиц экспертного опроса и обработка полученных результатов были проведены в соответствии с методикой, приведенной в [15].
Эксперты работали независимо друг от друга. Каждый эксперт рабочей группы располагал все факторы по степени их важности, Наиболее значимому фактору он присваивал первое место и значение ранга равное 1, соответственно второму по значимости фактору -второе место и значение ранга равное 2, и т.д. Каждый эксперт работал в стандартизованной ранговой системе. Если эксперт был в затруднении указать порядок мест важности двух или более факторов, так как, по его мнению, эти факторы важны в одинаковой степени, то эти факторы считались связанными, и он присваивал им один и тот же ранг. Численное значение ранга связанных факторов представляет собой среднее значение суммы мест этих факторов в ранжированном ряду факторов данного эксперта.
Обобщенные результаты экспертных оценок сравниваемых факторов, в данном случае вариантов тестов, выполненные экспертами рабочей группы, приведены в табл. 1 .
Таблица 1
Обобщенные результаты экспертных оценок сравниваемых вариантов тестов
Код варианта теста Экспертные оценки факторов
Э1 Э2 Э3 Э4 Э5 Э6 Э7 Э8 Э9 Г (Г - Г)2
1 2 3 4 5 6 7 8 9 10 11 12
В1 5 5 3 5 5 5 5 1 5 39 144
В2 1 4 1 2 3 2 1 3 2 19 64
В3 5 3 2 3 1 3 3 4 3 24 9
В4 3 2 4 4 4 4 4 5 4 34 49
В5 4 1 5 1 2 1 2 2 1 19 64
При обработке результатов, приведенных в табл. 1, использованы следующие обозначения:
п - количество вариантов, подлежащих ранжированию экспертами ( п = 5 ); т - количество экспертов в составе рабочей группе ( т = 9 ); Г-
1 - ранг, присвоенный 1 -ым экспертом г -му варианту (г = 1 "п ), ( 1 =1, т ); г
' - суммарный ранг 1 -го варианта, полученный от экспертов;
т
Г = £ Г1 (1)
у=1
г
Значения 1 , вычисленные по формуле (1), приведены в табл. 1, столбец 11. Г - суммарный средний ранг вариантов, определяемый условиями опроса экспертов.
1 п т (п+1) т
г = п X X 1 = 2 = 27 (2)
п1=11=1 2
(Г - г)2 1
1 - квадрат отклонения суммарного ранга 1 -го варианта от суммарного
среднего ранга вариантов. Эти значения приведены в табл. 1, столбец 12.
5 - сумма квадратов отклонений суммарных рангов каждого из вариантов от суммарного среднего ранга вариантов. Эта величина представляет собой сумму элементов, приведенных в табл.1, столбец 12, и вычислена по формуле (3).
5 = Х X (1 - Г)2 = х г - г)2 = 330 (3)
1=1 1=1 11 1=1 1 ()
Для оценки согласованности мнений экспертов рабочей группы использовали коэффициент конкордации предложенный Кендаллом, и вычисляемый согласно [15], по формуле (4).
ш 12 • 5
Ж = 2/ 3 , (4)
т (п - п)
После подстановки в выражение (4) исходных данных п =5 , т =9 и значения
5 =330, вычисленного по формуле (3), получаем численное значение коэффициента
Ж = 0 407 конкордации .
Оценку значимости коэффициента конкордации проводим по критерию хи-квадрат.
Согласно [15] имеем:
,2 _
= Ж • т • (п-1) (5)
После подстановки исходных данных в выражение (5) получаем расчетное значение
критерия хи-квадрат.
= 14,65
Табличное значение критерия хи-квадрат Т определяем из [15], При уровне
2 9 5
значимости а = 005 и числе степеней свободы ^ = п -1 = 4, получаем %Т ' .
Поскольку % >%т, т.е. расчетное значение больше табличного, то с вероятностью 95% можно утверждать, что мнения экспертов по порядку ранжирования вариантов тестов модульного контроля являются вполне согласованными.
Для качественной оценки степени согласованности мнений экспертов использована вербально-числовая шкала, предложенная Харрингтоном [15], и приведенная в табл. 2.
Таблица 2
Оценка степени согласованности мнений экспертов по шкале Харрингтона
№ Числовое значение коэффициента конкордации Оценка степени согласованности мнений экспертов
1 0 < Ж < 0,2 Согласованность очень низкая
2 0,2< Ж < 0,37 Согласованность низкая
3 0,37 < Ж < 0,64 Согласованность средняя
4 0,64< Ж<0,8 Согласованность высокая
5 0,8< Ж< 1,0 Согласованность очень высокая
Согласно вербально-числовой шкалы Харрингтона согласованность мнений экспертов по ранжированию вариантов тестов модульного контроля - средняя. Поэтому с учетом численных значений суммарных рангов вариантов, полученных от всех экспертов, и приведенных в табл. 1, столбец 11, согласованный ранжированный ряд вариантов тестов модульного контроля, с учетом предпочтительности использования этих вариантов в практической деятельности, имеет следующий вид:
(6)
Таким образом, при организации и проведении модульного контроля по дисциплинам, входящим в направление подготовки «Информатика и вычислительная техника», в первую очередь особое внимание следует уделить формированию и использованию тестов открытого типа и тестов комбинированного типа, в которых число заданий закрытого и открытого типов должно находиться в отношении три к одному.
Немного по степени важности и практической значимости этим тестам уступают тесты комбинированного типа с одинаковым, или очень близким, числом заданий закрытого и
в3
открытого типов, вариант 3 .
Наименее важными при проведении модульного контроля, когда в полной мере следует оценить знания, умения и практические навыки, свойственные определенным профессиональным компетенциям, которые студент должен получить в процессе изучения модуля, как логически завершенной части дисциплины, являются тесты закрытого типа,
В\
вариант 1.
Полученные на основе экспертного анализа рекомендации по формированию тестов модульного контроля хорошо согласуются с результатами, приведенными в [8]. В этой работе экспериментально, на основе контроля знаний студентов, полученных в процессе изучения дисциплин «Базы данных» и «Распределенные базы данных», показано, что тесты с выборочными ответами (тесты закрытой формы ответа) дают возможность получить студентам при тестировании их знаний более высокие оценки, чем тесты со свободно-конструируемыми ответами (тесты открытой формы ответа). При этом разница между оценками за выполнение теста у одних и тех же студентов составила от 0,4 до 1,5 балла при использовании пятибалльной шкалы оценок.
Такое различие в оценках и завышенные оценки при использовании тестов закрытого типа, согласно [8] и нашему мнению, объясняются следующими причинами:
• логическим умением и рассуждениями студента отбрасывать неправдоподобные варианты ответов, а из оставшихся вариантов ответа выбирать тот вариант, который больше всего похож на правильный ответ;
• существованием, часто достаточно большой, близкой к 20% вероятности угадывания правильного ответа;
• использованием, в качестве подсказок при формировании ответа на текущий вопрос задания, ответов и содержания формулировок предыдущих заданий теста.
Поэтому для получения корректных оценок уровня усвоения студентами учебного материала модулей дисциплин, тесты модульного контроля следует формировать на базе тестов открытого типа со свободным изложением ответа на вопрос задания. Рекомендуется использовать задания расчетного характера среднего уровня сложности. Как показала практика, этот подход является достаточно эффективным, однако при этом увеличивается время на формирование ответа на вопрос задания теста, что, в свою очередь, ведет к уменьшению число заданий в тесте для сохранения неизменным общего времени тестирования.
Поэтому в том случае, когда материал модуля дисциплины, подлежащий контролю, значительный по объему, следует использовать задания разных типов, как открытого, так и закрытого, поскольку использование заданий закрытого типа требует меньше времени на формирование ответа и тем самым позволяет увеличить число заданий в тесте и объем контролируемого материала.
При этом вероятность угадывания студентами ответа на вопрос задания теста
ТТ
закрытого типа существенно зависит как от числа приведенных ответов на вопрос задания, так и от числа правильных ответов Г , входящих в состав приведенных ответов, которые следует указать. Если считать выборку ответов равновероятной, а в инструкции к тесту привести фразу «выберите все правильные ответы на вопрос задания», не указывая число правильных ответов, то вероятность угадывания ответа Р, будет обратно пропорциональна возможному числу ответов и определяется по формуле (7).
Р = ( ЪСГК )-1 (7)
г=1
Если же в инструкции к тесту используется фраза типа «выберите г правильных ответов», при этом указано конкретное значение г, то это существенно увеличивает вероятность угадывания ответа на вопрос задания теста, поскольку сокращается число возможных ответов. В этом случае вероятность угадывания ответа определяется по формуле (8).
Рг = (СГТ )-1 (8)
Расчеты, касающиеся оценки вероятности угадывания ответа студента на вопрос задания теста закрытого типа, проведенные с использованием выражений (7) и (8), приведены в табл. 3.
Таблица 3
Вероятности угадывания ответов на вопросы заданий теста закрытого типа в зависимости от приведенного числа ответов на вопрос задания и числа правильных ответов
№ Приведены ответы на вопрос задания, среди которых следует выбрать все правильные ответы, Я Вероятность угадывания ответа на вопрос задания в %
Не указано число правильных ответов на вопрос задания, которые следует выбрать. г - не указано Указано число правильных ответов на вопрос задания, которые следует выбрать.
Один ответ г = 1 Два ответа г = 2 Три ответа г = 3
1 4 6,67 25 16,67 25
2 5 3,23 20 10 10
3 6 1,60 16,67 6,67 5
Согласно данных, приведенных в табл. 3, для получения вероятности угадывания ответа на вопрос задания теста закрытого типа не более 10%, следует давать 5-6 ответов на вопрос задания при числе правильных ответов 2-3. Для снижения этой вероятности до величины менее 5%, следует указывать в инструкциях по оформлению ответов на вопросы заданий теста закрытого типа фразу «для каждого задания выберите все правильные ответы из приведенных ответов», не указывая конкретно число правильных ответов.
Для определения времени, требуемого на формирование ответов студентов на вопросы заданий тестов открытого и закрытого типов, с учетом рекомендаций [15], был использован метод экспертного опроса Дельфи. Экспертами являлись студенты, у которых регулярно сдача контрольных мероприятий по модулям учебных дисциплин осуществлялась с использованием тестов модульного контроля, включающих задания открытого и закрытого типов среднего уровня сложности. Была отобрана группа студентов-экспертов в количестве 61 человека, в состав которой входили студенты разного уровня успеваемости.
Обработанные результаты опроса студентов-экспертов, касающиеся оценки времени формирования студентами ответа на вопросы заданий теста открытого типа, приведены в табл. 4. При этом обработка результатов проводилась с учетом рекомендаций [15]. Число интервалов г времени на формирование ответов на вопросы заданий тестов определено по
формуле (9), где т - число студентов-экспертов. Шаг интервалов ^ , с учетом максимального и минимального граничных значений времен формирования ответов на вопросы заданий теста, определен по формуле (10).
г = т +1 (9)
Ь = ^тах (тт (10)
г
_ гл I = 16 I ■ = 2
После подстановки исходных данных т = 61, тах мин, т1П мин в формулы (9) и (10) получаем: число интервалов г = 7 , а шаг интервала ^ = 2 мин.
Таблица 4
Результаты опроса студентов относительно времени, затрачиваемого на формирование ответов на вопросы заданий теста открытого типа
№ интервала Интервал времени на формирование ответа (мин) Середина интервала времени формирования ответа t (0) (мин) 1 Число ответов студентов А Накопленное число ответов студентов Р1
1 2 3 4 5
1 2 < ^ < 4 3 1 1
2 4 < ^ < 6 5 2 3
3 6 < Ц < 8 7 15 18
4 8 < ^ < 10 9 26 44
5 10<^ <12 11 13 57
6 12 < ^ < 14 13 3 60
7 14 < ^ < 16 15 1 61
Анализ данных, приведенных в табл. 4, проводим согласно рекомендациям [15].
Определяем среднее арифметическое, медиану и моду времени ответа студентов на вопросы заданий тестов открытого типов.
Среднее арифметическое времени формирования ответа студента на вопрос задания теста открытого типа определяем по формуле (11), а дисперсию по формуле (12)
Ы • /,
t(0) = /=1_
2
V/
1=1 мин
•7
(0) _ ,(0)ч2
(11)
Е ($Г -1П2 • 1г (0)) = ^-2- (12)
/=1
При вычислении медианы времени ответа студента на вопрос заданий теста открытого типа учитывалось, что медиана - это такое численное значение признака, которым обладает центральный член экспертного ряда, при условии, что ряд составлен в порядке возрастания значений рассматриваемого признака. На практике порядковый номер N члена ранжированного ряда, на который приходится медиана, определяется из следующего выражения:
• если ряд с четным числом экспертов (т), то N = т /2;
, , N = (т +1)/2
• если ряд с нечетным числом экспертов (т), то .
Поэтому в нашем случае N = (т +1)/2 = (61 +1)/2 = 31.
г (о)
Медиану м времени формирования ответа студента на вопрос задания теста открытого типа вычисляем по интерполяционной формуле (13).
®=ко)+^ • ч (13)
г О
Где кн - нижняя граница интервала, в котором находится медиана;
N - порядковый номер члена ряда, на который приходится медиана;
Рк-1
к 1 - накопленная частота ответов экспертов во всех интервалах, предшествующих тому, в котором находится медиана;
4
к - частота ответа экспертов интервала, в котором находится медиана;
к - длина интервала рассматриваемого признака.
При вычислении моды времени ответа студента на вопрос заданий теста
открытого типа учитывалось, что мода - это значение рассматриваемого признака, которое наиболее часто встречается в ранжированном ряду. Моду вычисляем по интерполяционной формуле (14).
(!к - fk-1) , м = гкн +п—f \+к- г \ • \ (14)
кн (4"4-р+(4"4+Р к
к 1 - нижняя граница интервала, в котором находится мода;
4
к - частота ответов экспертов, соответствующих модовому интервалу;
к 1 - частота ответов экспертов, предшествующих модовому интервалу;
f
к+1 - частота ответов экспертов, соответствующих интервалу, следующему за модовым;
к - длина интервала рассматриваемого признака.
Для тестов открытого типа, после подстановки данных из табл. 4, соответственно в формулы (11)-(14), имеем: следующие значения времени формирования ответа студента на вопрос задания теста открытого типа:
Среднее значение и дисперсия:
549=9 дг«") = 264=4,33 2
61 61 мин
61 мин 61
Учитывая данные, приведенные в табл. 4, значения медианы и моды находятся в
к = 4
четвертом интервале, поэтому
= 8 + = 9
Медиана М 26
мин
С = 8 + --(26-15)-Л • 2 = 8,92
Мода С (26-15) + (26-13)
мин
Далее определяем минимально необходимый количественный состав студентов -т .
экспертов т1П, который требуется для подтверждения корректности полученных результатов, используя рекомендации [16], по формуле (15).
t2 • Б • N
тт1п > N+ <N Б <15)
где t - коэффициент доверия, который зависит от вероятности, с которой гарантируется предельная ошибка выборки (при вероятности Р=0,95 имеем X =1,96);
Б - дисперсия времени формирования ответа студена на вопрос задания теста; N - количество студентов, которые выполняют модульный контроль, N=400;
5Т г- г- 5Т = 0,5 мин
т - предельная ошибка выборки, которая равна т ' .
„ Б = (0)) = 4,33 мин
В нашем случае, для тестов открытого типа, имеем у 7
а
t(0) = 9
предельную ошибку выборки считаем равной 5,5% от значения мин. Поэтому
8Т = 0,5 величина т мин.
После подстановки данных в формулу (15) получаем
3,84 • 4,33 • 400
т ■ =-----= 57
т1П 0,25 • 400 + 3,84 • 4,33
студентов
т = 61 > т . = 57
Поскольку т1П , т.е. число студентов-экспертов, участвующих в опросе,
больше минимально необходимого их числа, то полученные результаты являются корректными.
Аналогично проводился опрос этих же студентов-экспертов, касающийся оценки времени формирования студентами ответа на вопросы заданий теста закрытого типа.
Обработанные результаты опроса студентов-экспертов, касающиеся оценки времени формирования студентами ответа на вопросы заданий теста закрытого типа, приведены в табл. 5.
_(1л t = 4 25 ^ • = 0,75
При формировании табл.5 учитывали, что т =61, тах ' мин, и т1П мин.
После подстановки этих значений в формулы (9) и (10) получили число интервалов 2 = 7 , шаг интервала ^ = ^ 5 мин.
2
Таблица 5
Результаты опроса студентов относительно времени, затрачиваемого на формирование ответа на вопрос задания теста закрытого типа
№ Границы интервала времени на формирование ответа (мин) Среднее значение интервала времени на формирование ответа г( з) (мин) i Число ответов студентов А Накопленное число ответов студентов ^
1 2 3 4 5
1 0,75 <t< 1,25 1 1 1
2 1,25 <Г< 1,75 1,5 2 3
3 1,75 <Г<2,25 2 3 6
4 2,25 <Г<2,75 2,5 14 20
5 2,75 <Г< 3,25 3 26 46
6 3,25 <Г<3,75 3,5 10 56
7 3,75 <Г<4,25 4 5 61
Учитывая данные, приведенные в табл. 5, получаем, что значения медианы и моды находятся в пятом интервале, поэтому к = 5 .
Анализ результатов теста закрытого типа проводили аналогично анализу результатов теста открытого типа. После подстановки данных, приведенных в табл. 5, в формулы (11)-(14) получили следующие значения для времени формирования ответа на вопрос задания теста закрытого типа:
Среднее значение и дисперсия:
г (з) = 178 = 2,92 Щ(з)) = 2092 = 0,343 2 61 мин 61 мин
(з) 31 - 20 г(3) = 2,75 +--0,5 = 2,96
Медиана 26 мин
гМ^ = 2,75 + ---ч • 0,5 = 2,96
Мода (26-14) + (26-10) мин
Для закрытого теста определяем минимально необходимый количественный состав п .
студентов - экспертов т1П, который требуется для подтверждения корректности полученных результатов, используя формулу (15). При этом для теста закрытого типа имеем
Ь = Ш(з)) = 0,343 мин2 а а -со/
4 7 , а предельную ошибку выборки считаем равной 5% от значения
г( з) = 3 _ 8Т= 0,15
мин. Поэтому величина т мин.
После подстановки данных в формулу (15) получаем
3,84 • 0,343 • 400
^ . =-= 51
т1П 0,0225 • 400 + 3,84 • 0,343
студент
т = 61 > т . = 51
Поскольку т1П , т.е. число студентов-экспертов, участвующих в опросе,
больше минимально необходимого их числа, то полученные результаты являются корректными.
Далее определяем число заданий в составе тестов модульного контроля, рекомендуемых для практического использования. Известно, что максимальное время
тестирования т =90 мин., среднее время формирования ответа на вопрос задания теста г (о) = 9
открытого типа мин., а среднее время формирования ответа на вопрос задания теста
t (» = 3
закрытого типа мин.
Составляем для теста открытого типа уравнение баланса, связывающее число заданий, время их выполнения и общее время тестирования. Получаем
№ • п(о) = т (16)
П(о) В,
Из (16) определяем - число заданий для теста открытого типа, вариант теста 5 .
После подстановки исходных данных получаем:
(о) 90
п 7 = — = 10
9 заданий
Составляем уравнения баланса для теста комбинированного типа, в котором число
В2
заданий закрытого и открытого типов относятся как три к одному, вариант теста 2
1 (о) • п(о) + /з) • п(з) = т (17)
п(з) = 3 • п(о) (18)
После совместного решения уравнений (17) и (18) получаем, что
п(з) = 15 „ п(о) = 5
заданий и заданий
Аналогично, для теста комбинированного типа, когда задания открытого и закрытого типов близки по количественному составу, вариант теста 3 , имеем
п( з) = 9 „ п(о) = 7
заданий и заданий
Для наглядности представляем все полученные результаты в виде табл. 6.
Таблица 6
Рабочие параметры тестов модульного контроля, рекомендуемых для практического использования
№ Параметры теста модульного контроля Тест открытого типа Тесты Комбинированного типа
В Вариант 5 В Вариант 2 В Вариант 3
1 2 3 4 5
1 Число заданий закрытого типа - 15 9
2 Число заданий открытого типа 10 5 7
3 Всего заданий в тесте 10 20 16
4 Среднее время формирования ответа на вопрос задания теста закрытого типа, мин. - 3 3
5 Среднее время формирования ответа на вопрос задания теста открытого типа, мин. 9 9 9
6 Время формирования ответов на вопросы заданий теста закрытого типа, мин. - 45 27
7 Время формирования ответов на вопросы заданий теста открытого типа, мин. 90 45 63
8 Время выполнения теста, мин. 90 90 90
Рассмотренные вопросы и приведенные рекомендации являются достаточно важными, и несомненно окажут помощь при принятии решений по формированию состава тестов модульного контроля для получения корректных оценок уровня усвоения студентами учебного материала модулей дисциплин по направлению «Информатика и вычислительная техника».
Выводы
1. Предложен комплексный подход, учитывающий мнение преподавателей и студентов, по принятию решений при формировании вариантов тестов модульного контроля и их ранжированию по степени важности для оценки знаний, умений и навыков, полученных студентами в процессе изучения модулей дисциплин по направлению «Информатика и вычислительная техника».
2. Для выбора вариантов тестов модульного контроля и их параметров использовались экспертные методы: метод экспертных оценок для выбора типа и числа заданий теста, и метод Дельфи для оценки времени формирования студентами ответов на вопросы заданий теста. При использовании метода экспертных оценок экспертами были квалифицированные преподаватели, а при использовании метода Дельфи экспертами являлись студенты.
3. На основе метода экспертных оценок для практического использования предложены два наиболее предпочтительных варианта теста модульного контроля: тест открытого типа, при числе заданий не более десяти и тест комбинированного типа при числе заданий от десяти до двадцати. При этом тест комбинированного типа включает задания закрытого и открытого типов, которые должны находиться в отношении три к одному и соответственно иметь,
например, при максимально комплектации, 15 заданий закрытого типа и пять заданий открытого типа.
4. Тесты модульного контроля, открытого и закрытого типов, должны содержать задания среднего уровня сложности, которые охватывают основной учебный материал модуля дисциплины. Для тестов открытого типа это в основном задания расчетного характера. Для тестов закрытого типа, с учетом минимизации вероятности угадывания ответа на вопрос и обеспечения требуемого уровня сложности, на каждый вопрос задания должно быть не менее пяти-шести ответов, при этом число правильных ответов два-три.
5. Для обеспечения требуемого уровня сложности, в инструкции к заданиям теста закрытого типа, обязательно следует указать фразу «выберите все правильные ответы из числа приведенных ответов», не указывая при этом число правильных ответов.
6. Даны рекомендации по временным параметрам модульного тестирования. Время тестирования должно составлять не более 90 минут. Среднее время формирования ответа на вопрос задания теста открытого типа - 9 минут, а на вопрос задания теста закрытого типа - 3 минуты.
7. Показана корректность и математическая строгость полученных результатов экспертного анализа за счет их удовлетворения требованиям критерия хи-квадрат и требованиям критерия минимального числа экспертов-студентов.
ЛИТЕРАТУРА
1. Постников В.М. Основы эксплуатации автоматизированных систем обработки информации и управления. Краткий курс: учеб. пособие по направлению подготовки «Информатика и вычислительная техника». М.: Изд-во МГТУ им. Н.Э. Баумана. 2013. 177 с.
2. Пак Ю.Н., Погребицкая М.В., Пак Д.Ю. Интеграционные аспекты в оценке качества образования // Аккредитация в образовании. 2015. №3. С. 66-69.
3. Иванченко И.В. Проблема повышения качества образования в вузе // Молодой ученый. 2016. №5.1. С. 18-21.
4. Буйновский А.С., Медведева М.К., Молоков П.Б., Стась М.Ф. Системный контроль как средство обучения и воспитания студентов. Ч.1. Входной, текущий и тематический контроль // Известия Томского политехнического университета. 2007. №1. С. 217-222.
5. Буйновский А.С., Медведева М.К., Молоков П.Б., Стась М.Ф. Системный контроль как средство обучения и воспитания студентов. Ч.2. Рубежный контроль и итоговая аттестация // Известия Томского политехнического университета. 2007. №3. С. 223-227.
6. Белоус В.В., Спиридонов С.Б., Постников В.М. Подход к ранжированию контрольных мероприятий по дисциплинам направления «Информатика и вычислительная техника» и оценке вариантов их проведения // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, N0 2 (2017) http://naukovedenie.ru/PDF/102TVN217.pdf (доступ свободный). Загл. С экрана. Яз. рус., англ.
7. Чандра И.Ю. Технология мониторинга качества преподавания в вузе // Политематический журнал научных дискуссий «Дискуссия». 2014. №4 (45). С. 139-146.
8. Карпова И.П. Сравнение открытых и выборочных тестов.// Открытое образование. 2010. №3. С. 32-37.
9. Опарина Н.М., Полина Г.Н., Файззулин Р.М., Шрамкова И.Г. Адаптивное тестирование. Учебно-методическое пособие. Хабаровск: ДВГУПС. 2007. 95 с.
10. Хохлова Т.С., Потап О.Е., Ступак Ю.А., Чернявский В.Г., Плискановский С.А. Педагогические тесты. Методология разработки и применения. Днепропетровск: ГИПОпром. 2005. 63 с.
11. Крулехт М.В., Тельнюк И.В. Экспертные оценки в образовании: учеб. пособие. М.: Издательский центр «Академия» 2002. 112 с.
12. Шихов Ю.А., Шихова О.Ф. Экспертные методы в педагогических исследованиях // 20 Всероссийская научно-практическая конференция «Инновации в профессиональном и профессионально-педагогическом образовании»: труды. Екатеринбург. Изд-во Российский государственный профессионально-педагогический университет. 2015. С. 164-166.
13. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика. 1974. 160 с.
14. Постников В.М. Анализ подходов к формированию состава экспертной группы, ориентированной на подготовку и принятие решений. Наука и образование. М.: МГТУ. Электрон. журн. 2012. №5 DOI: 10.7463/0512.0360720.
15. Постников В.М., Черненький В.М. Методы принятия решений в системах организационного управления.: учеб. пособие. М.: Изд-во МГТУ им. Н.Э. Баумана. 2014. 205 с.
16. Гусаров В.М., Кузнецова В.И. Статистика. - М.: ЮНИТИ-ДАНА. 2008. 479 с.
Belous Valentina Vladimirovna
Bauman state technical university, Russia, Moscow E-mail: technomag015@gmail.com
Spiridonov Sergey Borisovich
Bauman state technical university, Russia, Moscow E-mail: spirid@bmstu.ru
Postnikov Vitalii Michalovich
Bauman state technical university, Russia, Moscow E-mail: postnikovvm@yandex.ru
The formation test module control knowledge in the disciplines of a direction "computer science"
Abstract. In the paper are recommendations for decision-making in the formation of composition and structure of the test module control assessment of knowledge and skills of University students in the disciplines of a direction "computer science" - bachelors. The recommendations relate to the choice of main parameters of the test module control: the type of test, the number of assignments of closed and open types of their level of complexity, as well as the time of formation of students ' answers to the questions of the test.
The development of recommendations were conducted using expert techniques: expert judgment and Delphi method. We are used in the method of expert evaluations when choosing the type of test and the composition. To obtain mathematically rigorous results of the expert survey, the analysis on the basis of which formed the qualitative and quantitative composition teachers who are experts of the working group.
Given the simplicity, convenience and accuracy of expert information processing, estimation of parameters, tests were conducted by experts using a standardized ranking system, and consistency of expert opinion was evaluated using the coefficient of concordance and Chi-square. For the qualitative assessment of the degree of consistency of experts used a verbal-numerical scale of Harrington.
When choosing the time of formation of answers to questions of tests of closed and open types used the method of expert survey Delphi. The experts were students of the disciplines which applied the test module control.
The result is a coherent assessment of the expert opinions obtained a number of results are recommended for practical use in deciding on the formation of the test module control.
Most preferred are the following two tests: tests of open type and tests of the combined type, in which the number of tasks closed and open types is in the ratio of three to one. Tests are contained questions of the medium difficulty level. Given are recommendations on the number of tasks in the tests. For each question, the test tasks of the closed type should be at least five or six answers the number of correct answers two or three. .The test time shall be no more than 90 minutes, the formation of the answer to the question objective test open - 9 minutes, and the question of test tasks of the closed type - 3 minutes.
Keywords: decision-making; modular control; the test module control; test tasks of the closed type; test tasks of the open type; processing of expert information; the method of expert evaluations; experts; the consistency of expert opinion
