CC BY
19УДК 378.1 ББК 74.48
DOI 10.24411/2073-3305-2021-1-207-211
ФОРМИРОВАНИЕ ДИФФЕРЕНЦИРУЮЩЕГО ТЕСТА ДЛЯ КОНТРОЛЯ УРОВНЯ ДОСТИЖЕНИЙ УЧАЩИХСЯ
Ирина Николаевна СЛОБОДСКАЯ,
кандидат физико-математических наук, доцент, старший преподаватель кафедры информатики и математики ВИПЭ ФСИН России
E-mail: islobod06@mail.ru
Елена Геннадьевна СЛОБОДСКАЯ,
студент ИСиГН Вологодского государственного университета
E-mail: helen14032000@gmail.com
Рецензент: Н.Б. Розова, кандидат педагогических наук, доцент кафедры физики Вологодского государственного университета
Аннотация. Увеличение интенсивности использования тестирования, в том числе дистанционного, как формы контроля уровня достижений студентов и курсантов высших учебных заведений, является очевидной тенденцией современного образования, обусловленной развитием «цифровой среды» государства, дистанционных образовательных технологий и электронного обучения. Оценка результатов образовательного (учебного) процесса является важнейшей теоретической и практической задачей педагогической науки. Ее решение невозможно без разработки моделей тестов и инструментов оценивания. В статье предложена методика формирования тестов, позволяющая дифференцировать обучаемых по уровню подготовки, а также формализовать экспертные оценки весов заданий теста, описан результат ее апробации.
Ключевые слова: дистанционное образование; тестирование; вес задания; экспертные оценки.
FORMATION OF A DIFFERENTIATING TEST FOR MONITORING THE LEVEL OF STUDENTS' ACHIEVEMENTS
Irina Nikolaevna SLOBODSKAYA,
Candidate of Physical and Mathematical Sciences, Associate Professor, Senior Lecturer of the Department of Informatics and Mathematics, VIPE of the Federal Penal Service of Russia
E-mail: islobod06@mail.ru
Elena Gennadyevna SLOBODSKAYA,
student of Social Science and Liberal Arts Institute of Vologda State University
E-mail: helen14032000@gmail.com
Reviewer: N.B. Rozova, Candidate of Pedagogical Sciences, Associate Professor of the Department of Physics, Vologda State University
Abstract. Due to state digital environment system, distant and electronic studying technologies are evolving, increasing intensity of using tests in universities (including distance testing) as form of students' academic achievements control form is a recent tendency of nowadays education. One of the main theoretical problems of pedagogical science is to assess the result of educational process. And it is impossible to find the solution without designing testing models and assessment tools. The present article suggests the method of test formation, which allows to divide students into training level groups and also formalize expert assessments of tasks point value and gives the result of it's approbation.
Keywords: distance education; testing; task weight; expert assessments.
Стратегия развития информационного общества в Российской федерации до 2030 года, утвержденная Указом Президента РФ от 9 мая 2017 г. № 203, определяет развитие цифровой среды и государства в целом, системы современного российского образования. Концепция предусматривает формирование информационного пространства знаний, необходимыми условиями для которого являются «использование и развитие различных образовательных технологий, в том числе дистанционных, электронного обучения, при реализации образовательных программ» [1]. Предполагается внедрение в образовательный процесс программ и сервисов, способствующих переходу учреждений высшего образования на работу в цифровой среде, в число которых входит сервис тестирования.
Педагогическое тестирование достаточно широко применяется для оценки качества подготовки студентов и курсантов высших учебных заведений России. Применение компьютерных технологий, позволяющих в удобной форме подготовить тест, обработать полученную информацию и дать интерпретацию результатов, делает тестирование все более популярным средством контроля. В условиях пандемии нового коронавируса COVID-19 года интенсивность применения дистанционных образовательных технологий, в том числе тестирования в дистанционной форме, беспрецедентно выросла [2], что было предопределено резким переходом в цифровую образовательную среду и необходимостью поддержания непрерывности обучения и всех видов контроля уровня достижений обучаемых.
Качество образовательного процесса в вузе в настоящее время оценивается в рамках компетентностного подхода, утвержденного федеральными государственными образовательными стандартами, и оценивается уровнем сформированности комплекса общекультурных, общепрофессиональных, профессиональных и профессионально-специализированных компетенций. Поэтому важнейшими вопросами в использовании тестирования как средства оценивания студентов и курсантов высших учебных заведений являются: во-первых, отбор заданий, позво-
ляющих дифференцировать уровень сфор-мированности общекультурных, общепрофессиональных и профессиональных компетенций, предусмотренных образовательными стандартами специальностей и направлений подготовки; во-вторых, определение уровня сложности тестовых заданий и структуры теста в целом.
В работе предлагается апробированная авторами методика формирования педагогических тестов, позволяющая решить указанные выше вопросы, а также формализовать экспертные оценки весов заданий тестов на основе долевой модели.
Анализ литературы показывает, что проблеме оценивания уровня достижений обучающихся с помощью системы педагогического тестирования, формирования базы тестовых заданий для всех форм контроля знаний, получению статистических характеристик заданий, в том числе их весов, посвящена значимая часть научно-методических статей. Более того, мы полагаем, что каждый преподаватель вуза в своей практике анализировал поднятые в данной статье вопросы.
В работе [3] рассматриваются общие математические подходы к построению тестовой системы, классификации заданий, интерпретации результатов.
В статьях [4—7] анализируются возможности тестов в процессе обучения и контроля знаний, достоинства и недостатки педагогического тестирования в вузе.
Предметом обсуждения в работе [8] являются современные компьютерные форматы тестирования, основанные на Item Response Theory (компьютерное адаптивное тестирование, многостадийное адаптивное тестирование).
Большое количество статей посвящено разработке тестов для конкретной предметной области знаний, например [9—11], в них рассматриваются в том числе вопросы определения уровня сложности тестовых заданий с использованием различных математических подходов.
Различная сложность тестовых заданий обуславливает проблему определения их веса. Кроме того, дифференцирующая способность теста увеличивается, если различным заданиям теста приписываются разные веса.
В настоящее время для определения весов используются временной метод, метод долей, метод весов Шепли (имеющий достаточно сложный математический аппарат теории игр) [12], а также достаточно часто веса определяются методом экспертных оценок.
Целью работы является разработка и апробация методики формирования педагогического теста.
Описание методики формирования теста и назначения весов тестовых заданий
Одной из важнейших характеристик теста является его дифференцирующая способность. Педагогический тест должен дифференцировать обучающихся по степени усвоения содержания обучения, уровня сфор-мированности комплекса компетенций. Поэтому подготовка тестовых материалов нами проводится в два этапа.
На первом этапе производится отбор заданий. Для этого каждое из заданий, предполагаемых для включения в тест, проходит апробацию на контрольной группе студентов (курсантов), где ранее другими методами были установлены уровни усвоения материала и выделены подгруппы «удовлетворительно», «хорошо», «отлично» успевающих обучающихся (с базовым, средним, высоким уровнем сформированности компонентов компетенций в рамках изучаемой дисциплины). В каждой подгруппе рассчитывается доля обучающихся, успешно справившихся с
заданием dl, ^ , (для подгрупп «удовлетворительно», «хорошо», «отлично» успевающих обучающихся соответственно). Возможные соотношения между рассчитанными величинами схематично представлены на
рис. 1—3 (значения d1, d2 , dз отмечены
маркерами на ломаных а, Ь, с, подгруппы обучающихся обозначены «3», «4», «5»).
Рис. 1
Заметим, что дифференцирующим свойством обладают лишь задания, для которых
соотношения между dl, d2 и dз имеют
формы, представленные на рис. 1. При этом чем больше отклонение кривой от линии Ь, тем дифференцирующие возможности задания уменьшаются, в крайних случаях являясь ситуациями, в которых задание либо выполняется только группой «отличников» и не дифференцирует «хорошистов» и «троечников» (предельный случай для линии с:
dl « d2 < dз ), либо не выполняется только группой «троечников» и не разделяет «хо-
Рис. 2
рошистов» и отличников» (предельный случай для линии а: dl < d2 dз ).
Задания, для которых соотношения между dl, d2 и d3 представлены на рис. 2,
являются чрезмерно простыми (линия а), либо чрезмерно сложными (линия Ь), в силу чего не решают поставленной задачи. Задания, соответствующие линиям на рис. 3, являются некорректными, такие результаты могут появиться при неоднозначной формулировке задания, ошибками в его записи и др.
Безусловно, предпочтительно, чтобы такая эмпирическая апробация заданий проходила на достаточно большом числе учащихся.
На втором этапе подготовки теста отобранные задания ранжируются по количеству (доле) обучающихся, неверно выполнивших задание, разделяются на группы по уровню сложности, для каждой группы заданий определяется их вес.
Пусть для формирования теста отобрано
п заданий. Кг — доля обучающихся, не
справившихся с г-м заданием (г = 1, 2, ..., п).
Задания разбиваются на к групп, количество групп определяется преподавателем в зависимости от количества вопросов и (или)
разброса значений Яг. Традиционно задания
разбиваются на три группы («простые», «средней сложности», «сложные») или пять («простые», «ниже среднего», «средние», «выше среднего», «сложные»). Число заданий в группах может быть определено двумя способами. В первом случае отобранные задания разбиваются на равные по объему группы. Во втором — диапазон изменений
К разбивается на к интервалов шириной
К — К
Ь = -тт., где Ятах — наибольшее,
к
Ктт — наименьшее значение Я . Первый способ является менее предпочтительным, поскольку в этом случае внутри одной группы могут оказаться задания, сильно различающиеся по значениям Кг .
Далее в каждой из к групп определяется характерное значение доли обучающихся,
неверно выполнивших j-ю группу заданий (] = 1,2,...,к), Я, — среднее арифметическое между значениями Кг заданий, отнесенных к данной группе, а также общее среднее
значение для этой характеристики — К .
Тогда вес заданий, отнесенных к ]-й группе, — Qj находится по соотношению
б, = — • ] Я
Итоговый относительный показатель выполнения теста определяется формулой
I б] *
т.
В =
]=1
к
I б] *
]=1
п.
где т- — количество верно выполненных обучающимся заданий в ]-й группе;
П] — общее количество заданий в ]-й группе.
Рассчитанный показатель может быть переведен в баллы в соответствии с общепринятыми шкалами или использован без перевода для рейтинговой оценки достижений обучающихся, анализа их индивидуальной траектории продвижения, выявления и коррекции методики преподавания дисциплины.
На этапе апробации контрольная группа составила 42 обучающихся. Для формирования теста в соответствии с предложенной методикой были отобраны 27 заданий, которые были распределены на пять групп. При этом количество заданий в группах «простые», «ниже среднего», «средние», «выше
среднего», «сложные» составили соответственно nx = 4, n2 = 6, n3 = 7 , n4 = 5 ,
n5 = 5, а их веса — Qx = 0,38, Q2 = 0,70,
Q3 = 1,03, Q4 = 1,17, Q5 = 1,64.
Тест был использован в качестве итогового в группе из 24 обучающихся. Для оценки качества теста было проведено сравнение результатов тестирования, переведенного в балльную шкалу, и результатов экзаменационного оценивания с помощью критерия Манна—Уитни. Полученное эмпирическое значение критерия Uэмп = 260,5 подтверждает незначимость в
различиях между результатами тестирования и экзаменационного оценивания (для уровней значимости 0,01 и 0,05).
Заключение
Дифференцирующий взвешенный тест позволяет дать количественное представление качества образовательного процесса, в том числе уровня сформированности профессиональных компетенций. Формализация оценивания уровня достижений обучаемых представляет собой важную научно-методическую задачу, позволяющую максимально повысить уровень объективности результатов оценивания и их прогнозирования, получать адекватные образовательные модели, а также анализировать и корректировать существующие и новые методики обучения.
Список литературы
1. Указ Президента Российской Федерации от 9 мая 2017 г. № 203 «О Стратегии развития информационного общества в Российской Федерации на 2017—2030 годы» // URL: http://www.kremHn.ra/acts/bank/41919 (дата обращения: 08.03.2021).
2. Исеев Р.Р. Опыт дистанционного проведения контроля успеваемости и аттестации обучающихся в условиях пандемии // The Newman in Foreign policy. 2020. № 54 (98). URL: https://cyberleninka.ru/artide/n/opyt-dis-tantsionnogo-provedeniya-kontrolya-uspevae-mosti-i-attestatsii-obuchayuschihsya-v-uslo-viyah-pandemii (дата обращения: 08.03.2021).
3. Крокер Л. Введение в классическую и современную теорию тестов: учебник / под общ. ред. В.И. Звонникова, М.Б. Челышковой. М.: Логос, 2010.
4. Тригуб Г.Я. Тестирование как метод обучения и контроля знаний в вузе // Научно-методический электронный журнал «Концепт». 2017. № S3. С. 66—68. URL: http://e-koncept.ru/2017/470051.htm (дата обращения
08.03.2020).
5. Чурина К.В., Зимина Е.К. Тестирование как форма контроля результатов обучения // Молодой ученый. 2015. № 9 (89). С. 1214—1217. URL: https://moluch.ru/ archive/89/18283/ (дата обращения: 10.03.2021).
6. Пачурин Г.В., Тюмина Н.С., Шевченко С.М. Анализ тестирования как средства контроля знаний обучающихся // Современные проблемы науки и образования. 2017. № 4. URL: http://www.science-education.ru/ru/ article/view? id=26716 (дата обращения: 27.05.2020).
7. Алещанова И.В., Фролова Н.А. Педагогическое тестирование как средство повышения качества контроля и оценки эффективности учебного процесса в вузе // Современные проблемы науки и образования. 2007. № 6-3. URL: http://science-educati-on.ru/ru/article/view?id=815 (дата обращения:
10.03.2021).
8. Малыгин А.А. Современные форматы образовательного тестирования // Высшее образование сегодня. 2018. № 6. URL: https ://cyberleninka.ru/article/n/ sovremennye-for-maty-obrazovatelnogo-testirovaniya (дата обращения: 08.03.2021).
9. Наймушина О.Э., Стариченко Б.Е. Многофакторная оценка сложности учебных заданий // Образование и наука. 2010. № 2. URL: https ://cyberleninka.ru/article/n/mnogo-fak-tornaya-otsenka-slozhnosti-uchebnyh-zadaniy (дата обращения: 08.03.2021).
10. Гидлевский А.В. Простой метод оценки трудности учебных тестовых заданий // ИТС. 2010. № 4. URL: https://cyberleninka. ru/article/n/prostoy-metod-otsenki-trudnosti-uc-hebnyh-testovyh-zadaniy (дата обращения: 08.03.2021).
11. Попов Д.И., Попова Е.Д. Экспертиза качества тестовых заданий: учеб. пособие. М.: МГУП, 2008.
12. Луценко М.М., Шадринцева Н.В. Веса Шепли для заданий педагогического теста // Вестник СПбГУ. Серия 10: Прикладная математика. Информатика. Процессы управления. 2017. № 3. URL: https://cyberleninka. ru/article/n/vesa-shepli-dlya-zadaniy-pedagogi-cheskogo-testa (дата обращения: 11.03.2021).
