CC BY
43
УДК378.1
С. Г. НАГОВИЦЫН
Ижевский юридический институт (филиал) ФГБОУ ВПО «Российская правовая академия Министерства юстиции Российской Федерации»
УНИФИКАЦИЯ ПОДХОДОВ К РАЗРАБОТКЕ ИЗМЕРИТЕЛЕЙ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ НА ОСНОВЕ ВНЕДРЕНИЯ ТЕСТ-РЕЙТИНГОВОЙ ШКАЛЫ
В настоящее время ведущее место в системе контроля знаний студентов занимает решение тестовых заданий. Опыт использования тестовых заданий при оценке знаний студентов свидетельствует о наличии неоправданной вариативности применения критериев оценки при решении тестовых задач. С этой целью нами предлагается применить тест-рейтиговую систему контроля знаний студентов на основе разработанной вариативной шкалы.
Ключевые слова: контроль знаний, тестовые задания, вариативная шкала, тест-рейтинговая система.
В структурно-логической схеме изучения учебной дисциплины (модуля) тестовый контроль может быть входным — выявление исходного уровня знаний, рубежным — получение информации после прохождения раздела (разделов) учебной дисциплины (модуля), итоговым — после завершения изучения учебной дисциплины (модуля). Кроме того, в тестовых заданиях интерпретация баллов студентов может носить различный характер в зависимости от того, каким способом сравниваются их результаты. В одном случае проводится сопоставление баллов тестируемых с результатами определенной группы-выборки студентов, выполнявших тот же самый тест, — для определения места каждого балла по отношению к среднему результату в группе (нормативно-ориентированный подход). В другом случае результаты испытуемых интерпретируются по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (критериально-ориентированный подход) [1—4]. Хотя оба подхода дают информацию о подготовленности студентов, они отличаются по характеру получаемых данных. В нормативно-ориентированном подходе определяется место результата каждого студента по отношению к результатам других студентов. В критериально-ориентированном подходе информация, полученная при тестировании, позволяет установить освоенные разделы учебного курса или виды учебной деятельности, выявить проблемы и пробелы в усвоении. В этой связи оценка знаний зачастую зависит от профессиональной подготовки преподавателя, то есть носит субъективный характер.
Разработка любого аттестационного теста требует обязательного обоснования релевантности его содержания переменной или переменным измерениям, использования математико-статистических методов для проверки соответствия теста определенным критериям качества и анализа точности обеспечиваемых им оценок. Необходимость такого
обоснования резко возрастает в связи с введением Федеральных государственных образовательных стандартов третьего поколения (далее по тексту ФГОС), где требования к качеству результатов образования формулируются в виде набора общекультурных и профессиональных компетенций [5].
При аттестации объектом измерения являются знания, умения, навыки и компетенции, структуру и уровень сформированности которых сравнивают с требованиями ФГОС.
Помимо этого необходимо отметить интегральная оценка качества подготовки студентов вузов должна осуществляться с использованием аналитического аппарата оценки компетенций на основе учета индивидуальных образовательных достижений, полученных в рамках освоения профессиональных образовательных программ [6].
Надежность, валидность и размерность — три взаимосвязанные характеристики качества результатов измерений. Задание является одномерным, если оно измеряет одну и только одну переменную. Размерность задания равна числу переменных, которые оно измеряет.
Анализ размерности результатов измерения, основанный на исследовательском и конфирматорном факторном анализе, необходим при разработке оценочных средств в рамках компетентностного подхода к трактовке качества результатов образования.
При разработке тестов и переходе к шкалированным показателям испытуемых желательно пользоваться методами современной теории тестов (ШТ), позволяющими преобразовать «сырые» баллы студентов в интервальную шкалу, единую для оценок параметров испытуемых и трудности заданий теста.
Классическая теория тестов и рекомендованные в ее рамках линейные преобразования «сырых» баллов повышают сопоставимость результатов студентов, но не меняют природу порядковой шкалы наблюдаемых результатов выполнения теста. Стандартизованные тесты, разработанные на основе
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №4 (111) 2012 ПСИХОЛОГИЧЕСКИЕ И ПЕДАГОГИЧЕСКИЕ НАУКИ
ПСИХОЛОГИЧЕСКИЕ И ПЕДАГОГИЧЕСКИЕ НАУКИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №4 (111) 2012
%
Рис. 1. Вариативная шкала балльно-рейтинговой оценки учебной успешности
классической теории, не позволяют перевести результаты испытуемых в интервальную шкалу.
В целях объективизации оценки знаний студентов при решении тестовых заданий нами на основе вариативной шкалы балльно-рейтинговой оценки учебной успешности обучающихся (рис. 1) разработана и внедрена в практику обучения студентов вариативная шкала тест-рейтингового контроля и оценки знаний обучающихся (рис. 2).
Тест-рейтинговый контроль обученности осуществляется, как комплекс учебных, организационных и методических мероприятий, направленных на обеспечение систематической, самостоятельной, творческой работы студентов, инициирующих их активность, состязательность в учебе и позволяющих осуществлять объективный контроль знаний, умений и использование их в практической деятельности, проводить ранжирование за определенный период по различным учебным модулям (разделам). Модель тест-рейтинговой системы контроля представлена на рис. 3.
Как видно из представленной вариативной шкалы тест-рейтингового контроля, тестовые задания целесообразно составлять из 5, 10, 20, 25, 50, 100 тестовых задач. Таким образом, положительная оценка «удовлетворительно» может быть получена при решении испытуемым не менее 60% задач, оценка «хорошо» — при решении 80%, «отлично» — при решении не менее 95% тестовых задач. В каждом задании корректирующий коэффициент определяет потерю в рейтинговых единицах при допущенной испытуемым ошибке.
Из этого следует, что самая высокая потеря (20 рейтинговых единиц) в заданиях из 5 задач. С возрастанием в тестовых заданиях количества тестовых задач эта потеря уменьшается, а оценочные критерии возрастают, что дает возможность оценить знания не только по четырехбалльной шкале,
но и с точностью до 0,01 балла. Это дает возможность с высокой точностью и эффективностью устанавливать рейтинги испытуемых по количеству ими набранных единиц.
Предлагаемая технология не исключает возможность изменения оценочных критериев в сторону увеличения или уменьшения. Например, при задании, состоящем из 50 задач, оценка «удовлетворительно» может выставляться при набранных 70 рейтинговых единицах, «хорошо» — 90 рейтинговых единицах, «отлично» — 98 рейтинговых единицах. Следует также при интерпретации рейтинговых единиц учитывать предысторию развития студента и дополнительную информацию о нем, релевантную целям измерения, а лишь потом использовать результаты оценивания для принятия управленческих решений в образовании.
Как показала практика, данная технология проста и эффективна, следовательно, может быть широко использована в учебных заведениях.
В качестве заключения можно сказать, достоверность оценки качества подготовки студентов обеспечивается соблюдением технологии комплексной оценки индивидуальных образовательных достижений, базовых принципов и требований к организационно-технологическому обеспечению контрольно-оценочной деятельности, в т.ч. посредством применения аналитического аппарата оценки компетенций и использования результатов мониторинга контрольно-оценочных процедур.
Развитие системы контроля и оценки качества подготовки студентов необходимо осуществлять путем реорганизации вузов и технологической модернизации контрольно-оценочной деятельности в соответствии с определенными принципами и механизмом развития в части:
— изменений требований к результатам освоения профессиональных образовательных программ;
Задание из 5 задач
(корректирующий коэффициент (КК) = 20, т.е. 1 ошибка -20 РЕ (рейтинговых единиц)).
5*20 = 100 — 5,00 100 - (1*20) = 80 — 4,00 100 - (2*20) = 60 — 3,00 100 - (3*20) = 40 — 2,00 Задание из 10 задач (КК = 10, т. е 1 ошибка -10 РЕ) 10*10 = 100 — 5,00 100 - (1*10) = 90 — 4,50 100 - (2*10) = 80 — 4,00 100 - (3*10) = 70 — 3,50 100 - (4*10) = 60 — 3,00 100 - (5*10) = 50 — 2,50 100 - (6*10) = 40 — 2,00 Задание из 20 задач
(КК = 5, т. е 1 ошибка -5 РЕ)
20*5 = 100 — 5,00
100 - (1*5 = 95 — 4,75
100 - (2*5 = 90 — 4,50
100 - (3*5 = 85 — 4,25
100 - (4*5 = 80 — 4,00
100 - (5*5 = 75 — 3,75
100 - (6*5 = 70 — 3,50
100 - (7*5 = 65 — 3,25
100 - (8*5 = 60 — 3,00
100 - (9*5 = 55 — 2,75
100 - (10*5 = 50 — 2,50
100 - (11*5 = 45 — 2,25
Задание из 25 задач
(КК = 4, т. е 1 ошибка - 4РЕ)
25*4 = 100 —— 5,00
100 - (1*4 = 96 —— 4,80
100 - (2*4 = 92 — 4,60
100 - (3*4 = 88 — 4,40
100 - (4*4 = 84 — 4,20
100 - (5*4 = 80 — 4,00
100 - (6*4 = 76 — 3,80
100 - (7*4 = 72 — 3,60
100 - (8*4 = 68 — 3,40
100 - (9*4 = 64 — 3,20
100 - (10*4 = 60 — 3,00
100 - (11*4 = 56 — 2,80
100 - (12*4 = 52 — 2,60
100 - (13*4 = 48 — 2,40
Задание из 50 задач
(КК = 2, т. е 1 ошибка -2 РЕ)
50*2 = 100 — 5,00
100 - (1*2 = 98 — 4,90
100 - (2*2 = 96 — 4,80
100 - (3*2 = 94 — 4,70
100 - (4*2 = 92 — 4,60
100 - (5*2 = 90 — 4,50
100 - (6*2 = 88 — 4,40
100 - (7*2 = 86 — 4,30
100 - (8*2 = 84 — 4,20
100 - (9*2 = 82 — 4,10
100 - (10*2 = 80 — 4,00
100 - (11*2 = 78 — 3,90
100 - (12*2 = 76 — 3,80
100 - (13*2 = 74 — 3,70
100 - (14*2 = 72 — 3,60
100 - (15*2 = 70 — 3,50
100 - (16*2 = 68 — 3,40
100 - (17*2 = 66 — 3,30
100 - (18*2 = 64 — 3,20
100 - (19*2 = 62 — 3,10
100 - (20*2 = 60 — 3,00
100 - (21*2 = 58 — 2,90
100 - (22*2 = 56 — 2,80
100 - (23*2 = 54 — 2,70
100 - (24*2 = 52 — 2,60
100 - (25*2 = 50 — 2,50
100 - (26*2 = 48 — 2,40
Задание из 100 задач
(КК = 1, т. е 1 ошибка -1 РЕ) 100*1 = 100 — 5,00
1*1
(2*1
(3*1
100 -100 -100 - Ч 100 - (4*1 100 - (5*1 100 -100 -100 -100 -100 -
100 -100 -100 -100 -100 -100 -100 -100 -100 -100 -100 -
100 -100 -100 -100 -
100 -100 -100 -100 -
(6*1
(7*1
(8*1
(9*1
10*1
11*1
12*1
13*1
14*1
15*1
16*1
17*1
18*1
19*1
(20*1
(21*1
100 - (22*1 100 - (23*1 100 - (24*1 100 - (25*1 100 - (26*1 100 - (27*1
(28*1
(29*1
(30*1
(31*1
100 - (32*1 100 - (33*1 100 - (34*1 100 - (35*1 100 - (36*1 100 - (37*1
(38*1
(39*1
(40*1
(41*1
100 - (42*1 100 - (43*1 100 - (44*1 100 - (45*1 100 - (46*1
= 99 — 4,95 = 98 — 4,90 = 97 — 4,85 = 96 — 4,80 = 95 — 4,75 = 94 — 4,70 = 93 — 4,65 = 92 — 4,60 = 91 — 4,55 = 90 — 4,50 = 89 — 4,45 = 88 — 4,40 = 87 — 4,35 = 86 — 4,30 = 85 — 4,25 = 84 — 4,20 = 83 — 4,15 = 82 — 4,10 = 81 — 4,05 = 80 — 4,00 = 79 — 3,95 = 78 — 3,90 = 77 — 3,85 = 76 — 3,80 = 75 — 3,75 = 74 — 3,70 = 73 — 3,65 = 72 — 3,60 = 71 — 3,55 = 70 — 3,50 = 69 — 3,45 = 68 — 3,40 = 67 — 3,35 = 66 — 3,30 = 65 — 3,25 = 64 — 3,20 = 63 — 3,15 = 62 — 3,10 = 61 — 3,05 = 60 — 3,00 = 59 — 2,95 = 58 — 2,90 = 57 — 2,85 = 56 — 2,80 = 55 — 2,75 = 54 — 2,70
Рис. 2. Вариативная шкала тест-рейтингового контроля и оценки знаний студентов
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №4 (111) 2012 ПСИХОЛОГИЧЕСКИЕ И ПЕДАГОГИЧЕСКИЕ НАУКИ
ПСИХОЛОГИЧЕСКИЕ И ПЕДАГОГИЧЕСКИЕ НАУКИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №4 (111) 2012
Рис. 3. Модель тест-рейтинговой системы контроля и оценки успеваемости
— модернизации технологии разработки и стандартизации контрольно-измерительных материалов;
— совершенствования контрольно-оценочных процедур на основе результатов исследований социально-педагогических отношений субъектов контрольно-оценочной деятельности в контексте развития.
Библиографический список
1. Переверзев, В. Ю. Критериально-ориентированное педагогическое тестирование : учеб. пособие / В. Ю. Переверзев. — М. : Логос, 2003. — 120 с.
2. Челышкова, М. Б. Теория и практика конструирования педагогических тестов : учеб. пособие / М. Б. Челышкова. — М. : Логос, 2001. — 132 с.
3. Berk R. A. Criterion-referenced Measurement. The State of Art. Baltimore, MD : JohnsHopkins University Press, 1980.
4. Test Theory: A Unified Treatment / Ed. by Roderick P. McDonald. Lawrence ErlbaumAssociates, 1999.
5. Звонников, В. И. Контроль качества обучения при аттестации: компетентностный подход / В. И. Звонников, М. Б. Челышкова. — М. : Логос, Университетская книга, 2009. — 272 с.
6. Пермяков, О. Е. Развитие систем оценки качества подготовки специалистов : атореф. ... д-ра пед. наук. / О. Е. Пермяков. — СПб., 2009. — 49 с.
НАГОВИЦЫН Сергей Грацианович, кандидат педагогических наук, доцент (Россия), заведующий кафедрой гуманитарных, социально-экономических и естественнонаучных дисциплин.
Адрес для переписки: e-mail: [email protected]
Статья поступила в редакцию 10.05.2012 г.
© С. Г. Наговицын
Книжная полка
ББК 74.584(5Каз)/Ч-25
Частное высшее образование: проблемы, приоритеты, перспективы / Н. О. Дулатбеков [и др.] ; под ред. Н. О. Дулатбекова ; дар. А. В. Грузин; Караганд. ун-т «Болашак». - Караганды: Болашак-Баспа, 2011. -163 с. - ISBN 978-601-273-102-6.
Состояние и проблемы частного высшего образования рассматриваются на примере Республики Казахстан. Подробно раскрыты специфические черты, общие и локальные задачи, проблемы современного частного вуза. Подняты вопросы: особенности работы педагогов в сфере частного образования, практикующее обучение как современная образовательная технология и многие другие.
