CC BY
41
Образование и наука. 2014. № 4 (113)
КОНСУЛЬТАЦИИ
УДК 378.146
С. А. Сафонцев, Н. Ю. Сафонцева
ПРИНЦИП ПАКЕТИРОВАНИЯ РЕЙТИНГОВЫХ БАЛЛОВ
Аннотация. Статья посвящена анализу характеристик постиндустриальной системы профессионального образования - кредитной мере компетенций и учебной нагрузки, а также модульно-рейтинговому структурированию дисциплин. Кратко описано, как на основе результатов социологического исследования мнений работодателей отбираются наиболее значимые компетенции, которыми должны овладеть будущие специалисты. Данные подобных исследований служат базой для разработки преподавателями учебных модулей, включающих проблемные, тестовые и проектные задания, которые формируют необходимые компетенции и результативность выполнения которых определяется критериями поведенческой психологии. Показана последовательность осуществления мониторинга учебных достижений студентов. Для его проведения предлагается принцип пакетирования, заключающийся в применении критериально-ориентированных оценочных норм для начисления рейтинговых баллов, отражающих компетентность обучающихся. К базовым показателям компетентности авторы относят заинтересованность студентов учебной дисциплиной, возникающую в результате выполнения проблемных заданий, рефлексию итогов рубежного тестирования и внутреннюю мотивацию в процессе проектной деятельности. Приводится система уравнений пакетирования, на основе которых разрабатываются учебные карты дисциплин, обеспечивающие эффективность постиндустриальной системы образования.
Ключевые слова: компетенция, модуль, рейтинг, мониторинг, компетентность.
Abstract. The paper analyzes characteristics of the postindustrial educational system, including the credit competence assessment, academic loads, and module-rating discipline structure. The employers' judgments, reflected in the survey outcomes, make it possible to single out the most significant competencies for students to master. Such findings are regarded as a foundation for developing the assignment modules, integrating the problematic, testing and projecting tasks, designed to master necessary competences; their effectiveness is estimated by using the criteria of
behavioral psychology. The paper demonstrates the sequences of monitoring assessment of students' academic achievements, and recommends the batching principle of rating point accrual, based on criterion-oriented evaluation standards, reflecting students' competence levels. The authors identify the basic competence indicators: interest in the subject, reflections on the test results, and inner motivation for project activities. The complex of batching equations is given for developing the training cards of academic disciplines, and guaranteeing the effectiveness of education system.
Keywords: competency, module, rating, monitoring, expertise.
Модернизация отечественной системы образования затрагивает не только организационно-управленческие структуры различных уровней, но и научно-педагогические основы дидактического обеспечения учебного процесса. Наиболее серьезные проблемы возникают в связи с необходимостью замены классической классно-урочной системы образования, получившей развитие в нашей стране в виде концепций гуманистического личностно-ориентиро-ванного образования, на постиндустриальную кредитно-модульно-рейтинговую систему, рассматривающую образование как специфическую услугу, гарантирующую подготовку индивида к продуктивной профессиональной деятельности. В связи с этим приоритеты образовательной политики смещаются от освоения знаний, умений и навыков к овладению компетенциями, т. е. необходимыми для успешной работы образцами поведения [10].
Новое поколение Федеральных государственных образовательных стандартов высшего профессионального образования (ФГОС ВПО) сформулировано на языке компетенций, который активно используется в педагогическом сообществе. Несмотря на это, для многих преподавателей остается загадкой сущность постиндустриального образования. Разобраться в его сути невозможно, опираясь только на вербальные доводы о преимуществах образовательных систем наиболее развитых стран мира. Чтобы подтвердить пользу и необходимость нововведений, следует прибегнуть к количественным методам обработки и анализа информации, производимым на основе мониторинговых исследований и позволяющим определить надежность образовательной системы с доверительной вероятностью не ниже 0,95 [6, 7].
В постиндустриальном образовании нивелируется доминирующая роль профессорско-преподавательского состава, на подготовку
выпускников-профессионалов все большее влияние начинают оказывать работодатели как основные потребители продукции образовательных организаций. Поэтому, руководствуясь стандартами последнего поколения и ориентируясь на требования потенциальных работодателей, необходимо спроектировать новую модель выпускника университета в соответствии с направлением и профилем подготовки.
Чтобы обеспечить эффективность образовательного процесса, нами на базе Южного федерального университета (Ростов-на-Дону) было проведено социологическое исследование суждений работодателей о значимости содержащихся в ФГОС ВПО компетенций. Для определения их комбинированной весомости использовались методы многокритериальной экспертизы, в частности метод анализа иерархий, предложенный Т. Саати, структурирующий сложную проблему с помощью количественной оценки альтернатив, которые можно представить в виде кластеров [3].
В качестве критериев, на которые ориентировалась выборочная, сформированная на основе процедуры стратификации группа экспертов - представителей сообщества работодателей (20 человек), применялись показатели, полученные в ходе всероссийского социологического исследования Центра тестирования и развития «Гуманитарные технологии». Наиболее значимыми из них, по мнению экспертов, являются мотивация достижений, коммуникабельность, стрессоустойчивость, комплексный анализ ситуации и лидерство. Используя перечисленные критерии в качестве ориентировочной шкалы при проведении парных сравнений компетенций, работодатели заполняли кластеры предпочтений. Чем более значимой признавалась компетенция, тем большее количество реализующих ее конкретных действий должно было составлять учебную нагрузку преподавателей [5].
Отобранные стандарты (образцы) поведения будущего выпускника, т. е. те комплексные представления о возможных конкретных действиях, которые совершаются в ситуации неопределенности, были положены в основу разработок учебных программ дисциплин. Конкретные действия включались в них в виде проектных заданий, которые обладают технологическими свойствами (постановкой цели, обозначением возможных средств ее достижения и результатом) и позволяют овладеть необходимыми компетенциями.
Качественное выполнение студентом конкретных действий в процессе освоения дисциплин и прохождения практик, участия в научно-исследовательской работе, сдачи государственных экзаменов и зашиты выпускной квалификационной работы обеспечивается посредством модульного структурирования преподавателями своих рабочих программ. Дело в том, что ни одна из компетенций не может быть представлена в какой-либо отдельно взятой дисциплине, все они включены в различные составляющие образовательной программы в виде локально изолированных фрагментов изучаемого материала.
Модуль - автономный блок наиболее содержательно значимых программных вопросов, позволяющий сократить до минимума дублирование ранее пройденного материала [12]. Содержание правильно сформированного учебного модуля должно включить ситуации, помогающие студенту ориентироваться в новом материале и стимулирующие его мотивацию. Согласно идеям прагматической педагогики, полезными являются только те действия обучающегося, которые он выполняет заинтересованно [2].
Процедура критериально-ориентированного оценивания компетентности студента производится с помощью рейтинговых баллов и включает в себя проблемные, тестовые и проектные задания, результативность выполнения которых определяется критериями поведенческой психологии. Чтобы убедиться в заинтересованности студента изучаемой дисциплиной, необходимо достаточно большое количество простых заданий, в которых фиксируется не абсолютная правильность ответа, а его психологическая адекватность. Средней трудностью заданий обладает небольшой тест рубежного контроля, позволяющий сделать вывод о характере рефлексии студентом собственных учебных достижений в связи с предстоящим выполнением проекта. Проектное задание может быть выполнено на уровне воспроизведения заранее предложенных преподавателем средств его реализации или на уровне самостоятельного оригинального подхода к разрешению ситуации неопределенности. Но только во втором случае трудность задания может быть признана высокой.
Приведем пример освоения конкретного действия, базового для профессиональной компетенции по направлению подготовки
«Психолого-педагогическое образование», которая сформулирована следующим образом: выпускник университета должен быть «способен анализировать и прогнозировать риски образовательной среды, планировать комплексные мероприятия по их предупреждению и преодолению» (Приказ Минобрнауки РФ от 16.04.2010 № 376). Освоение учебного модуля, посвященного стандартизации образовательных систем, начинается с выполнения проблемного задания, основой которого является положение: «Устойчивое функционирование образовательной системы в соответствии с требованиями стандартов обеспечивается мониторинговыми исследованиями, предполагающими ... 1) обнаружение негативных отклонений; 2) корректировку процесса обучения; 3) предупреждение возможных негативных последствий» («Положение об УМК и РПД». Решение Ученого совета ЮФУ от 28.06.2012, протокол № 6).
Студентам предлагается обсудить возможные функции мониторинговых исследований. Неминуемо возникает дискуссия, по итогам которой каждый желающий может сформулировать собственное видение приоритетности тех или иных функций или способа разрешения проблемной ситуации. Например:
1) обнаружение негативных отклонений в большей степени относится к диагностике, так как это происходит без учета динамики событий;
2) корректировка процесса обучения необходима в случае отклонения от требований образовательного стандарта;
3) предупреждение возможных негативных последствий предполагает их отслеживание, обнаружение и корректировку.
При сравнении выдвинутых формулировок каждый студент выбирает наиболее предпочтительный, с его точки зрения, вариант. Правильность этого выбора не имеет принципиального значения, так как преподаватель должен рассматривать в качестве критериального показателя разрешения ситуации неопределенности заинтересованность студента изучаемым материалом, которая выражается в поиске моделей дальнейшего развития событий.
Далее по материалу осваиваемого учебного модуля студенты выполняют тестовые задания средней трудности. Согласно принципам нормативного тестирования, по результатам предварительной апробации устанавливаются оценочные нормы. Допустим, из
шести тестовых заданий студент справляется лишь с тремя. Рефлексия студентом собственных учебных достижений может быть различной, что проявится в дальнейшем при реализации проектного задания. Однако верное выполнение лишь половины теста указывает на опасность потери первичной заинтересованности, возникшей при решении проблемных заданий. Только при условии правильности больше чем половины ответов (в нашем случае четырех и более) достигается необходимый уровень рефлексии студента.
Целью проектного задания, включенного в рассматриваемый учебный модуль, является разработка программы мониторинга, а в качестве примера возможного средства получения результата приводится расчет расхождения медиан статистических распределений данных входного и итогового тестирования слушателей курсов повышения квалификации. Работая над указанным заданием, студенты часто ограничиваются воспроизведением математических операций с другим набором численных значений. Тогда преподаватель вынужден констатировать отсутствие внутренней мотивации как критериального показателя выполнения проекта и предоставить таким студентам еще одну возможность осмысления изученного материала. Только при условии привнесения оригинальных элементов в способ достижения поставленной цели фиксируется эффективность осуществления проекта.
Контрольно-оценочная деятельность в нашем примере связана непосредственно с учебно-методической составляющей системы образования. Мониторинг достижений студентов в течение семестра в условиях постиндустриальной концепции образования осуществляется через начисление баллов за выполнение заданий, включенных в состав учебной дисциплины. Используемая для этой цели накопительная характеристика - рейтинг, позволяет определить степень обоснованности предоставления кредитов с помощью перевода рейтинговых баллов в традиционные педагогические оценки или грейды европейской системы трансферта кредитов (ЕС^). В приложении к диплому указывается не только количество кредитов, отработанных по каждой составляющей образовательной программы, но и оценка уровня их получения [1].
Основным недостатком контрольно-оценочной составляющей классической системы образования является опора на субъективные суждения преподавателя или результаты нормативного тестирования, интерпретирующие учебные достижения в терминах выборочной совокупности испытуемых. В первом случае количественные показатели отражают смесь экспертного суждения с эмоциональным восприятием обучающегося, а во втором - приблизительный уровень его интеллектуального развития в зависимости от качества дидактического теста. Независимо от того, какому способу оценивания отдает предпочтение преподаватель, остается неизвестным, какая часть программного материала усвоена на уровне понимания.
Способ разрешения проблемы в рамках постиндустриального образования - критериально-ориентированное оценивание, которое позволяет интерпретировать полученный результат в терминах определенной содержательной области [11]. Если при нормативном тестировании чаще всего за каждое правильно выполненное задание начисляется один балл, то при критериально-ориентированном тестировании баллы присваиваются за проявление ценностных установок, психофизиологических свойств или мотивов испытуемого. Поскольку различные критериальные показатели не совпадают по значимости и не располагаются симметрично относительно меры центральной тенденции (как это происходит в нормативном тестировании), оценивать их нужно исходя из заранее установленных пакетов рейтинговых баллов. Чем выше значимость критериального показателя, тем большее количество баллов должно быть включено в пакет.
На основе проведенного анализа характерных особенностей постиндустриальной системы образования с акцентом на контрольно-оценочные действия мы сформулировали принцип пакетирования: применение критериально-ориентированных оценочных норм начисления рейтинговых баллов позволяет оценить компетентность обучающегося. При этом под компетентностью понимается комплексная характеристика конкурентоспособности личности, включающая в себя ряд базовых качеств, критериями выраженности которых являются заинтересованность, рефлексия и мотивация студента [8].
Для определения величин пакетов рейтинговых баллов, начисляемых за разрешение различных ситуаций неопределенности, воспользуемся критериально-ориентированной оценочной шкалой, полученной на основе репрезентаций большого количества дидактических тестов [4] (табл. 1).
Таблица 1
Критериально-ориентированные оценочные нормы
Оценки 2 3 4 5
Рейтинговые баллы 0 + 59 60 4 70 71 4 84 85 4 100
Распределение рейтинговых баллов в сравнении с критериально-ориентированными оценочными нормами сдвинуто в сторону более высоких численных значений по той причине, что около 65 баллов начисляются за выполнение легких заданий, с которыми справляется большинство участников репрезентативной выборки (60 4 80 %). К таким заданиям относится выявление моделей развития проблемной ситуации и выполнение проекта на основе известного способа получения результата. Около 20 рейтинговых баллов присваиваются за выполнение заданий средней трудности (40 4 59 %), что полностью соответствует тесту рубежного контроля. Наконец, около 15 рейтинговых баллов приходится на выполнение наиболее трудных заданий (20 4 39 %), к которым следует отнести выбор нового средства получения результата в процессе осуществления проекта (табл. 2).
Таблица 2
Распределение рейтинговых баллов по заданиям различной трудности
Трудности заданий 0,20 4 0,39 0,40 4 0,59 0,60 4 0,80
Рейтинговые баллы 15 20 65
Проблемные задания 50
Тестовые задания 20
Проектные задания 15 15
Контрольно-оценочные действия преподавателя начинаются с текущего контроля активности студента в процессе выполнения
проблемного задания. При этом допускается единственное субъективное суждение, заключающееся в констатации наличия или отсутствия анализа моделей развития событий. В случае положительной оценки студенту начисляется заранее установленный пакет рейтинговых баллов Рь Общая сумма баллов, которая может быть получена за выполнение проблемных заданий, определяется по формуле 3^1, где N - количество учебных модулей, каждый из которых включает в себя три проблемных задания.
Рубежный контроль предполагает начисление тестового пакета рейтинговых баллов Р2 при условии правильного выполнения более половины заданий и подтверждения позитивной рефлексии (^2), а также проектного пакета рейтинговых баллов Р3 при наличии оригинального способа получения результата (^3).
Промежуточная аттестация в форме экзамена включает в себя несколько проблемных и проектных заданий, общее количество которых соответствует числу модулей учебной дисциплины. В результате студенту может быть присвоено N - 1) Р1+Р3 рейтинговых баллов.
Запишем систему уравнений для определения величин пакетов рейтинговых баллов, которые необходимо начислять за разрешение ситуаций неопределенности. Первое уравнение учитывает максимально возможную сумму баллов на различных уровнях контроля:
С учетом того, что количество присвоенных баллов за выполнение проблемных заданий совпадает с соответствующим показателем тестовых и проектных заданий (табл. 2), второе уравнение пакетирования будет выглядеть следующим образом:
Поскольку вклады проектных и тестовых заданий в сумму рейтинговых баллов относятся как 3:2 (табл. 2), можно записать третье уравнение:
3ЛР + №2 + + N - 1) Р1 + Р3 = 100.
(1)
(4N - 1) Р1 = №2 + N + 1) Р3.
(2)
3^2 = 2^ + 1) Р3.
(3)
Возьмем в качестве примера трехмодульную дисциплину N = 3) с экзаменационной формой промежуточной аттестации. Чтобы определить величину проблемного пакета рейтинговых баллов, достаточно подставить в (1) уравнение (2): Р1 = 4,5. Далее выражаем проектный пакет через тестовый с помощью уравнения (3): Р3 = (9/8) Р2, и подставляем полученное выражение в (2): Р2 = 6,7. В заключение находим проектный пакет рейтинговых баллов из уравнения (3): Р3 = 7,5. На основе решения системы уравнений пакетирования составляется учебная карта дисциплины (табл. 3).
Таблица 3
Учебная карта трехмодульной дисциплины с экзаменом
Контроль Сумма баллов Задание Пакет баллов Количество баллов по модулям
Модуль 1 Модуль 2 Модуль 3
Текущий 40,5 Проблемное 4,5 13,5 13,5 13,5
Рубежный 42,6 Тестовое 6,7 6,7 6,7 6,7
Проектное 7,5 7,5 7,5 7,5
Промежуточная аттестация Количество баллов по экзамену
Экзамен 16,5 Проблемное 4,5 9,0
Проектное 7,5 7,5
Осваивая каждый модуль, студент может набрать 27,7 балла. Максимально возможный рейтинг по итогам освоения трех модулей составляет 83,1 балла, что согласно критериально-ориентированным нормам (табл. 1) соответствует хорошей оценке. Чтобы получить отличную оценку, достаточно разрешить хотя бы одну ситуацию неопределенности на экзамене. Невозможность получения отличной оценки «автоматом» является косвенным подтверждением критериальной обоснованности начисления рейтинговых баллов в соответствии с решением записанной системы уравнений.
В случае двухмодульной дисциплины N = 2) с зачетной формой промежуточной аттестации оценка выставляется на основе итогового рейтингового балла студента. Поэтому система уравнений (1), (2) и (3) приобретает следующий вид:
3^1 + ЛР2 + Ш3 = 100, (4)
3^1 = ЛР2 + Шэ, (5)
3^ = 2^3. (6)
Учебная карта дисциплины составляется на основе решения системы уравнений (4), (5) и (6) (табл. 4).
Таблица 4
Учебная карта двухмодульной дисциплины с зачетом
Контроль Сумма баллов Задание Пакет баллов Количество баллов по модулям
Модуль 1 Модуль 2
Текущий 49,8 Проблемное 8,3 24,9 24,9
Рубежный 50,0 Тестовое 10,0 10,0 10,0
Проектное 15,0 15,0 15,0
При вычислении итогового рейтингового балла он округляется до целого значения. Следует обратить особое внимание на то, что по степени значимости в учебном процессе проектные, тестовые и проблемные пакеты располагаются в соответствии с мотива-ционными признаками поведенческой психологии [8]. Доминирующую роль в определении того, чего хочет, о чем постоянно думает студент и что побуждает его к совершению действий, играет внутренняя мотивация - критериальный показатель выполнения проектного задания. Затем следует рефлексия собственных достижений - критериальный показатель выполнения теста рубежного контроля. Наименее значимым для возможности трудоустройства выпускника университета является интерес к изученным дисциплинам, который стимулируется в процессе выполнения проблемного задания. Причина состоит в том, что на постиндустриальном этапе развития общества успешность работника определяется не тем, что ему интересно и чем он готов с увлечением заниматься, а тем, что может заинтересовать партнеров и конкурентов по бизнесу, а также руководителя компании. Гораздо важнее правильная самооценка собственных возможностей, уместности и своевременности тех или иных конкретных действий, особенно если они позволяют достичь необходимого результата в работе. Таким образом, высшим уровнем профессионализма следует признать внутреннюю мотивацию работника в процессе выполнения своих должностных обязанностей.
Статья рекомендована к публикации
д-ром пед. наук, проф. Ю. А. Шиховым
Литература
1. Глобализация образования: концепции и системы кредитов / под ред. Ю. Б. Рубина. Москва: Макет ДС Корпорейшн, 2005. 496 с.
2. Дьюи Дж. Психология и педагогика мышления (Как мы мыслим). Москва: Лабиринт, 1999. 192 с.
3. Саати Т. Принятие решений. Метод анализа иерархий. Москва: Радио и связь, 1993. 316 с.
4. Сафонцев С. А., Попов С. В., Сафонцева Н. Ю. Квалиметрические измерения в процессе мониторинга структуры и содержания образовательных программ / / Стандарты и мониторинг в образовании. 2005. № 4. С.20-23.
5. Сафонцев С. А., Сафонцева Н. Ю. Разработка модели компетентности выпускника университета / / Известия Южного федерального университета. Педагогические науки. 2012. № 1. С. 85-93.
6. Сафонцев С. А., Сафонцева Н. Ю. Целевая функция понятийного усвоения информации // Alma mater (Вестник высшей школы). 2013. № 11. С. 47-51.
7. Шихов Ю. А. Уровень подготовки обучающихся в системе «профильная школа - втуз»: Комплексный квалиметрический мониторинг / / Инновационные программы и проекты в образовании. 2011. № 5. С. 48-52.
8. Спенсер Л. М., Спенсер С. М. Компетенции на работе. Москва: HIPPO, 2005. 384 с.
9. Торндайк Э., Уотсон Дж. Бихевиоризм. Принципы обучения, основанные на психологии. Психология как наука о поведении. Москва: АСТ-ЛТД, 1998. 704 с.
10. Epstein R. M., Hundert E. M. Defining and assessing professional competence // JAMA. 2002. № 287 (2). Р. 226-235.
11. Glaser R. Instructional technology and the measurement of learning outcomes: Some questions / / American Psychologist. 1963. № 18. Р. 519-521.
12. Russell J. D. Modular Instruction. Minneapolis: Burgess Publishing Co., 1974. 126 р.
References
1. Globalization of Education: concepts and systems credits. Moscow: Maket DS Korporejshn, 2005. 496 p. (In Russian)
2. Dewey J. Psychology and Pedagogy of thinking (as we think). Moscow: Labirint, 1999. 192 p. (In Russian)
3. Saaty T. Decision making. Analytic hierarchy process. Moscow: Radio i svjaz', 1993. 316 p. (In Russian)
4. Safontsev S. A., Popov S. V., Safontseva N. Yu. Their qualitative measurement in monitoring the structure and content of educational programs. Standarty i monitoring v obrazovanii. [Standards and Monitoring in Education]. 2005. № 4. Р. 20-23. (In Russian)
5. Safontsev S. A., Safontseva N. Yu. Developing a model of competence of graduates of the University. Izvestija Juzhnogo federal'nogo universiteta. Pedagogicheskie nauki. [SFU: pedagogic science]. 2012. № 1. P. 85-93. (In Russian)
6. Safontsev S. A., Safontseva N. Yu. The objective function of conceptual assimilation of information. Alma mater (Vestnik vysshej shkoly). [Alma mater (Journal of Higher School)]. 2013. № 11. P. 47-51. (In Russian)
7. Shihov Ju. A. The level of training of students in the «profile school -technical college»: Comprehensive qualimetric monitoring. Innovacionnye pro-grammy i proekty v obrazovanii. [Innovative programs and projects in education]. 2011. № 5. P. 48-52. (In Russian)
8. Spencer L. M., Spencer S. M. Competence at work. Moscow: HIPPO, 2005. 384 p. (Translated from English)
9. Thorndike E., Watson J. Behaviorism. Learning principles based on psychology. Psychology as a science of behavior. Moscow: AST-LTD, 1998. 704 p. (Translated from English)
10. Epstein R. M., Hundert E. M. Defining and assessing professional competence. JAMA. 2002. № 287 (2). P. 226-235. (Translated from English)
11. Glaser R. Instructional technology and the measurement of learning outcomes: Some questions. American Psychologist. 1963. № 18. P. 519-521 (Translated from English)
12. Russell J. D. Modular Instruction. Minneapolis: Burgess Publishing Co., 1974. 126 p. (Translated from English)
158
06pa3oeauue u HayKa. 2014. № 4 (113)
