УДК 658.562:378.146
Поддубный А. В.
Технология комплексной оценки компетенций
для системы управления качеством профессионального образования
В советской, а затем российской высшей школе управление качеством процесса подготовки специалистов сводилось к контролю уровня знаний, умений и навыков, полученных студентами на занятиях, а сам контроль был в основном направлен на выявление неуспевающих с целью применения к ним репрессивных мер. В основу проверки знаний, умений и навыков была положена в лучшем случае четырехбалльная измерительная шкала (неудовлетворительно, удовлетворительно, хорошо, отлично), в худшем - двухбалльная (зачтено, незачтено), при этом уровень выбранной оценки зависел напрямую от компетентности самого преподавателя. Такая ситуация в образовании напоминает состояние дел в сфере производства конца XIX - начала XX века, когда усилия в области управления качеством направлялись на сортировку готовой продукции с тем, чтобы к потребителю попадали только годные изделия.
Между тем, современные методы оценки качества в производственных системах все больше направлены не на отбраковку изделий, а на предупреждение несоответствий, выявление причин, которые приводят к появлению последних. Очевидно и в вузовской системе образования основное внимание должно уделяться не констатации факта успеваемости или неуспеваемости студентов, а анализу причин имеющихся проблем.
С этой целью необходимо осуществлять мониторинг процесса подготовки специалистов по установленным целевым показателям качества и при отклонении процесса от целевого показателя выполнять корректирующие действия. Иными словами, процесс подготовки специалистов в вузе должен управляться.
В производственных системах качество продукции обеспечивается посредством управления процессами на основе статистических данных о них. Такой подход не связывает управляющие воздействия только с выходом характеристик процесса за допустимые пределы. Он основан на
статистическом мышлении и делает акцент на предупреждении отклонения процесса от нормы в отличие от подхода, связанного с ожиданием такого отклонения и реакцией на него.
Статистическое управление процессом требует, в свою очередь, установления основных характеристик процесса, регулярного их измерения, проведения статистического анализа и осуществления корректирующих действий. Безусловно существующая в настоящее время эклектичная проверка знаний, умений и навыков студентов и их субъективная оценка по четырехбалльной или, тем более, двухбалльной шкале для этих целей не пригодны. Необходима целостная технология, обеспечивающая комплексную оценку профессиональной подготовки специалистов, начиная от установления показателей качества подготовки, их измерения, учета, анализа и заканчивая выработкой управленческого решения. Такой технологией является рейтинговая система оценивания.
Исследования по использованию рейтинговой системы оценивания успеваемости студентов осуществляются вузами активно последние 20 лет, а некоторые преподаватели начали использовать отдельные элементы рейтинга намного раньше. Однако основной задачей рейтинговой системы в этих исследованиях является лишь активизация деятельности студентов для более объективной оценки их успеваемости.
В большинстве случаев рейтинговая система оценивания результатов обучения студентов по дисциплине основана на учете накапливаемых ими оценок в баллах за выполнение различных учебных работ или регулярно проводимых контрольных мероприятий. В отличие от традиционного способа оценивания, рейтинговая технология предполагает последовательное суммирование оценок студента по данной дисциплине в течение некоторого периода времени:
X От
(1)
т = 1
^ЖауЧНО-ТеХНИЧе£КИе«ВеДОМО£ТИ.СПбГПУ.£'.2209.ЭКОНОМИЧе£КИе«НаУКИ
где От - текущая оценка студента; т - номер проверки; г - число контрольных мероприятий от начала семестра до текущего момента.
Текущие оценки От студента по данной дисциплине изменяются в течение семестра, но рейтинговая оценка постоянна, поэтому служит лишь косвенным показателем объема накопленных знаний студента от начала семестра до текущего момента.
В Дальневосточном государственном университете, с 2002 года существует, т. е. разработана и опробована, уникальная рейтинговая система оценивания уровня формирования компетенций специалистов, включающая проектирование содержания учебной дисциплины, планирование видов учебной деятельности с учетом их веса, организацию рейтингового оценивания достижений студентов, сбор результатов учебной деятельности с вычислением рейтинговой оценки, использование текущих достижений студентов для анализа качества процесса подготовки компетентных специалистов [1]. Данная рейтинговая система использует понятие "идеальный студент", т. е. модель студента, который осваивает учебный план во всей полноте, являя собой интегральный целевой показатель. Сравнивая достижения студентов с достижениями "идеального студента", можно оценивать, насколько полно сформированы те или иные компетенции в рамках освоения содержания учебной дисциплины.
Такая рейтинговая оценка получила название относительной - г(К). Относительная рейтинговая оценка студента после каждого контрольного мероприятия вычисляется как частное от деления суммы оценок студента на сумму оценок "идеального студента" и выражается в процентах:
X Р От
г (К) = ■
-100 %,
X Р О
(2)
тах т
где ОТ - текущая оценка студента, полученная на контрольном мероприятии т; От™ - оценка "идеального студента" (целевой показатель) в рамках контрольного мероприятия т (т = 1, 2, ..., К); К - число контрольных мероприятий от начала семестра до текущего момента времени; р(т) -поправочный коэффициент.
Поправочный коэффициент р(т) = ат, где а > 1, вводится с целью компенсировать инерци-
онность рейтинговой оценки, которая в противном случае не позволяет отследить резкие изменения в учебной политике студентов: усилия студентов, набравших темп к концу семестра недооцениваются в рейтинге, а усилия студентов, снизивших темп переоцениваются.
Относительная рейтинговая оценка г(К), полученная студентом после т контрольных мероприятий, показывает, какую часть объема учебного материала, который согласно учебному плану студент должен был усвоить для формирования той или иной компетенции за данный период времени, он усвоил. Последовательность значений относительной рейтинговой оценки характеризует устойчивость работы студента в течение семестра.
Использование относительной рейтинговой оценки ориентирует студентов на сравнение своих достижений, главным образом, не с другими студентами, а с виртуальным "идеальным студентом", показывающим, насколько их работа соответствует установленным требованиям.
Особенность относительной рейтинговой оценки состоит в том, что она может не только возрастать, но и убывать или оставаться практически постоянной некоторое время в течение семестра.
В исключительных случаях, когда студент выполняет учебную работу в объеме, превышающем плановый, относительная рейтинговая оценка может превышать 100 %.
При всех достоинствах относительной рейтинговой оценки ее возможностей часто оказывается недостаточно. Прежде всего для оценки разных видов учебной деятельности могут применяться шкалы, значительно отличающиеся друг от друга.
После выделения нескольких видов учебной деятельности с несопоставимыми по масштабам шкалами оценок встает вопрос о вкладе каждого из этих видов в рейтинговую оценку студента с учетом важности для его профессиональной подготовки.
Так в развитии идеи объективного оценивания рейтинговая оценка студента приобретает структуру. Относительная структурированная рейтинговая оценка возникает тогда, когда для оценивания различных видов учебной деятельности студентов эти виды деятельности должны входить в рейтинговую оценку с учетом их важности для обучения студентов, возможно при
этом преподаватель использует несовпадающие шкалы баллов.
Относительная структурированная рейтинговая оценка вычисляется по формуле
к „;
Я(К) = X ^, (3)
г = 1 ¿к
где I — номер учитываемого в рейтинговой оценке вида учебной деятельности (г = 1, 2, ..., к); к -число учитываемых видов учебной деятельно-
к
сти; = X р рг - сумма баллов за учитывае-
т= 1
мые в рейтинге виды учебных достижений, полученные студентом в ходе к проверок;
к
¿К = X Р РТ* - сумма баллов для "идеального
г= 1
студента" (целевой показатель) за г-й вид учебной деятельности; — весовой коэффициент, в процентном выражении показывающий, какую долю в рейтинговой оценке "идеального студента" должен занимать г-й вид учебной деятельности. Сумма весовых коэффициентов должна быть равна 100 %, т. е. требуется, чтобы удовлетворя-к
лось условие X V = 100%.
г = 1
Заметим, что относительная рейтинговая оценка г(К) представляет собой частный случай структурированной рейтинговой оценки Я(К). Если число к учитываемых видов учебной деятельности в формуле (3) положить равным единице, то структурированная рейтинговая оценка Я(К), вычисляемая по этой формуле, станет равной относительной рейтинговой оценке г(К), вычисляемой по формуле (2).
Последовательность значений относительной структурированной рейтинговой оценки студента в течение семестра показывает, насколько устойчиво и регулярно студент выполнял все виды учебных работ.
Относительная структурированная рейтинговая оценка может изменяться в течение семестра в интервале от 0 до 100 %.
Основным показателем работы студента в семестре является совокупная рейтинговая оценка, которая определяется по всему множеству дисциплин, изучаемых в семестре, как средневзвешенная величина рейтинговых оценок по дисциплинам. Например, если для т дисциплин подсчитаны относительные структурированные рейтинговые оценки Щ, то совокупная рейтинго-
вая оценка по этим дисциплинам вычисляется по формуле
т
X а.Я.
¿—I 1 1
= ^-, (4)
Т ' 4 7
X а1
где 1 — номер дисциплины; т - число дисциплин; Я^ — рейтинговая оценка студента по 1-й дисциплине, определенная к моменту расчета совокупной рейтинговой оценки; а1 — весовой коэффициент дисциплины, который равен числу зачетных единиц, установленному для данной дисциплины в рамках основной образовательной программы. Совокупная рейтинговая оценка может также изменяться в течение семестра в интервале от 0 до 100 %.
Основным документом, определяющим работу преподавателя и студентов в рамках рейтинговой системы, является рейтинг-план (см. образец).
По рейтинг-плану определяются соотношение видов учебной деятельности студента, необходимых для формирования тех или иных компетенций и учитываемых в рейтинговой оценке по данной дисциплине, шкалы текущих оценок и календарный план контрольных мероприятий по дисциплине.
Форма контроля учебной деятельности студентов выбирается преподавателем в зависимости от вида занятий, предусмотренных рабочим учебным планом:
для лабораторных занятий - традиционная проверка отчетов, оценка выполненных заданий и др.;
для практических (семинарских) занятий -оценка выступления, решения задач, выполнения контрольных работ (в том числе тестирование) и др.;
для лекций - тестовая оценка знаний студентов (бланковое тестирование на лекционном занятии или компьютерное тестирование в установленное преподавателем время), коллоквиум, экспресс-опрос и др.
Оценка учебной деятельности производится одновременно для всех студентов и так часто, как этого требуют специфика дисциплины и вид занятия.
Для оценки результатов отдельных видов текущей работы студента преподаватель выбирает любые подходящие шкалы: стобалльную, десятибалльную, пятибалльную, трехбалльную, двухбалльную и др.
^ЖауЧНО-ТеХНИЧе£КИе«ВеДОМО£ТИ.СПбГПУ.£'.2209;.ЭКОНОМИЧе£КИе«НаУКИ
Рейтинг-план дисциплины
Название дисциплины согласно рабочему учебному плану
Институт, факультет_
Курс_группа(ы)_семестр_200 /200 гг.
Преподаватель:_
Ф.И.О., ученая степень, ученое звание
Исполняющая кафедра: 1
Адрес_номер комнаты_
Весовой коэффициент дисциплины в совокупной рейтинговой оценке, рассчитываемой по всем дисциплинам, равен_.
I. Соотношение видов учебной деятельности студента, учитываемых в рейтинговой оценке при формировании_компетенции(й) в рамках дисциплины.
№ Вид учебной деятельности студентов Весовой коэффициент, %
1
2
3
4
Сумма 100%
II. Максимально возможные баллы за виды контролируемой учебной деятельности студента (оценки "идеального студента" за одну единицу учебной работы).
№ Содержание вида контролируемой учебной деятельности Единица измерения работы Максимальное количество баллов за единицу выполненной работы
III. Календарный план контрольных мероприятий по дисциплине с указанием максимального количества баллов, потенциально доступных студенту (оценки "идеального студента" на занятиях).
№ Дата Модуль Вид контроля Максимальное количество баллов
Данные о результатах контрольных мероприятий преподаватель вносит в журнал текущих достижений студентов. Он отмечает даты проведения контрольных мероприятий и в строку "идеальный студент" вписывает максимальные суммы баллов, которые согласно рейтинг-плану могли быть получены студентами по учитываемым видам учебной работы на данном контрольном мероприятии. Затем против фамилии каждого студента выставляются его фактические оцен-
ки, полученные на данном контрольном мероприятии.
После каждого занятия или после того, как студенты освоят весь материал очередного учебного модуля и выполнят все контрольные мероприятия, относящиеся к этому модулю, данные из журнала текущих достижений студентов преподавателем или другим ответственным специалистом вводятся в информационно-аналитическую систему коммуникационного
обеспечения рейтингового оценивания уровня формирования компетенций WEBRATE ДВГУ, где осуществляется вычисление текущих относительных, относительных структурированных, а также совокупных рейтинговых оценок деятельности студентов [2]. Полученные в WEBRATE ДВГУ оценки пригодны для проведения статистического анализа учебного процесса, осуществления корректирующих и предупреждающих действий.
Таким образом, предложенная технология комплексной оценки компетенций специалистов
позволяет отказаться от традиционной эклектичной системы оценивания успеваемости студентов с ее двух- или четырехбалльной шкалой и перейти к подготовке специалистов по установленным заранее целевым показателям качества. Стобалльная шкала оценивания учебных достижений позволяет применять статистические методы анализа с целью выявления несоответствий и предупреждения причин их появления. Иными словами, у преподавателей и управленческого персонала вуза впервые появляется возможность управлять качеством подготовки специалистов на основе фактов.
СПИСОК ЛИТЕРАТУРЫ
1. Поддубный А.В., Ащепкова Л.Я., Панина И.К., Смышляев А.Б., Арефьева О.Д. Рейтинговая система оценивания успеваемости студентов. Владивосток: Изд-во Дальневост. ун-та, 2006. 108 с.
2. Смышляев А.Б., Поддубный А.В., Пани-
на И.К., Ащепкова Л.Я., Мелехин С.П. Информационно-аналитическая система контроля успеваемости студентов "WEBRATE ДВГУ". Свид. о рег. в Реестре программ для ЭВМ Рос. агентства РОСПАТЕНТ № 2004612031 от 03.09.04.