CC BY
113
Образование и наука. 2012. № 10 (99)
КВАЛИМЕТРИЧЕСКИЙ ПОДХОД В ОБРАЗОВАНИИ
УДК 378.661
В. И. Блинов, О. Ф. Батрова, Е. Ю. Есенина, А. А. Факторович
КОНЦЕПЦИЯ ОЦЕНИВАНИЯ КВАЛИФИКАЦИЙ
Аннотация. Необходимость изменения подходов к оценке квалификации является в настоящее время одной из самых обсуждаемых тем в научно-педагогическом сообществе. В сфере профессионального образования как в России, так и за рубежом акцент все больше смещается на результаты обучения (learning outcomes): в качестве ведущего выдвигается принцип целесообразности (fit for purpose), на первое место выходит операциональная составляющая профессиональной готовности, итогом освоения образовательной программы или самообразования, саморазвития человека становится присвоение квалификации, значимой для рынка труда и основанной на объективных требованиях трудовой деятельности.
К сожалению, пока не существует единой методологии квалификационной аттестации специалистов. Нужна интегральная оценка владения способами профессиональной деятельности и готовности применять усвоенные знания и умения на практике. Авторы статьи предлагают собственную концепцию оценивания квалификаций, опирающуюся на анализ накопленного отечественного и зарубежного опыта функционирования высших учебных заведений профессионального образования. Рассмотрены причины изменения содержательного наполнения понятия «квалификация», раскрыты принципы оценивания квалификаций в современных условиях, представлен терминологический аппарат концепции, описана методика процедуры независимой экспертизы.
Ключевые слова: квалификация, результаты обучения, система независимой оценки и сертификации квалификаций.
Abstract. The necessity of changing the approach to qualification assessment appears to be one of the main topics for discussion in the modern scientific pedagogic society. In the sphere of vocational education both in Russia and abroad, the emphasis is increasingly shifting to the learning out-
comes: the expediency principle is regarded as the leading one; the operational component of professional readiness takes the first place; the results of mastering the educational program, as well as self-education and self-development, are viewed as providing the qualification significant for the labor market and based on the actual work requirements.
Unfortunately, there is no unified methodology of qualification assessment; such integrated assessment of professional readiness for applying the acquired knowledge and skills in practice is urgently needed. The authors recommend a new concept of qualification assessment based on the experience of higher vocational educational establishments both in Russia and abroad. The reasons for changing the content of qualification concept are outlined, the principles of quality assessment in modern conditions are revealed along with the concept terminology mechanism and method of independent expertise procedure.
Keywords: qualification, learning outcomes, independent qualification assessment and certification system.
Актуальность концепции
Назревшая потребность разработки и внедрения концепции оценивания квалификаций обусловлена рядом взаимосвязанных факторов.
Социально-экономические и политические изменения в стране стали причиной разрушения привычной для плановой советской экономики системы подготовки профессиональные кадров, в которой объективно отсутствовала необходимость в процедурах оценки квалификаций, так как существовали устойчивые связи учреждений профессионального образования с предприятиями и практика доучивания молодых специалистов на производстве позволяла добиваться приемлемого уровня их профессионализма. В нашей недавней традиции оценка квалификации по умолчанию отождествлялась с оценкой качества освоения образовательной программы. Сдав экзамены, в первую очередь проверявшие память и идеологическую благонадежность, выпускник получал соответствующую запись в дипломе о специальности, а также о квалификации, связанной с выполнением определенного круга профессиональные задач. Запись носила, скорее, условный характер. Для всех быьло очевидно, что квалификация, в полном смысле этого слова, приобреталась впоследствии в непосредственной деятельности. Только по прошествии трехлетнего срока человек воспринимался как полноценный работник, который может и должен нести ответственность за самостоятельно принятые решения и результаты своего труда.
При рыночной экономике система доучивания невыгодна работодателям, предпочитающим либо создавать свои корпоративные центры подготовки кадров, либо принимать на работу уже состоявшихся высококвалифицированных сотрудников. Низкие и средние квалификации, формирующиеся «на выходе» большинства образовательных учреждений профессионального образования, больше не устраивают рынок труда.
Ситуация осложняется тем, что в России, как и в других странах мира, постепенно происходит смена общественной стадии развития - совершается переход от индустриальной к постиндустриальной экономике. Диверсификация производства, быстрая смена технологий обусловили мобильность квалификаций, за которой система образования, со всей очевидностью не поспевает. Некоторые квалификации устаревают, появляются новые, изменяются требования к специалистам. Становится невозможным получение квалификации раз и навсегда - пожизненно («lifetime»). С одной стороны, нормой в современном обществе устанавливается принцип обучения в течение всей жизни, помимо формального образования развиваются и приобретают вес неформальное и спонтанное (информальное) образование. С другой стороны, на рынке растет конкуренция образовательных услуг, возникают негосударственные «провайдеры», среди которых встречаются и недобросовестные, что ведет к появлению «псевдоквалификаций».
В таких условиях первостепенное значение приобретает оценивание объективной готовности человека к выполнению определенного вида трудовой деятельности с последующим официальным признанием, подтверждением в виде документа (диплома, сертификата и т. д.) вне зависимости от времени, места и формы получения образования. Кроме того, сегодня проблема оценки квалификации актуализируется в связи с активно формирующейся в последние годы системой независимой (от обучающих: преподавателей и образовательных учреждений) и объективной (основанной на использовании системы единых, отражающих требования трудовой (профессиональной) деятельности показателей и критериев) констатации такой готовности.
Любое оценивание носит оттенок субъективности и может быть организовано по-разному в зависимости от поставленных целей. Наиболее существенными, инвариантными для профессиональной готовности, независимо от рода занятий, называют три компонента: информационный, операциональный и мотивационный. Они
соответственно характеризуют знания, способы деятельности и отношение человека к деятельности.
В процедурах оценивания могут возникать две крайности: преобладание либо мотивационной, либо информационной составляющей.
Оцениванию мотивационны1х диспозиций человека (потребностей в достижении власти, аффилиации, избегании, постоянстве) посвящена теория и методика Дэвида Макклелланда [1]. Метод обнаружения скрытых потребностей-мотивов путем анализа рассказов испытуемых на заданную тему с использованием кодирования ассоциативного мышления распространен в психологии и используется в области управления персоналом в целях повышения силы мотивации работников и самоотдачи их деятельности.
В формальном профессиональном образовании традиционным является оценивание знаний, умений и навыков (ЗУН) в процессе и по окончании образовательной программы. Однако достаточно хорошо разработанная система педагогических измерений малоэффективна при определении профессиональной квалификации. Образовательные достижения могут свидетельствовать об уровне образованности, но не об уровне готовности к действию. Сумма результатов оценивания знаний, умений и навыков не дает возможности судить о том, может ли человек применять их в реальной трудовой деятельности.
Именно поэтому в международной и российской практике профессионального образования в последние годы активно внедряется подход learning outcomes (результаты обучения), основанный на принципе целесообразности (fit for purpose). Результатом обучения (освоения образовательной программы или самообразования, саморазвития человека) становится получение квалификации, значимой для рынка труда и основанной на объективных требованиях трудовой деятельности. Смещение акцента на результаты обучения выводит на первое место операциональную составляющую профессиональной готовности. Нужна интегральная оценка степени владения способами деятельности и готовности применять знания и умения на практике.
Необходимость изменения подходов к оценке квалификации является одной из самы1х обсуждаемых тем в научно-педагогическом сообществе. Появление большого количества публикаций, посвященных данной проблеме, свидетельствует об устойчивом интересе к ней, но, к сожалению, единые методологических подходов
к процедуре оценивания пока не выработано. Этим обусловлена злободневность создания и продвижения концепции оценивания квалификаций, соответствующей новым условиям функционирования профессионального образования.
Термины и определения
Прежде чем приступить к описанию концепции оценивания квалификаций, следует обозначить ее терминологический аппарат и привести определения основных понятий:
• квалификация - это готовность к выполнению определенного вида трудовой деятельности, подтвержденная официальным признанием (в виде диплома, сертификата и др.);
• национальная рамка квалификаций Российской Федерации - документ, содержащий обобщенное описание квалификационных уровней и основных путей их достижения на территории России (используется в качестве инструмента сопряжения сфер труда и образования);
• квалификационный уровень - группа квалификаций, имеющих сходные характеристики, установленные национальной (отраслевой) рамкой квалификаций;
• профессиональный стандарт - многофункциональный нормативный документ, описывающий в рамках конкретного вида экономической деятельности (области профессиональной деятельности) содержание трудовых функций, оформившееся в результате разделения труда в конкретном производственном (бизнес-) процессе, и необходимых для их выполнения компетенций по различным квалификационным уровням, а также ряд других параметров, характеризующих специфику труда. Структурно стандарт состоит из описаний видов трудовой деятельности;
• вид трудовой деятельности - совокупность связанных между собой трудовых функций, сложившаяся в результате разделения труда в конкретном производственном (бизнес-) процессе. Вид трудовой деятельности имеет специфические объекты, условия, характер и результаты труда;
• результаты обучения - совокупность освоенных человеком знаний, умений и/или компетенций, которые он может продемонстрировать по завершении обучения (определение принято в рекомендациях Еврокомиссии по использованию Европейской рамки квалификаций);
• компетенция - готовность применять знания, умения и практический опыт для успешного выполнения трудовой(ых) функ-ции(ий);
• трудовая функция - совокупность действий, направленных на выполнение относительно автономной и завершенной части производственного (бизнес-) процесса в рамках конкретного вида трудовой деятельности;
• показатель - формализованное описание оцениваемых основных (ключевых) параметров процесса (алгоритма) или результата деятельности;
• критерий - признак, на основании которого проводится оценка по показателю;
• формальное образование - 1) полученное в аккредитованном образовательном учреждении (определение принято в рамках Болонского процесса); 2) приобретенное в результате освоения официально признаваемых (регулируемых государством) образовательных программ;
• неформальное образование - образование, полученное на различных курсах, в процессе повышения квалификации по месту работы (определение принято в рамках Болонского процесса);
• спонтанное (информальное) образование приобретается в результате практического опыта, в процессе работы, в быту и т. п. (определение принято в рамках Болонского процесса).
Назначение концепции
Цель предлагаемой концепции - разработка основных принципов, подходов к отбору содержания и процедур оценивания квалификаций, соответствующих современному этапу развития профессионального образования.
При разработке концепции мы исходили из того, что оценивание и констатация наличия квалификации должны удовлетворять потребности
• человека - в трудоустройстве, продвижении по карьерной лестнице;
• работодателя - чтобы оценить квалификацию работника при приеме на работу, расстановке кадров, принятии решении о необходимости обучения или повышения квалификации персонала, решений о продвижении, карьерном росте сотрудников;
• образовательной организации - в обеспечении гарантий качества образования и соблюдении условий проведения итоговой аттестации при завершении образовательного процесса. В соот-
ветствии со ст. 14, п. 3 Федерального Закона «Об образовании» и готовящимся к утверждению законопроектом «Об образовании в Российской Федерации», «содержание профессионального образования и профессионального обучения должно обеспечивать получение профессии (специальности) и (или) соответствующей квалификации» [2].
Основные идеи концепции могут использоваться для проведения
• процедуры независимой оценки и сертификации квалификаций;
• аккредитационной экспертизы соответствия содержания и качества подготовки обучающихся и выпускников образовательной организации федеральным государственным образовательным стандартам или федеральным государственным требованиям;
• промежуточной аттестации по отдельным элементам основной профессиональной образовательной программы по специальности СПО/профессии НПО, основной образовательной программы по направлению подготовки ВПО, профессиональной образовательной программы ДПО (в том случае, когда результатом обучения становится освоение одной или нескольких профессиональных компетенций (трудовых функций) или вида трудовой деятельности в целом).
Система принципов оценивания
Основные принципы концепции взаимосвязаны друг с другом. Обозначим их.
Независимость оценки. Констатация наличия квалификации, понимаемой как готовность к выполнению определенного вида трудовой деятельности, совершается независимой от обучающих (преподавателей и образовательных учреждений) структурой (например, Центром оценки и сертификации квалификаций) и ведет к сертификации (официальному признанию с выдачей соответствующего документа) полной квалификации или ее части. В процедуре оценки в качестве экспертов выступают представители образовательного и профессионального сообщества, обладающие опытом и высокой квалификацией в определенной трудовой (профессиональной) деятельности. При этом допускается, что оценивание происходит по завершении основной (профессиональной) образовательной программы или отдельного профессионального (учебного) модуля.
Интегративный (комплексный) характер оценивания. Данный принцип подразумевает, что квалификация должна быть оценена в целом, комплексно, в условиях профессиональной деятельности или при обстоятельствах, максимально приближенных к ней. Простая сумма знаний и умений не позволяет судить о готовности применять их на практике и не может привести к выводу о наличии квалификации.
Процедура определения квалификации подразумевает создание «мотивационной системы», т. е., иными словами, условий и ситуаций, актуализирующих усвоенный материал, профессионально значимые личностные качества, приобретенные знания и умения осуществлять необходимые действия на рабочем месте, которые ведут к получению определенного результата (продукта) или являются содержательным наполнением процесса трудовой (профессиональной) деятельности. Тогда и появляется возможность их реальной проверки. Интегративный характер оценивание приобретает именно тогда, когда в качестве его объектов выступают продукт или процесс деятельности.
Объективность оценивания. Оценивание, которое проводится независимыми экспертами, должно быть основано на показателях и критериях, объективно значимых для качества выполнения деятельности. Важнейшим условием при этом является взаимосвязь показателей и критериев с предметом оценивания (квалификацией) и соответствующим ему объектом (продуктом и/или процессом деятельности).
Подведение итогов процедуры определения квалификации следует осуществлять с использованием дуальной оценки. Главное требование к показателям и критериям - диагностичность. Факт соответствия объекта оценивания установленным показателям и критериям (а следовательно, и наличие квалификации) должен определяться любым экспертом объективно и однозначно.
Единство подходов к оцениванию квалификаций вне зависимости от уровня образования и стажа работы. Этот принцип логически вытекает из содержания трех предшествующих. Наличие квалификации может быть установлено независимой, интегратив-ной и объективной экспертизой только при непосредственной демонстрации готовности к осуществлению определенного вида трудовой деятельности. Количественные же характеристики уровня образования и стажа работы являются лишь косвенным доказа-
тельством качества выполнения трудовых функций и умения применять имеющиеся знания на практике. Поэтому требования процедуры признания квалификации едины для любого претендента вне зависимости от представленных документов о его предшествующей деятельности.
Практикоориентированность и междисциплинарность оценочных средств. Принцип также тесно связан с предыдущими. Оценочные средства носят комплексный характер, так как предназначены для определения правильности многоходовых решений как типичных, так и нестандартных задач, требующих применения информации из разных предметных областей. В идеале задание представляет собой показательное выполнение универсальных способов деятельности в реальных или максимально близких к ним смоделированных условиях. Работодатели сегодня заинтересованы в кадрах, обладающих личностными качествами, высоким интеллектом и широким спектром компетенций, повышающих эффективность труда. Констатировать готовность человека к решению профессиональных задач, зафиксировать и общие, и специфические профессиональные компетенции, подтверждающие квалификацию соискателя, позволяют именно междисциплинарные оценочные средства.
Итерационный характер разработки оценочных средств. Итерационность процесса разработки оценочных средств обеспечивает их валидность при обязательной включенности в их создание представителей академического, профессионального сообществ и самих испытуемых. Экспертиза с участием разных заинтересованных сторон и апробация на выборке испытуемых требует корректирования содержания оценочных средств, ведущего к окончательной итерации, которая, в свою очередь, должна пересматриваться через определенный промежуток времени (его продолжительность может составлять от года до пяти лет) относительно актуальности и соответствия предмету и объектам оценивания.
Адаптируемость инструментария оценивания, т. е. преемственность и непротиворечивость процедур определения квалификационного уровня подразумевает, что идеи концепции распространяются как на внешние (например, в центрах сертификации квалификаций), так и на внутренние (непосредственно в самих образовательных учреждениях профессионального образования) экспертизы.
Единые подходы к разработке и использованию оценочных средств для любых предметов оценивания - знаний, умений, практического опыта, компетенций - обеспечивают объективность и эффективность процедуры оценивания квалификации.
Этапность оценивания включает несколько аспектов. Во-первых, это наличие предварительной процедуры, имеющей статус допуска к основным квалификационным испытаниям, к которым допускаются только лица, доказавшие способность пройти их успешно. Данная процедура, происходящая в форме собеседования или других форм общей проверки профессионально значимых знаний и умений, придает большую результативность основной экспертизе.
Во-вторых, любая трудовая деятельность представляет собой сложный процесс, и оценить квалификацию одномоментно или за короткий период времени, чаще всего, невозможно. Так, в Финляндии оценочно-сертификационные процедуры, устанавливающие уровень квалификации, длятся от полугода до полутора лет в зависимости от особенностей профессии. Для аттестуемого составляется специальная программа оценивания, и он устраивается на работу с испытательным сроком до ее окончания.
В-третьих, возможно постепенное «наращивание» квалификации на рабочем месте или за счет программ дополнительного профессионального образования и оценивание ее по частям, например помодульно. В образовательных учреждениях профессионального образования освоение основных программ рассредоточено во времени, поэтому аттестация по каждому разделу программы или по каждому учебному модулю происходит сразу после их освоения.
Индивидуализация подходов к оцениванию значима относительно атмосферы проведения экспертизы. Для объективности оценки важно снять психологические барьеры, успокоить волнение испытуемого. В раскрепощенной доверительной обстановке человек способен показать максимально высокий для себя результат, поэтому члены комиссии должны поддерживать непринужденную дружелюбную тональность контактов во время квалификационных испытаний. В зарубежной практике для соблюдения данного принципа иногда используется скрытое экспертное наблюдение, проводится запись видеоматериалов и т. д., при условии если это не противоречит специфике оцениваемой деятельности.
Алгоритм разработки оценочных средств
Перечисленные выше принципы задают общую логику разработки оценочных средств. Ее можно представить в виде схемы (рисунок).
Определение цели оценивания (зачем?)
Выбор предмета и объекта оценивания (что?)
Выбор метода и инструментов оценивания (как?)
Внутреннее или внешнее оценивание (где?)
Алгоритм разработки оценочных средств
Принцип независимости оценки дает возможность ответить на вопросы, зачем и где проводится процедура оценивания квалификации. На основе принципа интегративности определяется, что оценивается (каков предмет и объекты оценивания). Остальные принципы раскрывают различные аспекты того, как происходит процедура оценивания и с помощью какого инструментария.
Согласно указанным принципам был подготовлен макет комплекта оценочных средств и разработаны методические рекомендации, содержащие описание пошаговых операций, позволяющих сделать вывод о количестве и типах заданий, необходимых для констатации определенной квалификации, и построить программу оценивания. Последовательность разработки оценочных средств представлена в табл. 1.
Таблица 1
Алгоритм разработки оценочных средств
Шаги алгоритма Комментарий
1. Выбор предмета оценивания Предмет оценивания (квалификация) для удобства экспертизы должен декомпозироваться до компетенций. Целесообразно разрабатывать комплексные задания, проверяющие группу компетенций (профессиональных и общих (общекультурных)), поэтому компетенции необходимо сгруппировать на основе анализа существующих между ними связей.
Шаги алгоритма Комментарий
Декомпозиция предмета оценивания до конкретных умений и знаний возможна в случае, когда этого требует специфика квалификации и необходим допуск к основным квалификационным испытаниям1. Знания и умения также следует сгруппировать. В случае если оценочные средства разрабатываются на основе только профессионального стандарта, аналогичные действия необходимо произвести с трудовыми функциями, описанными в нем
2. Выбор объекта оценивания Необходимо определить объект оценивания для каждой группы компетенций (трудовых функций), сформированных на первом этапе. Объектами могут выступать продукт деятельности, процесс деятельности, продукт и процесс одновременно. Выбор процесса деятельности в качестве объекта дает возможность оценить правильность применения инструментов, оборудования, соблюдение правил техники безопасности и т. д.; соблюдение временных факторов. Кроме того, оценивание процесса целесообразно, если продукт (результат) имеет отсроченный характер и/или оценивается сложней, чем процесс. Выбор продукта деятельности в качестве объекта дает возможность провести оценивание, если неважно, каким образом получен продукт, какие использованы методы (технологии); если сложно обеспечить процедуру наблюдения за процессом (например, выполняется умственная деятельность или он выполняется длительное время). В этом случае при необходимости оценка продукта деятельности может быть дополнена защитой (обоснованием)
3. Определение длительности выполнения, места выполнения задания, необходимого оборудования / материалов и т. п. На основании выбранных объектов оценивания требуется определить, какие условия проведения оценочной процедуры - необходимое количество времени, оптимальное место проведения, необходимые материалы и оборудование -могут обеспечить ее валидность и достоверность полученных в ходе проверки результатов. От ответа на поставленные вопросы зависит выбор форм и методов оценивания
4. Выбор формы оценивания Производится выбор оптимальной формы проведения квалификационных испытаний: • очная (по принципу «здесь и сейчас») - устный, письменный или компьютеризированный экзамен;
1 Наиболее распространенный и общепонятный пример - экзамены в автошколе. Требования безопасности требуют проверки знаний аттестуемых по правилам дорожного движения с помощью специальных тестов-тренажеров, умений проводить основные манипуляции за рулем (задания на площадке). И только после этого испытуемый допускается к основному экзамену - вождению по городу, где и проявляются все его знания, умения плюс готовность действовать в реальной дорожной ситуации, что и становится подтверждением квалификации водителя.
Шаги алгоритма Комментарий
• заочная - с использованием метода экспертной оценки представленных материалов (например, видеоматериалов или экспертная оценка портфолио документов или работ); • смешанная (в том числе многоэтапная)
5. Выбор метода оценивания Выбор метода происходит на основе предыдущих этапов. Допускается выбор нескольких методов, их комбинирование. Основное условие - непротиворечивость выбранным объектам, условиям и формам оценивания. Методы оценивания достаточно разнообразны, среди них могут быть методы тестирования, демонстрационного задания, моделирования ситуации (в том числе, деловая игра), метод проектов, защиты портфолио, экспертного наблюдения, экспертной оценки и др.
6. Определение показателей оценки Характеристика особенностей выбора объектов оценивания (см. шаг 2) уже закладывает в обобщенном виде содержание показателей и критериев оценивания. Предмет, объект, показатели и критерии оценивания находятся в тесной взаимосвязи, но на конкретное содержательное наполнение показателей и критериев влияют и выбранные условия, формы и методы оценивания, поэтому формулировать показатели и критерии необходимо именно на этапах 6 и 7 данного алгоритма. Показатель представляет собой свидетельство наличия квалификации, он может быть представлен как формализованное описание оцениваемых основных параметров процесса или продукта деятельности. Показатели демонстрируют, что является свидетельством качества объекта оценивания. Формулировка показателей осуществляется с учетом принципов диагностируемости и малых чисел
7. Определение критериев оценки Критерий - признак, на основании которого проводится оценка по показателю, т. е. это уточняющий показатель. Критерии позволяют дать дуальную оценку этому качеству по принципу однозначного ответа «да - нет», «выполнено -не выполнено». Формулировка критериев также осуществляется с учетом принципов диагностируемости и малых чисел
8. Формирование типового задания В заключение на основании проделанных пошаговых логических операций необходимо сделать вывод о количестве и общем характере заданий, которые должен выполнить испытуемый, чтобы констатировать наличие квалификации, сформулировать типовые задания и построить программу процедуры оценивания. Типовое задание содержит общее для вариантов заданий содержание (например, «провести ремонт автотранспорта». Конкретные варианты задания будут содержать конкретное наименование автотранспорта, условия, дающие
Шаги алгоритма Комментарий
возможность определить его неисправность и способы ремонта) . Программа процедуры оценивания зависит, в первую очередь, от выбранных форм и методов проведения процедуры оценивания
Макет комплекта оценочных средств
В макете оценочных средств указываются:
• их назначение: например, для проведения аккредитацион-ной экспертизы соответствия содержания и качества подготовки обучающихся и выпускников образовательной организации федеральным государственным образовательным стандартам; для проведения процедуры независимой оценки (сертификации) квалификации; для проведения промежуточной аттестации (указывается элемент основной профессиональной образовательной программы по специальности СПО / профессии НПО / направления подготовки ВПО или ДПО);
• форма проведения оценочной процедуры: квалификационный экзамен, дифференцированный зачет или др.;
• населенный пункт, в котором проводится экспертиза; год ее проведения;
• данные разработчиков макета (фамилия, место работы и занимаемые должности);
• данные экспертов от работодателя (фамилия, место работы и занимаемые должности).
Рекомендуется согласовать оценочные средства с представителями профессионального сообщества (работниками и/или специалистами по профилю получаемого образования, руководителями организаций отрасли, профессиональными экспертами и др.) и приложить документы, подтверждающие факт согласования.
Затем заполняется паспорт комплекта оценочных средств, в котором прежде всего обозначаются предмет(ы) и объект(ы) оценивания, а также показатели оценки.
Далее следует описание правил оформления результатов оценивания: какие решения и на основании чего (какой шкалы) могут быть приняты экспертной (экзаменационной) комиссией по итогам проведения процедуры оценивания; формулировки решений и общих оснований для этих решений.
Комплект оценочных средств включает тексты заданий, условия их выполнения (место (например, цех предприятия, мастер-
ская ОУ (ресурсного центра), полигон, учебная фирма и т. п.); максимальное время выполнения; используемое оборудование (инвентарь), расходные материалы, литература и другие источники, информационно-коммуникационные технологии и пр.), а также критерии оценки. При разных условиях выполнения вариантов, их описание размещают после текста каждого варианта задания.
Если экспертиза предусматривает подготовку и защиту проекта испытуемым, то приводится примерная проектная тематика, перечисляются требования к структуре и оформлению проекта, предмет(ы) оценивания, показатели и критерии оценки. Если испытаниями предполагается подготовка и защита портфолио, то макет должен содержать перечень документов, входящих в него, требования к оформлению портфолио, предмет(ы) оценивания, показатели и критерии оценки презентации и защиты портфолио.
Методика разработки оценочных средств
Оформление макета оценочных средств предполагает предварительное заполнение вспомогательной таблицы (табл. 2). Выполнение данной работы позволит корректно оформить паспорт макета, выбрать соответствующие задания, разработать их содержание и определить условия выполнения.
Таблица 2
Вспомогательная таблица алгоритма разработки оценочных средств
Предмет оценивания Объект оценки Длительность выполнения, место выполнения, оборудование / материалы и т. п. (ч / мин) Форма оценивания Метод оценивания Показатели оценки Критерии оценки Типовое задание
1 2 3 4 5 6 7 8
Сразу надо оговориться, что данная методика больше ориентирована на язык сферы профессионального образования, однако подходы к разработке оценочных средств на основе образовательных и профессиональных стандартов являются общими. Следует учитывать, что квалификация является одинаково значимой для сфер труда и образования, но при этом требования к ней формулируются по-разному: через описание трудовых функций в про-
фессиональных стандартах и через описание компетенций как результатов обучения в образовательных стандартах. Трудовая функция - объективная характеристика трудовой деятельности - сопоставима с профессиональной компетенцией. Компетенции содержат в себе характеристику «человеческого фактора» по отношению к трудовой деятельности, мотивационную составляющую, которая не может быть присуща трудовой функции как характеристике собственно деятельности. Но различного рода работа с информацией, работа в команде и тому подобные общепрофессиональные характеристики значимы при оценивании квалификации как на основе компетенций, так и на основе трудовых функций. Они должны быть учтены при составлении оценочных заданий и разработке показателей и критериев оценивания к ним.
Заполнение графы «Предметы оценивания». Здесь указываются наименования предметов оценивания: общие (общекультурные) - ОК и профессиональные компетенции - ПК (трудовые функции), составляющие вид трудовой (профессиональной) деятельности/профессиональный (учебный) модуль.
На основе анализа связи и сопоставимости отдельных предметов оценивания целесообразно объединить их в группы. Оценочные средства рассчитаны на комплексную проверку или нескольких профессиональных, или общих компетенций, или профессиональных и общих компетенций одновременно. Следовательно, необходимо сгруппировать профессиональные и общие компетенции (либо трудовые функции) между собой.
Приведем несколько примеров такой группировки (на основании материалов ФГОС СПО):
Профессиональный модуль «Ввод и обработка цифровой информации»
ПК 1.1. Конвертация файлов с цифровой информацией в различные форматы.
ПК 1.2. Обработка аудио- и визуального контента средствами звуковых, графических и видеоредакторов.
ОК 2. Организация собственной деятельности, исходя из цели и способов ее достижения, определенных руководителем.
ОК 3. Анализ рабочей ситуации, осуществление текущего и итогового контроля, оценка и коррекция собственной деятельности, умение нести ответственность за результаты своей работы.
ОК 5. Использование информационно-коммуникационных технологий в профессиональной деятельности.
Профессиональный модуль «Классное руководство» ПК 1. Определение цели, задач деятельности и планирование работы с родителями.
ОК 2. Организация собственной деятельности, определение методов решения профессиональных задач, оценивание их эффективности и качества.
ОК 4. Осуществление поиска, анализа и оценки информации, необходимой для постановки и решения профессиональных задач, профессионального и личностного развития.
Заполнение графы «Объекты оценки». Выделить объекты оценивания профессиональной (трудовой) деятельности могут помочь их перечни в профессиональных или образовательных стандартах. Но это будет только отправная точка. Как правило, объект уже как бы «заключен» в предмете.
Допустим, предметом оценивания является профессиональная компетенция «организация и проведение технического обслуживания и ремонта автотранспорта». При определении объекта достаточно ответить на вопрос, что важнее и проще увидеть при процедуре оценивания: процесс - в данном случае технологический процесс техобслуживания и ремонта либо результат - отремонтированный автотранспорт или его состояние после проведения техобслуживания. Очевидно, результат деятельности, т. е. отремонтированный или прошедший техобслуживание автотранспорт.
Определить квалификацию, составляющие ее компетенции (трудовые функции) возможно через оценивание продукта деятельности, либо процесса деятельности, либо продукта и процесса одновременно. При оценке одного и того же объекта (продукта либо процесса деятельности) можно зафиксировать отдельную компетенцию, или сразу несколько, или все в совокупности. Процесс оценивается, если
• необходимо проверить и оценить правильность применения инструментов, оборудования, соблюдение правил техники безопасности и т. д.;
• значим временной фактор (необходим хронометраж);
• результат имеет отсроченный характер и/или оценивается сложней, чем процесс.
Продукт деятельности оценивается в тех случаях, когда
• неважно, каким образом и с использованием каких методов (технологий) он получен;
• сложно обеспечить процедуру наблюдения за процессом (например, выполняется умственная деятельность или время вы-
полнения слишком длительное). В этом случае оценка продукта деятельности может быть дополнена защитой (обоснованием).
Одновременная оценка продукта и процесса деятельности позволяет определить готовность к применению профессионально значимой информации на практике, в ходе изготовления продукта.
Заполнение графы «Длительность выполнения, место выполнения оборудование / материалы и т. п.». Поскольку установить квалификационный уровень (компетенции) возможно лишь в условиях практической демонстрации готовности осуществлять необходимые действия, оценочные средства должны содержать требования к тем ситуациям, которые актуализируют необходимую информацию, умения, профессионально значимые личностные качества и в которых становятся очевидными знания, умения, опыт и мотивация к осуществлению деятельности на высоком уровне.
Заполнение граф ««Форма»> и «Метод оценивания». Форма оценивания предмета зависит от сложности его оценки. Оптимальными процедурами классификации квалификационного уровня являются очный (по принципу «здесь и сейчас») устный или письменный экзамен (в том числе зашита проекта или портфолио), а также экзамен, проводимый с использованием электронных носителей. Могут использоваться методы тестирования, демонстрационного задания, моделирования ситуации (в том числе деловые игры), метод проектов, экспертной оценки и др.
Однако принцип «здесь и сейчас» не всегда удобен при оценивании компетенций, которые предполагают большие интеллектуальные, временные и финансовые затраты. В этих случаях возможно заочное оценивание представленных материалов (например, видеосъемок), экспертиза документов портфолио или других подобных работ.
От формы и метода оценивания зависит выбор показателей и критериев оценки результата. Очевидно, что они будут отличаться в случаях анализа портфолио или осуществленного проекта и реализации задания, выполненного непосредственно «здесь и сейчас».
Заполнение граф «Показатели»» и «Критерии») оценивания. Выбор показателей результатов и соответствующих им критериев целесообразно проводить с учетом информации о предметах, объектах оценивания, условиях выполнения того или иного задания, а также избранных форм и методов оценивания. Кроме того, на определение показателей и критериев влияют дополнительные факторы.
Показатель представляет собой формализованное описание оцениваемых основных (ключевых) параметров процесса (алгоритма) или результата деятельности. Критерий - признак, на основании которого проводится оценка по показателю. Показатели отвечают на вопрос, что является свидетельством качества объекта оценивания. Критерии позволяют дать дуальную оценку этому качеству по принципу однозначных ответов «да - нет», «выполнено - не выполнено».
Формулировка показателей и критериев осуществляется с учетом правил диагностируемости; малых чисел; преимущественного использования форм отглагольных существительных (выполнение, выбор, организация, расчет и т. д.).
Различают количественные показатели (фиксируют меру выраженности свойства) и качественные (фиксируют наличие определенного свойства). Критерии первых показателей должны содержать указание на соответствие выполненного процесса (полученного продукта) эталону: ГОСТу, техническому регламенту, технологической карте, правилам, другим документам, устанавливающим количественные требования к качеству процесса или результата деятельности, скорости этого процесса, допустимому объему затрат на его выполнение (получение результата) и т. п.
Критерии вторых (качественных) показателей уточняют требования к свойствам процесса или результата деятельности: соответствие содержанию и правилам (например, соответствие оформления витрины, демонстрационных стендов, эстетической выкладки товара, цветового решения нормам оформления торговых предложений); соответствие целям и задачам (например, соответствие разработки простейших опросных анкет по сбору количественной и качественной информации задачам опроса); соблюдение существующих требований (например, к структуре простейших объявлений при их составлении) и т. п.
Оценивать компетенции нужно при помощи комплексных показателей и критериев, исключающих механическое сложение результатов отдельных знаний или умений. Оптимальное число показателей по каждому объекту оценки - 3-5.
Особое внимание необходимо обратить на ясность, точность и полноту обозначения показателей квалификации. Недопустимо, чтобы
• показатели дублировали формулировку компетенции. Так, некорректен простой повтор (и в том, и в другом случае «проведение внеурочного занятия»; следует указать, какие именно показатели свидетельствуют о том, что внеурочное занятие проведено в соответствии с установленными требованиями);
• формулировка показателей содержала слова «умение», «навык» (например, некорректна формулировка «умение проводить внеурочные занятия», если не раскрывается содержание этого умения; в этом случае компетенция и умение отождествляются, т. е. смысл компетенции сужается, вопрос, что значит уметь проводить такие занятия, остается без ответа, и эксперт не получает четких индикаторов, позволяющих вынести объективное решение);
• формулировка показателей включала понятия «знание», «изложение», поскольку они еще не означают овладение компетенцией: можно знать, но не быть способным применить это знание, знание - только один из инструментов компетенции.
Кроме выражений типа «соответствие содержанию и правилам», «соответствие целям и задачам», «соблюдение требований к...» и подобных, можно использовать такие формулировки, как «точность (правильность) выбора (материалов для ..., режима.)»; «точность диагностики, определения, расчетов.», «точность и скорость (чтения чертежей)»; «скорость и техничность выполнения работ»; «своевременность» (например, оказания неотложной доврачебной помощи при терминальных состояниях); «результативность»; «правильность (рациональность) распределения времени на выполнение задания» и др. Но в любом случае обязательным условием является однозначность понимания критериев экспертным сообществом.
Следует признать, что обычно именно формулировки качественных показателей и критериев вызывают наибольшие затруднения. Нужно помнить, что характеристика общих (общекультурных - ОК) компетенций подразумевает фиксацию профессионально значимых качеств человека: коммуникативных, организаторских, аналитических и т. п. умений. Показатели и критерии их сформированности должны соответствовать видам трудовой (профессиональной) деятельности. Идеальным случаем является объединение (группировка) профессиональных и общих компетенций и объединение показателей и критериев для них.
Заполнение графы «Типовое задание». Общие требования к очному экзамену (который необязательно проводить одномоментно, а можно осуществлять поэтапно) могут быть сведены к следующему:
• задания носят комплексный характер, требуют многоходовых решений как в известных, так и в нестандартных ситуациях;
• все задания направлены на решение не учебных, а профессиональных проблем, их содержание должно быть максимально приближено к реальной профессиональной деятельности;
• задания включают требования к условиям их выполнения (место выполнения; время, отводимое на выполнение задания; необходимость наблюдения за процессом выполнения задания; источники, которыми можно пользоваться и др.).
Некоторые особенности процедуры оценивания имеют защита проекта или портфолио.
В состав портфолио могут входить документы, подтверждающие практический опыт, сформированность компетенций и качество освоения вида профессиональной деятельности. Процедура экзамена в некоторых случаях может быть сведена к оцениванию портфолио членами экзаменационной комиссии либо к публичной защите портфолио аттестуемым. Портфолио может быть представлено на собеседовании, предшествующем квалификационным испытаниям и быть основанием для допуска к ним. В зависимости от выбранной процедуры, необходимо разработать требования к оформлению и (или) защите портфолио.
Проект может обеспечить оценку всех или большинства компетенций. Выбирая защиту проекта, следует помнить, что его содержание должно опираться на опыт работы на практике, отражать уровень освоения компетенций. Тематика проекта должна быть актуальной, учитывающей современное состояние и перспективы развития процесса. Если при таком варианте проведения экзамена возникает необходимость дополнительной проверки сфор-мированности отдельных компетенций, нужно предусмотреть задания, которые аттестуемый может выполнить под непосредственным наблюдением экспертов.
Поскольку проект всегда предусматривает публичную защиту, необходимо сформулировать требования не только к его оформлению, но и к защите.
В целом, любое оценочное средство должно ставить проблему и давать необходимые условия для оптимального решения в профессиональном контексте. При разработке оценочных средств необходимо учитывать, насколько полно они охватывают предмет оценивания, насколько они технологичны (с точки зрения времени выполнения задания и требующегося для его выполнения оборудования), насколько задания сопоставимы между собой по степени сложности, трудности.
Порядок заполнения макета комплекта оценочных средств
Информацию граф 1, 2, 6 вспомогательной таблицы необходимо перенести в паспорт комплекта оценочных средств. Содер-
К вопросу о критериях сформированности компетенций
жание остальных граф используется непосредственно при оформлении комплекта оценочные средств. В паспорте необходимо описать, какие вышоды могут быть сделаны экспертной комиссией, в какой формулировке эти выводы должны быть выражены, а также кратко описать общие основания для каждого из выводов.
Идеальным вариантом оценки компетенций, освоения вида трудовой (профессиональной) деятельности является дихотомическая оценка - «освоен \ не освоен», «зачтено \ не зачтено». Однако на сегодняшний день отсутствуют достаточные нормативные основания для такой оценки, что говорит о необходимости дальнейшего совершенствования предлагаемой концепции оценивания квалификаций.
Литература
1. Макклелланд Д. Мотивация человека. СПб.: Питер, 2007. 672 с.
2. Об образовании: Федеральный закон от 10 июля 1992 года № 3266-1 (с изменениями 1993-2011 гг.).
3. Bryan Maguire Issues arising from qualifications frameworks in Europe / / Irish Bologna Expert Conference «National Qualifications Frameworks and the European Overarching Frameworks: Supporting Lifelong Learning in European Education and Training», 15 April 2010, Dublin Castle, Ireland. 25 p.
4. Sjur Bergan Qualifications - Introduction to a concept. Strasbourg: Council of Europe Publishing, 2007. 274 p.
5. The shift to learning outcomes. Policies and practices in Europe. Cedefop Reference series; 72. Luxembourg: Office for Official Publications of the European Communities, 2009. 170 p.
УДК 378.661(470.51):371.263
Е. В. Ворсина, Т. А. Снигирева
К ВОПРОСУ О КРИТЕРИЯХ СФОРМИРОВАННОСТИ КОМПЕТЕНЦИЙ
Аннотация. В связи с распространением компетентностного подхода в образовании актуальной задачей в области измерения результатов обучения становится переход от оценки знаний к определению сформи-
