Методические аспекты оценивания профессиональных компетенций студентов и выпускников вуза Текст научной статьи по специальности «Науки об образовании»

УДК 378.1

МЕТОДИЧЕСКИЕ АСПЕКТЫ ОЦЕНИВАНИЯ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ СТУДЕНТОВ И ВЫПУСКНИКОВ ВУЗА

METHODOLOGY FOR ASSESSMENT OF PROFESSIONAL COMPETENCES OF STUDENTS AND GRADUATES

© И.С. Фишман

Поволжская государственная социально-гуманитарная академия Приволжский филиал Федерального института развития образования

(Россия, Самара)

© I.S. Fishman Samara State Academy of Social Sciences and Humanities Volga Branch of the Federal Institute for Education Development

(Russia, Samara)

© Г.Б. Голуб

Приволжский филиал Федерального института развития образования

( оссия, Самара)

© G.B. Golub

Volga Branch of the Federal Institute for Education Development

(Russia, Sam ara)

На основе осуществленных в последние годы исследований и реализованных проектов в статье сформулированы методические положения, обеспечивающие создание контрольно-измерительных материалов для итогового оценивания сформированности профессиональных компетенций студентов и выпускников вуза, включающие алгоритм перевода формулировок образовательного стандарта в конечные результаты образовательной программы посредством их конкретизации для целей формирования и оценивания и алгоритм деятельности по определению показателей, формы и метода оценки профессиональных компетенций.

The article contains methodology for assessment of professional competences developed on the basis of recent research work and implemented projects. The techniques described include the algorithm of converting the formulations of an educational standard into the outcomes of an educational program by means of their specification for building - up and assessment. Another algorithm helps to define indicators, forms and methods of professional competences' assessment.

Ключевые слова: профессиональные компетенции; субкомпетенции; оценивание образовательных результатов; формирующее и итоговое оценивание.

Keywords: professional competences; sub-competences; educational outcomes' assessment; formative assessment; summative assessment.

Проведенные в последние годы исследования [1-3] и реализованные проекты [4] позволили нам сформулировать ряд методических положений, обеспечивающих создание контрольно-измерительных материалов для итогового оценивания сфор-мированности профессиональных компетенций.

Данные положения исходят из понимания профессиональной компетенции (ПК) как образовательного результата, выражающегося в способности осуществлять требуемую деятельность на основе имеющихся умений, знаний и практического Поволжский педагогический вестник. 2014. № 2(3)

опыта в определенной области профессиональной деятельности.

Особенности ПК как образовательного результата состоят в том, что 1) это интегрированный результат (знания умения опыт деятельности), который не сводится к сумме составляющих, следовательно, не может быть оценен поэлементно, 2) этот результат носит деятельностный характер, то есть он формируется и проявляется в деятельности обучающегося.

Из формулировки ПК должно однозначно следовать: какую деятельность, с каким объектом (классом объек-

тов), в каких условиях (в каком контексте) будет выполнять обучающийся по

Факультативно в формулировке может быть указано, с каким качеством результата/продукта будет обучающийся эту деятельность выполнять.

Формулировка ПК не должна содержать указания, не относящиеся к деятельности обучающегося:

- на промежуточные результаты, необходимые для формирования профессиональной компетенции;

- ценности и мотивы, которыми руководствуется обучающийся;

- эффекты его деятельности.

Указанная в формулировке ПК деятельность должна быть положена в основу процедуры итогового оценивания. Для определения показателей оценки, а также для планирования формирования ПК она может быть разделена на составляющие, соответствующие трудовым действиям, -субкомпетенции.

Алгоритм деятельности по определению показателей, формы и метода оценки профессиональных компетенций может быть представлен следующим образом.

- при необходимости разделить профессиональную компетенцию на субкомпетенции (группы операций, соответствующие уровню трудовых действий);

- определить предмет(ы) оценивания;

- сформулировать показатели оценки в соответствии с выбранным предметом оценивания;

- проверить, позволяет ли совокупность показателей сделать вывод о степени освоения профессиональной компетенции в целом.

При необходимости задать дополни-тельный(ые) показатель(и).

1. Сгруппировать профессиональные компетенции, которые могут быть оценены в рамках единой процедуры.

Основанием для группировки может являться то, что показатели оценки различных профессиональных компетенций применимы:

завершении образовательной программы. Например:

- к одному и тому же предмету оценивания;

- к предметам оценивания, последовательно создаваемым в рамках деятельности обучающегося;

- к результатам наблюдения за процессом деятельности обучающегося на определенном этапе создания продукта (в том числе - на подготовительном) и к продукту деятельности обучающегося.

2. Смоделировать процедуру, позволяющую применить показатели к предмету оценки и выбрать способ оценки (сопоставление с эталоном или оценка по критериям).

Прокомментируем осуществление некоторых из этих действий. На первом шаге наибольшую трудность представляет собой перевод формулировок образовательного стандарта в конечные результаты образовательной программы посредством их конкретизации для целей формирования и оценивания.

Если формулировка ПК описывает многосоставную деятельность, слишком широкую для целей формирования и оценки, то следует разделить ее на субкомпетенции.

Например1: еализует образовательную программу по [наименование предмета] в соответствии с требованиями образовательных стандартов (ПК 1):

- планирует предметные и метапред-метные образовательные результаты темы \ раздела в соответствии с конечными образовательными результатами программы преподаваемого предмета и актуальными образовательными результатами обучающихся;

- отбирает образовательные технологии, планирует способы (техники, методы, приемы) получения образовательных ре-

1 Все примеры здесь приведены из проекта стандарта бакалавра педагогического образования (ФГОС-3+)._

Выбирает и реализует коррекционные образовательные программы на основе личностно-ориентированного и индивидуально-дифференцированного подходов к лицам с ОВЗ.

деятельность объект контекст

зультатов темы/раздела и планирует деятельность обучающихся, обеспечивающую достижение заданных образовательных результатов;

- отбирает, адаптирует и конструирует ресурсы образовательного процесса, обеспечивающие заданную деятельность обучающихся;

- отбирает, адаптирует и конструирует оценочные средства для формирующего и суммирующего оценивания предметных и метапредметных образовательных результатов;

- организует деятельность обучающихся в рамках учебного занятия в соответствии с избранными содержанием и способами получения образовательных результатов, а также групповыми и индивидуальными особенностями обучающихся;

- организует самостоятельную (внеаудиторную) деятельность обучающихся в соответствии с избранными содержанием и способами получения образовательных результатов, а также групповыми и индивидуальными особенностями обучающихся;

- выявляет индивидуальные пробелы и затруднения обучающегося и реализует обратные связи по поводу степени достижения запланированных предметных и ме-тапредметных образовательных результатов в режиме формирующего оценивания;

- проводит оценивание предметных образовательных результатов в режиме суммирующей оценки.

Если формулировка указывает на класс объектов, к которым применяется общий (универсальный) способ деятельности, то следует уточнить характеристики объекта, требования к результату деятельности и контекст.

Например:

Решать задачи воспитания и духовно-нравственного развития обучающегося в учебной и внеучебной деятельности (ПК-3).

Операциональная формулировка:

Проектировать программу формирования эмоционально-ценностного компонента личностных универсальных действий младшего школьника в режиме внеучебной деятельности.

Если акцент в формулировке сделан на использование/применение определенных ресурсов при осуществлении деятель-

ности, то следует переформулировать результат, поставив на первое место деятельность и обозначив требуемые ресурсы в качестве контекста, обязательного условия деятельности.

Например:

...использовать современные методы и технологии обучения и диагностики (ПК-2).

Операциональная формулировка:

Разрабатывать листы обратной связи для формирующей оценки метапредметных результатов учащихся 9 класса.

Если глагол, описывающий деятельность бакалавра, многозначен, то следует заменить его на другой, исключающий свободное толкование содержания деятельности и убедиться, что замена глагола не изменила вид результата.

Например:

... использовать современные методы и технологии обучения и диагностики (ПК-2).

Если глагол «использовать» заменить на «применять» и конкретизировать перечень методов и технологий, то вместо субкомпетенции получаем формулировку умения: «применять метод устранения разрыва в коммуникации при составлении диалога оценочного характера».

Если формулировка указывает на деятельность, которая является общим способом деятельности, освоенным выпускником, ресурсом успешного выполнения профессиональной функции и может проводиться с произвольным объектом, то следует уточнить характеристики объекта, требования к результату деятельности и контекст.

Например:

Готовность к взаимодействию с участниками образовательного процесса (ПК 6).

Операциональная формулировка:

Планирует и реализует взаимодействие с родителями учащихся 11 класса для оценки перспектив профессионального выбора, сделанного выпускником.

Если формулировка содержит внутренние ресурсы для деятельности, то следует перенести эту формулировку из списка формируемых профессиональных/общих компетенций и зафиксировать ее как знани-евый результат в модели компетенции.

Например:

Готовность к обеспечению охраны жизни и здоровья обучающихся (ОПК-6)

Операциональная формулировка:

Характеризовать ситуации, представляющие повышенную опасность для школьников в урочной и внеурочной деятельности; называть способы, (описывать алгоритм) обеспечения безопасности и сохранения здоровья в школьном здании и вне его; демонстрировать умение прогнозировать возможность возникновения угрозы здоровью школьников...

Если формулировка ОК описывает не деятельность, а ценности, то необходимо перенести эту формулировку из списка формируемых ОПК и зафиксировать когнитивный (знаниевый) компонент ценностной установки в модели компетенции.

Например:

...обладать мотивацией к осуществлению профессиональной деятельности (ОПК-1).

Операциональная формулировка:

Объяснять на примерах из личного опыта и литературы важность, значимость для общества и перспективность работы учителя лично для обучающегося.

Если формулировка ОК описывает не деятельность, а умения, то следует перенести эту формулировку из списка формируемых ОК и зафиксировать данные умения в модели компетенции.

Например:

Способность использовать приемы первой помощи, методы защиты в условиях чрезвычайных ситуаций.

Операциональная формулировка:

Демонстрировать приемы остановки венозного/артериального кровотечения; демонстрировать приемы фиксации конечностей при переломах.

Если формулировка ОК описывает не общий способ деятельности, а профессиональную деятельность, то следует перенести ее в список ПК, при необходимости разделив формулировку на несколько ПК, уточнив объект и контекст деятельности.

Например:

Способность осуществлять обучение, воспитание и развитие с учетом социальных, возрастных, психофизических и индивидуальных особенностей, в том числе осо-

бых образовательных потребностей обучающихся (ОПК-3).

Прокомментируем коротко определение показателей оценки профессиональных компетенций. Прежде всего сформулируем признаки показателя:

- появляется вследствие деятельности обучающегося, заложенной в формулировке профессиональной компетенции,

- проявляется как характеристика деятельности или ее продукта, которая может быть зафиксирована с помощью органов чувств или измерений любым субъектом независимо от его пристрастий, образования и т.п.,

- появление показателя не зависит ни от кого, кроме обучающегося, и ни от чего, кроме качества его деятельности.

Как правило, показатели формулируются либо как констатация наличия определенной характеристики продукта или процесса деятельности (например, жидкость прозрачная) или как устанавливаемое соответствие:

а) характеристики продукта или процесса деятельности и однозначно заданной норме (например, провар шва соответствует ГОСТу),

б) характеристики продукта или процесса деятельности и заданных условий/ситуации (например, геометрические параметры детали соответствуют чертежу),

в) одной характеристики продукта или процесса деятельности и другой его характеристики (например, запланированная деятельность обучающихся позволяет получить запланированные образовательные результаты).

В качестве дополнительного показателя к показателям вида а и б может выступать обоснованность решения, предложенного обучающимся. В этом случае необходимо точно указать, что именно принимается в качестве обоснования (например, показатель группа качества продукции определена в соответствии с характеристиками заданной продукции может быть дополнен показателем вывод по отнесению продукции в определенной группе качества обоснован ссылками на результаты измерений и руководство предприятия в области качества).

Типичными ошибками в формулировках показателей является:

- подмена показателя оценочным суждением или ссылкой на неоднозначную или внутреннюю норму (например, верно, оптимально, в соответствии с методическими рекомендациями), в том числе определение показателя через абстрактное понятие (например, качество анализа исходных образцов);

- подмена показателя эффектом деятельности обучающегося на его рабочем месте (например, удовлетворенность клиента, обеспечение безопасности);

- подмена показателя промежуточным результатом (например, демонстрирует знание нормативной базы);

- подмена показателя указанием на один из шагов в деятельности обучающегося (например, выбор реперных точек темы).

В оценке профессиональных компетенций используется два принципиальных предмета оценивания: продукт практической деятельности и результаты наблюдения за процессом практической деятельности.

При прочих равных условиях целесообразно выбирать в качестве предмета оценки продукт деятельности. Это оптимальный предмет оценивания с точки зрения соотношения «объективность/затраты», поскольку он может оцениваться дистанционно, несколькими экспертами одновременно, сохраняется во времени для обращений по спорным вопросам оценки, наконец, производиться обучающимся во время, не требующее присутствия квалифицированного эксперта, что удешевляет оценивание.

Изготовление ряда продуктов требует длительного времени, если это достаточно сложный по составу продукт, на основе которого можно оценить сразу несколько профессиональных компетенций. В таких случаях предпочтительно предлагать обучающемуся выполнить продукт в режиме практики и самостоятельной работы и предоставить его в момент прохождения итогового контроля по завершении профессионального модуля/образовательной программы. Таким образом, продукт-ные задания можно разделить на практические задания (предполагающие концентрированные во времени изготовление продукта и процедуру оценки) и проектные

задания (предполагающие рассредоточенные во времени изготовление продукта и процедуру оценки).

езультаты наблюдения за процессом практической деятельности используются тогда и только тогда, когда технически невыполнима оценка продукта. К таким случаям следует отнести ситуации, в которых продукт профессиональной деятельности отсутствует (обучающийся оказывает услугу), производство продукта дорого или высока «цена ошибки». Следует помнить, что процедура оценивания деятельности, как правило, дороже, чем оценка продукта, поскольку, требует, во-первых, более высокой квалификации оценщиков (оценка проводится на основе наблюдения, как минимум, оценщик должен быть грамотным наблюдателем) и, во-вторых, их более длительной занятости.

езависимо от того, является предметом оценки продукт или результаты наблюдения за деятельностью, оценочное испытание может быть организовано как в реальных, так и в модельных условиях. Для проведения оценивания в реальных условиях должны быть использованы возможности предприятия/образовательного учреждения, воссоздающие обстановку рабочего места.

одельные ситуации в процедурах оценки целесообразны:

- если некорректное выполнение профессиональной деятельности может нанести ущерб тем или иным субъектам (например, в сферах правоприменения, медицины и т.п.),

- если масштабы вида профессиональной деятельности и / или габариты используемого оборудования не позволяют организовать компактную процедуру оценки («расставлять спецтехнику для проведения исследования скважины» и т.д.);

- когда используются интеллектуальные средства труда («производить расчеты налогов и сборов в соответствии с существующей нормативной базой» и т.д.);

- если вопросы безопасности не позволяют ставить под угрозу здоровье обучающегося (тушение пожара, другие аварийные ситуации);

- в случае оценки действий с дорогостоящим и/или эксклюзивным оборудованием, инструментами, которые могут при-

вести к повреждению этого оборудования («цена ошибки»);

- для оценки профессиональной компетенции в области консультирования клиентов (в реальной ситуации сложно будет стандартизировать степень «сложности клиента» для всех испытуемых).

Модельная ситуация может быть представлена как вербальная модель (например, набор документов, на основании которых надо принять и оформить решение или создать свой информационный продукт), виртуальная модель (компьютерная программа-имитатор), игровая модель (роль . выполняет ассистент).

Существует два принципиальных способа оценки продукта/процесса деятельности обучающегося: сравнение с эталоном и оценка по критериям (экспертная оценка).

Эталон представляет собой образец или модель верно изготовленного продукта (например, образец правильно настроенного измерительного прибора, правильная схема размещения чего-либо, верно составленная технологическая карта, верно заполненная диагностическая карта и т.п.) или вербальную модель верно выполненной деятельности (например, технологическую карту).

Сравнение представленного продукта обучающимся продукта с эталоном может происходить:

- визуально,

- расчетно,

- с помощью измерений отдельных параметров продукта,

- на основе апробирования продукта.

Оценка процесса практической деятельности требует предварительного наблюдения. Фактически, предметом оценки становятся результаты наблюдения. Наблюдение должно быть формализованным (другое название - структурированное наблюдение). Это означает, что наблюдение организованно специальным образом, обеспечивающим целенаправленное и систематизированное отслеживание деятельности обучающегося на рабочем месте (или его имитации). Другими словами, наблюдатель вычленяет только те аспекты деятельности, которые заданы структурой наблюдения, игнорируя остальные, которые затем не смогут повлиять на оценку деятельности.

Обязательными условиями формализованного наблюдения являются предварительная подготовка оценщиков; регламентация деятельности оценщиков (инструкция для оценщиков); форма фиксации оценщиком параметров деятельности (оценочный лист).

аблюдение может быть организовано в следующих формах:

- наблюдение в режиме реального времени (наблюдатель имеет возможность вмешаться в процесс деятельности обучающегося только затем, чтобы остановить его),

- включенное наблюдение (наблюдатель находится внутри деятельности обучающегося и может вмешиваться в ее процесс с заданных инструкцией позиций),

- просмотр видеозаписи.

Сравнение параметров деятельности

обучающегося с эталонном позволяет установить надлежащий набор и последовательность операций, правильный выбор средств труда, соблюдение регламентированных условий деятельности и т.д.

Экспертная оценка продукта или процесса практической деятельности осуществляется на основе четко заданных критериев. Эксперт должен на основе рада характеристик продукта/процесса сделать вывод о том, соответствует ли продукт каждому из критериев. Такой вывод подразумевает существенную вариативность характеристик, позволяющих признать продукт соответствующим тому или иному заданному критерию. Поэтому экспертная оценка (другое название - оценка по критериям) является более затратной по времени, чем сопоставление с эталоном, требует участия как минимум двух экспертов-оценщиков и обращение к мнению третьего, если их оценки расходятся более чем на заданное количество баллов. аконец, экспертная оценка требует более высокой квалификации оценщиков, чем сопоставление с эталоном. Все перечисленное делает экспертную оценку более дорогостоящим в применении методом оценки, поэтому она применяется в тех случаях, когда невозможно задать эталон. Как правило, такая ситуация характерна для оценки сложносоставных информационных продуктов или сложносоставной деятельности (например, дизайн-проект или проведение урока).

Разработка контрольно-измерительных материалов (КИМов) в формате практического/проектного задания начинается после того, как определены показатели качества оцениваемой деятельности, предмет и методы оценки. Практическое задание для проверки сформированности профессиональной компетентности в обязательном порядке содержит задачную формулировку и инструмент проверки задания. Если необходимо, разработчик задания создает стимул и бланк ответа, подбирает источник информации.

Стимул является составной частью практического/проектного задания. Он должен быть настолько кратким, насколько это возможно. Стимул должен содержать только ту информацию, которая мотивирует испытуемого на выполнение задания или погружает его в контекст деятельности, которую предстоит совершить.

Задачная формулировка описывает деятельность, которую тестируемый должен совершить. Задачная формулировка не может допускать различных толкований. Требования к способу представления результатов практического/проектного задания также должны содержаться в задачной формулировке, однозначно трактоваться участниками образовательного процесса и/или сертификационных процедур.

Задачная формулировка должна точно соотноситься со способом оценки ответа/результата (с ключом, модельным ответом). Задачная формулировка не должна содержать усложненный синтаксис, двойное отрицание, слова или предложения в скобках, без которых можно обойтись. Таким образом, грамотно построенное задание должно однозначно описывать ту деятельность, которую предстоит совершить испытуемому, для подтверждения сформированности профессиональной компетенции.

Бланк для ответа задает испытуемому структуру предъявления результатов выполнения задания. Если ответ не подразумевает предписанной структуры, бланк не требуется.

КИ должен содержать указание на ресурсы (оборудование, инструменты, программное обеспечение, справочные материалы), доступ к которым разрешен/запрещен всем испытуемым. Время выполнения за-

дания также является важнейшим ресурсом и должно быть указано в задачной формулировке. Все испытуемые должны иметь равный доступ ко всем указанным в требованиях к процедуре ресурсам в процессе выполнения практического/проектного задания.

В качестве инструмента проверки

в зависимости от выбранных методов и форм оценки могут использоваться:

- ключ (для оценки по эталону),

- модельный ответ (для экспертной оценки продукта или процесса по критериям).

Функции ключа выполняет эталон правильно выполненного задания. Данный эталон ответа сравнивается с ответом испытуемого на предмет полного/не полного соответствия, если последнее, по мнению разработчиков практического задания, допустимо.

одельный ответ может быть создан на базе показателей качества продукта/процесса оцениваемой деятельности. Если подобранные показатели исчерпывающе задают требуемое качество продукта/процесса, они и становятся критериями для инструмента проверки.

Однако в большинстве случаев показатели качества нуждаются в детализации как следствие появления объекта и граничных условий деятельности в формулировке конкретного практического/проектного задания.

Если показатели описывают качество процесса деятельности, то детализация показателей возможна до уровня описания минимум двух операций или операции в контексте деятельности. Это требование необходимо соблюдать, чтобы не превращать показатели качества деятельности в критерии оценки профессиональных умений.

Кроме того, в инструменте проверки могут появляться дополнительные критерии, задающие требования к оформлению продукта, времени получения продукта или осуществления деятельности, способу презентации продуктов/результатов деятельности испытуемых.

Инструмент проверки должен позволять оценить выполнение деятельности, предписанной в задачной формулировке.

Литература

1. Голуб Г.Б., Фишман И.С. Профессиональные компетенции выпускника высшей школы: проблемы внешней оценки: монография. Самара : ПГСГА, 2010.

2. Голуб Г. Б., Фишман И. С., Фишман Л. И. Общие компетенции выпускников высшей школы : что стандарт требует от вуза // Вопросы образования. 2013. № 1. С. 156-173.

3. Компетентностно-ориентированное образование. Методология и практика / Г.Б. Голуб и др. Самара : Федоров, 2014.

4. Принципы, порядок и процедуры разработки образовательных программ подготовки кадров к освоению новых производственных технологий по заказу производственных компаний : методическое пособие / под науч. ред. д-ра физ.-мат. наук, профессора Е.Я. Когана (на правах рукописи). М., 2011.

Сведения об авторах

Ирина Самуиловна Фишман, кандидат педагогических наук, доцент кафедры управления и сервисных технологий Поволжской государственной социально-гуманитарной академии; ведущий научный сотрудник Приволжского филиала Федерального института развития образования.

Е-mail: irina_fishman@list.ru

Почтовый адрес: 443090, Самара, ул. Антонова-Овсеенко, 26.

Телефон: (846) 224-43-02.

Галина Борисовна Голуб, кандидат исторических наук, ведущий научный сотрудник Приволжского филиала Федерального института развития образования.

Е-mail: lmor@mail.ru

Почтовый адрес: 443056, Самара, пр. Масленникова, д. 37, оф. 402.

Телефон: (846) 205-97-04.