CC BY
201
УДК 378.146
КРИТЕРИАЛЬНО-УРОВНЕВОЕ ОЦЕНИВАНИЕ СОЦИАЛЬНОЙ КОМПЕТЕНТНОСТИ СТУДЕНТОВ
Е. Н. Борисенко
CRITERION AND LEVEL ASSESSMENT OF STUDENTS’ SOCIAL COMPETENCE
E. N. Borisenko
В статье рассматриваются различные подходы к оцениванию компетентностей, анализируется использование форм, методов и средств оценивания, обосновывается выбор критериев, показателей и индикаторов уровня сформированности социальной компетентности, представлен авторский вариант оценивания уровня сформированности социальной компетентности студентов.
Ключевые слова: оценивание, компетентность, социальная компетентность, парциальная компетентность, уровень, критерии, показатели, индикаторы.
The article deals with various approaches to the assessment of competences, the usage of assessment forms, methods and means is analyzed; the choice of social competence level criteria, indexes and indicators is justified, the author ’s version of students social competence level assessment is presented.
Keywords: assessment, competence, social competence,
Проблема оценивания компетенций / компетентностей остается одной из самых трудно решаемых в реализации компетентностного подхода в образовании. Сложилась парадоксальная ситуация: идея компетентностного подхода базировалась на том, чтобы придать практическую направленность процессу образования, увидеть реальные результаты образования
- ключевые и профессиональные компетенции/ компетентности выпускника вуза, применяемыми в деятельности, но адекватно оценить эти результаты образования оказалось трудно.
В 2003 году И. А. Зимняя выражала свою солидарность со всеми исследователями в том, что измерение и оценивание компетенций/компетентностей представляет большую сложность [5, с. 34 - 42].
В 2010 году Н. Ф. Ефремова признавала, что выполнение требования измеримости компетенций продолжает представлять наивысшую трудность как в теоретическом, так и практическом плане [2, с. 43 - 48].
Вопросами оценивания и измерения компетенций и компетентностей как результатов образования посвящены работы Д. Заводчикова, Э. Зеера, Е. Земцовой, И. А. Зимней, Н. Ф. Ефремовой, С. Г. Катаева,
О. В. Кудашкиной, О. Мартыненко, В. Мясникова,
Н. Найденова, Е. М., Сартаковой, М. А. Федуловой, М. М. Шалашовой, И. Чёрной и др.
По мнению ученых, изменения в системе оценивания результатов образования являются главным отличием компетентностного подхода от традиционного подхода.
В условиях традиционного подхода объектом оценивания выступают предметные знания и умения. При компетентностном подходе оцениваются более сложные результаты - компетенции, а знания и умения при этом выступают как показатели компетенций. При традиционном подходе субъектом оценивания выступает учитель или преподаватель, при компе-тентностном подходе возрастает роль самооценки и взаимооценки.
partial competence, level, criteria, indexes, indicators.
При компетентностном подходе требуется набор объективных, качественных критериев, используется методика критериального оценивания. Критерии могут быть привязаны к тем или иным уровням проявления компетенции, тогда оценивание становится критериально-уровневым [10].
Как показал анализ публикаций, в большинстве исследований выделяют три уровня сформированно-сти компетентности/компетенции: низкий, средний, высокий или их аналоги, например, недопустимый, допустимый и оптимальный.
Для оценивания степени сформированности профессиональных компетенций у студентов, как возможный вариант, предлагается применение сложившегося в практике HR-менеджмента (управления персоналом) подхода к оцениванию компетенций, когда используется пять степеней их выраженности -негативный уровень, уровень понимания, базовый уровень, уровень опыта, уровень мастерства. Их выделение связано с соответствующими уровнями освоения знания: пониманием, осмыслением, воспроизведением, применением, усовершенствованием [8, с. 86
- 91].
Предлагаются различные методики, процедуры, инструменты измерения и оценки компетенций/ компетентностей как результата образования. Среди наиболее часто используемых:
- оценка по уровню развития ключевых компетенций;
- тесты «на применение» при определении предметных и межпредметных компетентностей;
- деловые игры, решение кейсов;
- рейтинговая модель, определяющая степень продвижения обучающегося по лестнице успеха в однотипной среде;
- обсуждение и дискуссия;
- написание текстов различного рода (эссе, минисочинения) и их контент-анализ;
- презентация - представительские данные, навыки публичных выступлений, умение «держаться» перед аудиторией;
- ситуационно-поведенческие тесты - краткие стандартизованные оценочные процедуры;
- тесты эффективности обработки информации;
- личностные опросники как наборы стандартизованных анкет с вопросами закрытого типа;
- интервью как инструмент, позволяющий открыто обсуждать слабые и сильные стороны и объяснять свою точку зрения;
- стратегическое интервью;
- наблюдение - инструмент сбора информации для установления фактов;
- анкетирование - инструмент для сбора информации, когда у респондентов есть время подыскать требуемые данные/факты; авторские анкеты;
- контент-анализ документации (журналов, характеристик и др.);
- мониторинговая модель, предусматривающая создание «портфолио».
Используются и такие формы, как курсовые работы, индивидуальное и групповое собеседование со студентами и преподавателями, конференции. Методы обработки результатов включают метод процентного соотношения и метод рейтинговых оценок; изучения оценочных карт и др. С точки зрения оценивания, эти методы имеют разную точность, валидность и эффективность.
В последнее время существует тенденция оценивать компетенции не только качественно, но и количественно, т. е. получать конкретное значение компетенции, выраженное числом, при этом результаты оценки необходимо выражать количественно, вне зависимости от того, насколько сложно компетенции поддаются оцениванию [3, 7].
Проблема оценивания компетенций / компетентностей обусловлена объективной сложностью процесса оценивания и оценки целостного результата профессионального образования. Ее решение, по мнению И. А. Зимней и Е. В. Земцовой, требует изменения подходов к оценке качества подготовки специалистов и создания новых методов и технологий, адекватных компетентностному подходу в его научной трактовке. Авторы предлагают использовать интегративный подход к оценке единой социально-профессиональной компетентности студентов. Под интегративным подходом понимается целостное представление совокупности объектов, явлений, процессов, объединяемых общностью как минимум одной из характеристик, в результате чего создается его новое качество [4, с. 15] Авторы убедительно доказывают, что «сформирован-ность социальной компетентности студента в структуре его единой социально-профессиональной компетентности может быть оценена при соблюдении следующих условий:
- использовании единого интегративного подхода, определяемого сложностью и многомерностью самого содержания социальной компетентности;
- представления социальной компетентности как парциального компонентно-блочного элемента с учетом интеллектуального и личностного блоков в структуре единой социально-профессиональной компетентности;
- определения в качестве обязательного условия оценивания социальной компетентности его интегративной основы, моделируемой посредством весовой индексации каждого из входящего в нее (блоков, компонентов);
- наличия адекватного инструментария оценки всей многомерности социальной компетентности» [4].
Компетентностный подход, как считают О. Мартыненко и И. Черная, актуализирует проблему оценивания, особенно в части диагностики эффективности деятельности. В настоящее время, по мнению авторов, складывается новая концепция анализа и оценки компетентности, которая подчеркивает приоритетную значимость оценки мотивации, а не способности [8, с. 86 - 91].
По утверждению ряда исследователей, проблема оценивания сформированности компетенций остается неразрешенной, поскольку существует множество частных способов оценки, но нет общего метода, который мог бы быть универсально применен к оцениванию сформированности различных компетенций. В качестве такого универсального метода С. Г. Катаев, Ю. А. Лобода и Е. А. Хомякова предлагают индикаторный метод оценивания компетенций, который кажется нам перспективным [7, с. 70 - 73].
В настоящее время в качестве технологии оценивания активно осваивается метод проектов, который является одной из основных технологий формирования компетенций/компетентностей. При оценке деятельности в проекте важно признание успешности и результативности. Положительной оценки достоин любой уровень достигнутых результатов. Оценка и самооценка связаны с организацией контроля и самоконтроля и включают умения сопоставлять конечные результаты и цели, задачи, план деятельности; умения анализировать причины несоответствия и собственные ошибки; умения принимать решения по устранению несоответствий в работе. Оценочное суждение проявляется в умении сравнивать, сопоставлять, обобщать, конкретизировать чужое и собственное мнение.
Проектная деятельность проходит ряд этапов, содержание которых определяет обучающий эффект проекта и суммарную оценку его выполнения.
Н. Ф. Ефремова предлагает оценивать: 1) осмысление проблемы и формулирование цели и задач проекта;
2) работа с информацией; 3) оформление работы;
4) коммуникация; 5)степень самостоятельности работы над проектом; 6) дизайн, оригинальность представления результатов [3].
Использование метода проектов как инструмента оценивания представляется особенно важными в контексте нашего исследования для оценивания сформированности социальной компетентности студентов, поскольку один проект позволяет оценить одновременно несколько (или все) парциальные компетентности, составляющие социальную компетентность. Например, выполнение проекта «Город, в котором я живу» в курсе обучения иностранному языку позволяет выявить не только уровень сформированности иноязычной коммуникативной компетентности студентов, но и оценить их гражданскую компетентность (знание истории города, проявление чувства патриотизма, выраженность гражданской позиции, обеспокоенность экологическими проблемами, участие в во-
лонтерских акциях и т. д.), культурно-досуговую компетентность (использование культурного потенциала города, любимые места отдыха студентов, участие в спортивной жизни города и т. д.), компетентность в общении (умения работать в команде, способы преодоления конфликтов, возникающих в процессе работы над проектом, умения представить проектный продукт и т. д.), социально-личностную компетентность (умение принимать решения в нестандартных ситуациях, рефлексивные умения, ответственность, толерантность и т. д.).
Специалисты считают, что для выполнения требований к контрольно-оценочной деятельности вузам необходимо сформировать фонды оценочных средств и создать службы оценки учебных достижений (знаний, умений и навыков) и компетенций. Под фондом оценочных средств (ФОС) понимается «комплект методических, контрольных измерительных и оценочных материалов, предназначенных для выявления уровня сформированности компетенций на разных стадиях обучения студентов» [2, с. 44].
По мнению Н. Ф. Ефремовой в структуру ФОС могут быть включены:
- модели компетенций и программы их оценивания в соответствии с уровнями обучения студентов;
- совокупность контрольно-оценочных материалов (опросников, тестов, кейсов и др.);
- инструкции и методические материалы, определяющие процедуры оценивания компетенций;
- требования к квалификации разработчиков оценочных средств и организаторов проведения оценивания;
- технологии и методы обработки результатов оценивания компетенций;
- программно-инструментальные средства обработки результатов, проведения статистического анализа данных, графической визуализации, форматы представления результатов;
- наборы показателей и критериев оценки уровней сформированности компетенций и шкалы оценивания в соответствии с задачами контроля;
- программы подготовки оценщиков и экспертов для проведения контрольно-оценочных процедур;
- рекомендации по обновлению ФОС (периодичность, степень обновления, изменения процедур, методов, технологий, показателей, критериев и др.).
Создание ФОС позволяет проводить оценивание как целенаправленный упорядоченный процесс определения достигнутого уровня сформированности компетенций [2].
По нашему мнению, создание ФОС является одним из важнейших условий успешной реализации компетентностного подхода в учебно-воспитательном процессе вуза. Однако, если создание ФОС на уровне учебного заведения требует больших затрат и зависит от решения руководства вуза, то создание фонда оценочных средств, используемых преподавателем, зависит от желания и готовности самого преподавателя или группы преподавателей. В дальнейшем индивидуальные или совместные ФОС преподавателей могли бы послужить основой создания вузовского фонда оценочных средств.
Наличие индивидуального или коллективного фонда оценочных средств позволило бы использовать
широко применяемый в настоящее время специалистами по подбору и оценке персонала метод ассес-мент-центр, адаптировав его к целям оценивания компетенций/ компетентностей и условиям вуза. Ас-сесмент-центр - это метод комплексной оценки персонала, включающий в себя ряд методик, выбираемых исходя из поставленных целей. Методики оценки могут быть самыми разными - анкетирование, интервьюирование, тестирование, деловая игра, самопре-зентация участника, экспертное наблюдение и т. д. [12]. Сложности проведения ассесмент-центра связаны с тем, что процедура длится не менее двух часов, требуется специальное помещение и несколько ассе-соров (специалистов, осуществляющих оценку) одновременно участвующих в ассесмент-центре. Несомненными достоинствами данного метода являются гарантированные объективность, полнота, всесторонность и валидность оценки.
Мы убеждены, что при любом способе, форме и средствах оценивания сформированности компетентности как личностного качества, верным остается утверждение В. П. Беспалько о том, что главным условием применимости оценивания является диагно-стичность постановки цели. Это означает, что дано точное и полное описание формируемого личностного качества таким образом, что его можно однозначно отличить от других качеств; существует способ для однозначного выявления диагностируемого качества личности в процессе объективного контроля его сфор-мированности; возможно измерить интенсивность диагностируемого качества на основе данных контроля, разработана шкала оценки качества, опирающегося на результаты измерения [1].
В своем исследовании мы, исходя из анализа работ по проблемам оценивания результатов образования в целом и оценивания компетенций и компетентностей, опираясь на содержание и структуру социальной компетентности и составляющих её парциальных компетентностей (компетентность в общении, гражданская компетентность, культурно-досуговая компетентность, социально-личностная компетентность) и учитывая возрастные и индивидуальные особенности студентов, выбрали критериально-уровневый подход к оцениванию сформированности парциальных компетентностей.
Критерий - признак, на основании которого производится оценка, определение или классификация чего-либо; мера суждения, оценки какого-либо явления [6]. Под критерием оценки сформированности социальной компетентности студента понимается обобщенный объективный показатель выраженности оцениваемого параметра, который выявляется путем наблюдения за ходом выполнения задания или путем анализа представленных результатов, обобщенная оценка процессов, состояний и свойств личности студента, имеющая временные и интенсивные (качественные) характеристики и выражающая разнообразные проявления социальной компетентности студента.
Показатель - данные, по которым можно судить о развитии и ходе чего-нибудь [9]. В нашем исследовании под показателями мы понимаем качественные характеристики, раскрывающие содержания критерия,
по которым можно судить о сформированности социальной компетентности.
Индикатор - «прибор, устройство, элемент, отображающий ход процесса или состояние объекта наблюдений, его качественные либо количественные характеристики» [11, с. 192] Индикатор (происходит от латинского indicator - указатель) указывает на степень выраженности того или иного показателя сфор-мированности социальной компетентности в определенный момент. Степень выраженности оценивается в баллах.
Уровень - степень величины, развития, значимости чего-нибудь [9]. Мы выделяем три уровня сфор-мированности социальной компетентности студента и её парциальных компетентностей: высокий (компетентность выражена сильно и в полном объеме), средний (компетентность выражена недостаточно сильно и в неполном объеме) и низкий (компетентность выражена слабо и в недостаточном объеме).
Разработка процедуры оценивания уровня сформированности парциальных компетентностей включала в себя следующие этапы:
1) соотнесение критериев оценивания с содержанием и компонентами компетентности;
2) соотнесение показателей с критериями, определение оптимального количества показателей;
3) соотнесение индикаторов с показателями и уровнями сформированности компетентности;
4) соотнесение индикаторов каждого уровня сформированности с их количественным выражением в баллах;
5) выбор способа перевода набранных баллов в %;
6) выбор методов и средств оценивания, наиболее полно соответствующих задачам оценивания;
7) оценка выбранных методов и средств оценивания с точки зрения временных и финансовых затрат на их применение;
8) составление матриц, связывающих а) критерии, показатели и индикаторы с суммарной оценкой уровня сформированности оцениваемой парциальной компетентности; б) методы оценивания и уровни сформированности оцениваемой парциальной компетентности студента.
Мы выделили следующие критерии оценивания сформированности социальной компетентности студента: когнитивный (оценивание действенных знаний в таких сферах жизни студента, как общение, гражданская и культурно-досуговая деятельность, самосовершенствование); мотивационно-ценностный (оценивание иерархии главных жизненных ценностей и потребностей, составляющей основу социальной направленности личности студента), конативный (оценивание социального поведения, в котором проявляется умение студента сочетать личные и общественные интересы); рефлексивный (оценивание индивидуальной и групповой рефлексии как инструмента перехода на более высокий уровень сформированности социальной компетентности).
Следует заметить, что по числу показателей выделенные критерии отличаются друг от друга в рамках одной компетентности, и что у одних и тех же критериев в разных компетентностях количество показателей также может не совпадать.
Разработанная нами матрица оценивания сформи-рованности социальной компетентности позволяет дать полную и всестороннюю оценку сформирован-ности каждой парциальной компетентности, выразить оценку в баллах, перевести полученные баллы в проценты и определить, какому уровню соответствует полученный результат.
На примере когнитивного критерия компетентности в общении покажем, как выглядит заполненная матрица.
Таблица 1
Матрица оценивания сформированности компетентности в общении (фрагмент)
Критерии Показатели Индикаторы Оценка в баллах
Когнитивный 1) знания об общении и его аспектах - студент демонстрирует фрагментарные знания - студент демонстрирует достаточные знания - студент демонстрирует глубокие знания 1 2 ^ З
2) знания о коммуникативном процессе - студент демонстрирует фрагментарные знания - студент демонстрирует достаточные знания - студент демонстрирует глубокие знания 1 ^ 2 З
3) знания о вербальной и невербальной коммуникации - студент демонстрирует фрагментарные знания - студент демонстрирует достаточные знания - студент демонстрирует глубокие знания 1 ^ 2 З
4) знание особенностей монологической и диалогической коммуникации - студент демонстрирует фрагментарные знания - студент демонстрирует достаточные знания - студент демонстрирует глубокие знания 1 ^ 2 З
5) знание иностранного языка - студент демонстрирует фрагментарные знания - студент демонстрирует достаточные знания - студент демонстрирует глубокие знания 1 ^ 2 З
Продолжение таблицы
Когнитивный 6) знания о перцептивных процессах, механизмах и эффектах - студент демонстрирует фрагментарные знания - студент демонстрирует достаточные знания - студент демонстрирует глубокие знания 2 \ со
7) знание видов взаимодействия - студент демонстрирует фрагментарные знания - студент демонстрирует достаточные знания - студент демонстрирует глубокие знания ^ 1 2 3
8) знания о конфликте как особой форме взаимодействия - студент демонстрирует фрагментарные знания - студент демонстрирует достаточные знания - студент демонстрирует глубокие знания 1 2 ^ 3
9) знания о манипуляциях в общении - студент демонстрирует фрагментарные знания - студент демонстрирует достаточные знания - студент демонстрирует глубокие знания 1 2 ^ 3
10) знания о деловом общении - студент демонстрирует фрагментарные знания - студент демонстрирует достаточные знания - студент демонстрирует глубокие знания 1 2 ^ 3
Общее количество набранных баллов по данному критерию 23 балла
Максимально возможное количество баллов по данному критерию 30 баллов
Предположим, что суммарное количество баллов набранных студентом по всем критериям составило 91 балл (когнитивный критерий - 23 балла, мотивационно-ценностный - 19 баллов, конативный -30 баллов, рефлексивный - 20 баллов), а максимальное количество баллов равняется 117, то в переводе в % студент набрал 78,6 %, что соответствует среднему уровню сформированности компетентности в общении.
Для перевода суммы набранных баллов в проценты по каждой парциальной компетентности определяется возможная максимальная сумма баллов, которая приравнивается 100 % и высчитывается процент, которому соответствует сумма баллов, набранная студентом. Для процентного выражения уровней сфор-мированности компетентности мы ориентировались на Шкалу БСТ8 (Европейская си-стема перевода кредитов).
Уровень сформированности компетентности определяется по таблице 2.
Таблица 2
Для оценивания уровня сформированности парциальных социальных компетентостей студента мы отобрали и использовали следующие методы оценивания:
1. Опрос, анкетирование.
2. Оценка экспертов.
3. Самооценка.
4. Наблюдение.
5. Контент-анализ текстов, созданных студентами.
6. Тестирование.
7. Метод проектов.
8. Интервью-гайд.
Мы осознаем, что недостатком подобной процедуры оценивания является трудоёмкость расчетов, на которые уходит большое количество времени. Однако именно методика критериально-уровневого оценивания и комплексное использование рассмотренных видов, форм и средств оценивания доказали свою эффективность и позволили получить достоверные результаты в ходе экспериментальной работы по осуществлению педагогического сопровождения формирования социальной компетентности студентов КемГУ. Обобщенные данные изменения уровня сформированности социальной компетентности студентов представлены в таблице 3.
Уровень Проценты
Высокий 91 - 100
Средний 66 - 90
Низкий 36 - 65
Таблица 3
Изменение уровня сформированности парциальных компетентностей в ходе экспериментальной работы
(количество студентов в %)
Компетентность В общении Гражданская Культурно- досуговая Социально- личностная
Уровень начало завер- шение начало завер- шение начало завер- шение начало завер- шение
Высокий 12 % 35,2 % 12,5 % 52,8 % 13,6 % 40 % 15 % 53,1 %
Средний 47,9 % 59,7 % 45,8 % 39,6 % 46,8 % 56,5 % 48,4 % 42,8 %
Низкий 40,1 % 5,1 % 41,7 % 7,6 % 39,6 % 3,5 % 36,6 % 4,1 %
В целом, оценивая сформированность социальной компетентности, мы использовали такие формы, методы и средства оценивания, которые помимо реализации главной цели оценивания - объективного, полного и надёжного представления результатов формирования социальной компетентности, способствовали повышению мотивации формирования социальной компетентности, делали студентов активными и заинтересованными участниками процесса оценивания, развивали адекватную самооценку и взаимооцен-ку студентов и органично вписывались в учебновоспитательный процесс вуза.
Литература
1. Беспалько, В. П. Слагаемые педагогической технологии / В. П. Беспалько. - М.: Педагогика, 1989.
- 190 с.
2. Ефремова, Н. Ф. Подходы к оцениванию компетенций студентов-первокурсников / Н. Ф. Ефремова // Высшее образование в России. - 2010. - № 4.
3. Ефремова, Н. Ф. Подходы к оцениванию компетенций в высшем образовании: учеб. пособие / Н. Ф. Ефремова. - М.: Исследовательский центр проблем качества подготовки специалистов, 2010. -214 с.
4. Зимняя, И. А. Интегративный подход к оценке единой социально-профессиональной компетентности
выпускников вузов / И. А. Зимняя, Е. В. Земцова // Высшее образование сегодня. - 2008. - № 5.
5. Зимняя, И. А. Ключевые компетенции - новая парадигма результата образования / И. А. Зимняя // Высшее образование сегодня. - 2003. - № 5.
6. Исследовательская деятельность: словарь / Сост. Е. А. Шашенкова. - М.: АПК и ППРО, 2005. -64 с.
7. Катаев, С. Г. Индикаторный метод оценивания компетенций / С. Г. Катаев, Ю. О. Лобода, Е. А. Хомякова // Вестник ТГПУ. - 2009. - Выпуск 11(89).
8. Мартыненко, О. Формирование и оценка профессиональных компетенций менеджеров в учебном процессе / О. Мартыненко, И. Чёрная // Высшее образование в России. - 2007. - № 9.
9. Ожегов, С. И. Словарь русского языка / С. И. Ожегов; под ред. Н. Ю. Шведовой - М. : Рус. яз., 1990. - 921 с.
10. Сергеев, И. С. Как реализовать компетентно-стный подход на уроке и во внеурочной деятельности: практическое пособие / И. С. Сергеев, В. И. Блинов. -М.: АРКТИ, 2007. - 132 с.
11. Словарь иностранных слов. - М.: Русский язык, 1983. - 608 с.
12. Тибилова, Т. М. Как качественно оценить человека / Т. М. Тибилова, В. А. Кузьмин. - СПб: Питер, 2010. - 208 с.
