CC BY
72
ОЦЕНКА КОМПЕТЕНЦИЙ В ХОДЕ ГОСУДАРСТВЕННОЙ ИТОГОВОЙ АТТЕСТАЦИИ: ОПЫТ ПРАКТИЧЕСКОЙ
РЕАЛИЗАЦИИ Ямова О.В. Email: Yamova679@scientifictext.ru
Ямова Ольга Васильевна - кандидат экономических наук, доцент, заведующий кафедрой, кафедра экономики и организации производства, Тюменский индустриальный университет, г. Тюмень
Аннотация: в статье предлагается в качестве одного из подходов к оценке уровня развития компетенций обучающихся в ходе государственной итоговой аттестации использовать технологию экспертной оценки с привлечением экспертов, в роли которых выступают члены государственной экзаменационной комиссии. Определены этапы процедуры экспертного оценивания, их содержательное наполнение и формы представления результатов. Приведены итоги апробации экспертной оценки уровня развития компетенций в ходе защиты выпускной квалификационной работы. Ключевые слова: компетенции, методы оценки компетенций, итоговая государственная аттестация, экспертная оценка.
ASSESSMENT OF COMPETENCIES DURING STATE FINAL CERTIFICATION: PRACTICAL EXPERIENCE Yamova O.V.
Yamova Olga Vasilievna - PhD in Economics, Associate Professor, Head of Department, DEPARTMENT OF ECONOMICS AND ORGANIZATION OF PRODUCTION, TYUMEN INDUSTRIAL UNIVERSITY, TYUMEN
Abstract: the article proposes to use the technology of expert assessment with the involvement of experts, which are played by members of the state examination committee, as one of the approaches to assessing the level of development of students' competencies during the state final certification. The stages of the expert assessment procedure, their meaningful content and forms of presentation of the results are determined. The results of testing an expert assessment of the level of development of competencies in the course of defense of the final qualification work are given.
Keywords: competencies, methods for assessing competencies, final state certification, expert assessment.
УДК 331.108.43 DOI: 10.24411/2312-8089-2020-10101
Начиная с момента перехода российской системы образования на компетентностно-ориентированную модель, по-прежнему актуальной является проблема оценивания результатов обучения с позиции уровня освоения тех или иных компетенций. Реализация компетентностного подхода предполагает глубокие системные преобразования, затрагивающие не только процесс преподавания, но и проведения оценочных процедур с переориентацией от оценки знаний к оценке компетенций.
Универсального механизма оценки компетенций в образовательной сфере на сегодняшний день не установлено, следовательно, перед каждым вузом возникает практическая задача - выбор метода оценки компетенций. Данному вопросу в настоящий момент времени посвящено достаточно много научно-практических и методических разработок, но они, как правило, касаются оценки уровня освоения компетенций в рамках учебных дисциплин и практик, и не учитывают особенности проведения и временные ограничения процедур государственной итоговой аттестации.
Итоговая аттестация является обязательной частью основных профессиональных образовательных программ высшего образования и представляет собой одну из самых важных оценочных процедур, завершающих процесс обучения в вузе. Итоговая аттестация - это комплексная проверка результатов обучения студента за весь период обучения.
Согласно положениям Федерального закона «Об образовании в Российской Федерации» итоговая аттестация, завершающая освоение имеющих государственную аккредитацию основных образовательных программ, является государственной итоговой аттестацией (далее ГИА) [1]. ГИА проводится в целях определения соответствия результатов освоения обучающимися основных образовательных программ соответствующим требованиям федерального государственного образовательного стандарта или образовательного стандарта государственными экзаменационными комиссиями.
Итоговая аттестация может проводиться в форме подготовки и защиты выпускной квалификационной работы и/или итогового (государственного) экзамена. Конкретные формы и процедуры текущей, промежуточной и итоговой аттестации устанавливаются и регламентируются образовательной организацией самостоятельно.
Учитывая, что структуру компетенции формирует не только знаниевый, но и деятельностный компонент, наиболее ярко можно отследить итоговый уровень сформированности компетенций в процессе применения, использования полученных знаний и умений, то есть в ходе подготовки и защиты выпускной квалификационной работы. При этом процедура оценки должна быть понятной и достаточно удобной для членов государственных экзаменационных комиссий, логичной и наименее трудоемкой с минимальным количеством оформляемых документов при проведении государственной итоговой аттестации.
Традиционный подход к оценке уровня компетенций ориентирован на «результат» образования, то есть когда о сформированности компетенций делается вывод на основе усвоения знаний, умений и навыков. Однако ряд исследователей (например, А.В. Хуторской, М.Б. Челышкова, Н.В. Ефремов) предлагают более инновационные средства оценки: наблюдение, контент-анализ, интервью, беседа, анкетирование, сравнение, анализ продуктов деятельности, активно-игровые диагностические методики и технологии и др.
В этой связи для оценки уровня развития компетенций в ходе государственной итоговой аттестации можно порекомендовать технологию экспертных оценок. Экспертное оценивание представляет собой процедуру получения оценки по тому или иному вопросу на основе мнения специалистов (экспертов) с целью последующего принятия решения. Мнения экспертов могут быть выражены как в количественной, так и в качественной форме.
Экспертный метод оценки сформированности компетенций в ходе государственной итоговой аттестации проводится на основе сбора, обобщения и анализа индивидуального мнения членов государственной экзаменационной комиссии об уровне развития компетенций у обучающихся согласно заранее заданной шкале оценивания с последующим определением обобщенного оценочного значения и установления окончательного решения об уровне развития компетенций, относящихся к той или иной группе.
Экспертная оценка компетенций в ходе государственной итоговой аттестации предполагает три этапа: подготовительный, оценочный и аналитический.
1 Этап - подготовительный включает перечень работ, которые выполняются до непосредственно проведения оценочных процедур, а также разработку необходимых форм документов.
1.1.Определение перечня компетенций, подлежащих оценке, выполняется исходя из перечня компетенций, определяемых в федеральных государственных
образовательных стандартах согласно видам профессиональной деятельности, а также самостоятельно разработанных и установленных образовательной организацией.
1.2.Объединение компетенций в группы (кластеры), исходя из их содержательно-смыслового наполнения.
Проиллюстрируем это на примере направления подготовки бакалавров «Экономика». Согласно требованиям ФГОС по данному направлению подготовки студенты должны овладеть общекультурными, общепрофессиональными и профессиональными компетенциями, соответствующими видам
профессиональной деятельности, на которые ориентирована программа бакалавриата. Так, например, обучающиеся по направлению «Экономика» профиль «Экономика предприятий и организаций» ориентированы на расчетно-экономическую, аналитическую и научно-исследовательскую, организационно-управленческую профессиональную деятельность. Вся совокупность оцениваемых компетенций разбивается на кластеры (табл. 1).
1.3.Установление шкалы оценки компетенций.
Для экспертной оценки разрабатывается шкала оценивания, включающая в себя, как правило, 3-5 опорных точек, отделяющих границы оценочных областей.
Возможны различные варианты градации экспертных оценок, например, освоена, частично освоена, не освоена; высокий, средний, низкий, нулевой уровень; пороговый, средний, высший уровень и т.п.
Ориентируясь на традиционную для образовательных учреждений пятибалльную шкалу оценивания, рекомендуется выделение следующих оценочных уровней:
- высокий уровень - проявление компетенции демонстрируется обучающимся в полном объеме (5 баллов);
- средний уровень - обучающийся демонстрирует проявление компетенции при отсутствии существенных ошибок и недоработок (4 балла);
- базовый уровень - компетенция проявляется частично в наиболее принципиальных аспектах (3 балла)
- компетенция не освоена - обучающийся не демонстрирует проявление компетенции (2 балла).
1.4. Разработка форм для проведения оценочных процедур и представления полученной информации.
Учитывая ограниченный временной интервал для проведения оценочных процедур и количество участников процедуры, основным рекомендуемым методом организации работы экспертов является письменный опрос. В связи с этим необходимо предоставить экспертам возможность фиксации записей в заранее разработанных формах, предусмотреть последующую обработку полученной информации (по возможности с привлечением автоматизированных средств расчета, например, табличного процессора Excel) и представление результатов оценивания в наглядной форме.
Опрос экспертов - членов ГЭК представляет собой фиксацию в содержательной и количественной форме по заранее определенной шкале суждений экспертов относительно уровня сформированности той или иной компетенции, которую демонстрирует обучающийся в ходе процедуры итоговой государственно аттестации на основе проявляемых знаний, умений, навыков и личностных характеристик [3].
Таблица 1. Кластеры компетенций для экспертной оценки в ходе государственной итоговой
аттестации (защита ВКР)
Кластер компетенций Содержательное проявление кластера и виды формирующих его компетенций
1 2
Культурно-общепрофессиональный кластер (КПК) Способность использовать основы философских знаний для формирования мировоззренческой позиции (ОК-1) Способность анализировать основные этапы и закономерности исторического развития общества для формирования гражданской позиции (ОК-2) Способность использовать основы экономических знаний в различных сферах деятельности (ОК-3) Способность использовать основы правовых знаний в различных сферах деятельности (ОК-6)
Личностный кластер (ЛК) Способность к самоорганизации и самообразованию (ОК-7) Способность использовать методы и средства физической культуры для обеспечения полноценной социальной и профессиональной деятельности (ОК-8) Способность находить организационно-управленческие решения в профессиональной деятельности и готовность нести за них ответственность (ОПК-4)
Коммуникативный кластер (КК) Способность к коммуникации в устной и письменной формах на русском и иностранном языках для решения межличностного и межкультурного взаимодействия (ОК-4) Способность работать в коллективе, толерантно воспринимая социальные, этнические, конфессиональные и культурные различия (ОК-5)
Информационно-технологический кластер (ИТК) Способность решать стандартные задачи профессиональной деятельности на основе информационной и библиографической культуры с применением информационно-коммуникационных технологий и с учетом основных требований информационной безопасности (ОПК-1) Способность выбрать инструментальные средства для обработки экономических данных в соответствии с поставленной задачей, проанализировать результаты расчетов и обосновать полученные выводы (ОПК-3) Способность использовать для решения коммуникативных задач современные технические средства и информационные технологии (ПК- 8)
Расчетно-экономический кластер (РЭК) Способность собирать и анализировать исходные данные, рассчитывать экономические и социально-экономические показатели на основе типовых методик, составлять экономические разделы и планы расчетов исходя из специфики хозяйственной деятельности субъекта (ПК-1, ПК- 2, ПК-3)
Аналитический и научно-исследовательский кластер (АНК) Способность осуществлять сбор, анализ и обработку данных, необходимых для решения профессиональных задач (ОПК-2) Способность собирать необходимые данные, строить стандартные теоретические и экономические модели, анализировать и интерпретировать отчетную, статистическую и иную информацию, выявлять тенденции изменения социально-экономических показателей, готовить информационные обзоры и/или аналитические отчеты, применяя при этом современные технические средств и информационные технологии (ПК-4, ПК-5, ПК-6, ПК-7)
Организационно-управленческий кластер (ОУК) Способность организовать деятельность малой группы, разработать и оценить варианты управленческих решений с учетом критериев социально-экономической эффективности, рисков и возможных последствий (ПК-9, ПК-11)
Перед началом заседания государственной экзаменационной комиссии каждый член получает оценочный лист для проведения письменного опроса, фрагмент которого представлен в табл. 2.
Таблица 2. Фрагмент оценочного листа для письменного опроса эксперта-члена ГЭК в ходе государственной итоговой аттестации
Эксперт Студент гру ппы Ф.И.О. студента
(Ф.И.О.)
Кластер компетенций Шкала оценивания
Высокий уровень (5 баллов) Средний уровень (4 балла) Базовый уровень (3 балла) Не освоена (2 балла)
Демонстрируе т в полной мере Демонстрирует проявление компетенции при отсутствии существенных ошибок и недоработок Компетенци я проявляется частично в наиболее принципиаль ных аспектах Не демонстрирует проявление компетенц ии
Культурно-общепрофессиональный кластер (КПК)
Личностный кластер (ЛК)
Коммуникативный кластер (КК)
Информационно-технологический кластер (ИТК)
Расчетно-экономический кластер (РЭК)
Аналитический и научно-исследовательский кластер (АНК)
Организационно-управленческий кластер (ОУК)
2 Этап - непосредственно проведение процедуры оценки. Члены ГЭК являются экспертами, которые по результатам защиты выпускной квалификационной работы и ответов на вопросы дают в обобщенно виде экспертную оценку уровня развития компетенций в рамках выделенных кластеров. К оценке в качестве эксперта может быть также привлечен научный руководитель выпускной квалификационной работы.
3 Этап предполагает обработку полученных в ходе опроса результатов путем расчета среднего уровня освоения по сформированным кластерам компетенций для каждого обучающегося как простой средней арифметической мнений всех экспертов. При этом общий оценочный лист по группе обучающихся будет выглядеть следующим образом (табл. 3):
Ф.И.О. обучающегос я/кластер компетенций Эксперт 1 (председа тель ГЭК) Эксперт 2 (член ГЭК) Экспер т 3 (член ГЭК) Экспер т 4 (член ГЭК) Экспер т 5 (член ГЭК) Средняя оценка сформированност и кластера компетенций
1 2 3 4 5 6 7
Иванов В.К. (индивидуальная итоговая оценка 3,46 - базовый уровень)
КПК 3 4 4 3 3 3,4 базовый уровень
ЛК 3 4 3 3 4 3,4 базовый уровень
КК 4 5 4 4 3 4,0 средний уровень
ИТК 3 3 3 4 3 3,2 базовый уровень
РЭК 4 4 3 4 3 3,6 базовый уровень
АНК 3 4 4 4 3 3,6 базовый уровень
ОУК 3 3 3 3 3 3,0 базовый уровень
Петров С.Г. (индивидуальная итоговая оценка 4,2 - средний уровень)
КПК 4 4 5 5 4 4,4 средний уровень
ЛК 5 5 5 5 4 4,8 высокий уровень
КК 4 4 4 4 3 3,8 средний уровень
1 2 3 4 5 6 7
ИТК 4 5 5 4 4 4,4 средний уровень
РЭК 5 4 4 5 5 4,6 высокий уровень
АНК 5 5 4 4 5 4,6 высокий уровень
ОУК 3 4 4 3 3 3,4 базовый уровень
Интерпретация полученных числовых значений осуществляется на основе попадания в тот или иной заранее установленный оценочный диапазон. Предлагаемый вариант представлен в табл. 4.
Таблица 4. Рекомендуемый диапазон оценочных значений для установления обобщенной экспертной оценки уровня развития компетенции
Уровень развития компетенции Диапазон средних балльных значений
Высокий уровень от 4,55 до5
Средний уровень от 3,85 до 4,54
Базовый уровень от 3,0 до 3,84
Не освоена менее 3,0
После расчета средней оценки выделенных кластеров компетенций может быть определена индивидуальная итоговая оценка уровня развития компетенций как
простая средняя кластерных оценок. Содержательная е интерпретация также выполняется на основе табл. 4.
Средние оценки уровня сформированности кластера компетенций для каждого обучающегося можно использовать для формирования итоговой картины по группе студентов. При этом определение групповой итоговой оценки можно выполнять по формуле средней арифметической взвешенной, задав заранее уровни значимости для профессиональной деятельности того или иного кластера компетенций. Уровень значимости также определяется согласованным мнением экспертов, принимающих участие в оценочной процедуре.
В табл. 5 представлены результаты обработки экспертных оценок уровня развития кластеров компетенций по группе студентов-выпускников, полученных в ходе процедуры защиты ВКР.
Таблица 5. Результаты экспертной оценки уровня развития кластеров компетенций по группе
студентов-выпускников
Кластер компетенций Средняя оценка уровня развития кластера компетенций по группе студентов К Уровень значимости развития компетенции в проф. деятельности ш Средневзвешенная оценка Ю* ш
Культурно-общепрофессиональный кластер (КПК) 3,92 0,12 0,4704
Личностный кластер (ЛК) 3,84 0,15 0,5760
Коммуникативный кластер (КК) 4,47 0,14 0,6258
Информационно-технологический кластер (ИТК) 4,63 0,17 0,7871
Расчетно-экономический кластер (РЭК) 4,56 0,16 0,7296
Аналитический и научно-исследовательский кластер (АНК) 4,52 0,16 0,7232
Организационно-управленческий кластер (ОУК) 4,48 0,10 0,4480
Итоговая оценка 4,3457 (средний уровень) 1,0 4,3601 (средний уровень)
Расчеты показывают, что студенты продемонстрировали в целом средний уровень развития компетенций (как с учетом уровня значимости отдельных групп компетенций, так и без нее). Если сопоставить индивидуальные итоговые оценки из табл. 3 с итоговыми оценками по группе студентов, то можно увидеть, что уровень развития компетенций у данных студентов ниже, чем в целом по группе.
Размах вариации средних оценок по уровню развития кластеров компетенций, как разность между самым большим и самым малым значением, составляет 0,71 балла. При этом среднеквадратическое отклонение составляет 0,2997 балла, а коэффициент вариации равен 0,069, что свидетельствует о низком уровне вариабельности оценочных значений, а, значит, равномерном уровне сформированности отдельных кластеров компетенций.
Подводя итого, можно сделать следующие выводы. Использование технологии экспертной оценки компетенций в ходе ГИА (в процессе защиты выпускной квалификационной работы) обеспечивает простоту организации и оперативность работы экспертной группы, использование количественной обработки данных и возможность охвата большого числа участников.
Получение индивидуальных и групповых оценок позволяет сформировать картину уровня развития выделенных кластеров компетенций как по отдельному студенту, так и по группе студентов в целом, а также обеспечивает возможность их сравнения и сопоставления. Для повышения оперативности получения оценочно-аналитических данных проведение расчетов рекомендуется автоматизировать.
Работа выполнена при финансовой поддержке Международного научного фонда экономических исследований академика Н.П. Федоренко. Проект № 2018-123.
Список литературы /References
1. Федеральный закон от 29.12.2012 № 273-Ф3 (ред. от 26.07.2019) «Об образовании в Российской Федерации».
2. Федеральный государственный образовательный стандарт высшего образования по направлению подготовки 38.03.01 Экономика (уровень бакалавриата). Утвержден приказом Министерства образования и науки РФ от 12 ноября 2015 года № 1327.
3. Ямова О.В. Экспертная оценка уровня освоения компетенций в ходе государственной итоговой аттестации // Фундаментальные и прикладные научные исследования: актуальные вопросы, достижения и инновации: сборник статей XXVIII Международной научно-практической конференции. В 2 ч. Ч. 2. Пенза: МЦНС «Наука и Просвещение», 2019. 222 с. С. 183-188.
