CC BY
143
Н.А. Наумова, Л. К. Попова
ИНДИКАТИВНАЯ МЕТОДИКА ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ Аннотация
Статья посвящена вопросам применения компетентнстного подхода в высшей школе при формировании требований государственных образовательных стандартов к качеству образования. Для количественной характеристики качества обучения определены группы критериев (показателей) и их весовые коэффициенты. Предложена индикативная методика оценки качества образования.
Annotation
The article considers the issues of competence approach to formation of requirements for the state educational standards in higher education quality. It defines groups of criteria (measures) and weighting coefficients which can be used as quantitative characteristics for quality of educational performance. Indicative methods for education performance quality evaluation are also offered in the article.
Ключевые слова
Государственный образовательный стандарт, компетентность, компетенция, качество образования, методы экспертных оценок, оценка качества, критерий (показатель) качества, индикативная методика.
Keywords
The state educational standard, competence, education quality, methods of expert judgements, quality evaluation (quality assessment), quality criterion/index (performance), indicative methods
Требования государства к качеству образования выпускников вузов определяется посредством утверждения государственных образовательных
стандартов высшего профессионального образования (ГОС ВПО). С момента вхождения России в Болонский процесс перед отечественной системой высшего образования встала задача освоения
компетентностного подхода: ориентация государственных образовательных стандартов высшего профессионального образования на проектирование результатов образования в виде компетенций.
Основной тенденцией эволюции государственных образовательных
стандартов является переход от квалификационного подхода к компетентно-
2010 № 1
Вестник Ростовского государственного экономического университета (РИНХ)
стному при формировании требований к выпускнику вуза:
- образовательные стандарты первого поколения отражали общие требования к уровню подготовки выпускника;
- стандарты второго поколения содержат квалификационные характеристики, отражающие подготовленность выпускников к видам деятельности и решению профессиональных задач;
- проекты ГОС ВПО нового поколения предусматривают формирование базовых социально-личностных и общекультурных, общенаучных, инструментальных и профессиональных компетенций.
В настоящее время квалификация не является достаточно адекватной мерой для проектирования результатов высшего образования. Работодателям сегодня нужна не просто квалификация, а сочетание ее с компетенцией, то есть социальным поведением, инициативностью, умением принимать решения и отвечать за их последствия. Компетент-ностный подход в образовании предполагает акцентирование внимания не на самом знании, а на способности его использования.
Согласно требованиям образовательного стандарта третьего поколения, выпускник вуза должен обладать следующими компетенциями [1]:
1. Универсальными:
- общенаучными;
- инструментальными;
- социально-личностными и
общекультурными;
2. Профессиональными.
Ключевая особенность реализации компетентностного подхода в образовательном процессе заключается в том, что результаты обучения описывают компетенции, которые должны быть сформированы в процессе изучения учебного материала. На стадии формулирования результатов образования
следует запланировать адекватные методы и инструменты оценки и контроля усвоения студентами образовательной программы.
В учебном процессе целесообразно использовать смешанный метод оценки качества подготовки специалистов на каждом этапе образовательного процесса. Сущность данного метода заключается в следующем:
1.Единичные показатели качества объединяются в группы, для каждой из которых определяется групповой комплексный показатель качества.
2.Значения групповых комплексных показателей сравниваются с соответствующими значениями базовых показателей.
3. Все группы показателей сводятся в один комплексный показатель, на основании которого определяется итоговая оценка уровня качества.
Таким образом, при разработке системы оценки качества образования целесообразно применение индикативной методики. Индикатор представляет собой выраженный в количественном виде комплекс качественных показателей процесса обучения. Индикативная оценка деятельности вуза характеризует результаты образовательной деятельности на основе системы индикаторов.
Для оценки качества образования, то есть уровня профессиональной компетентности студентов (выпускников) как главного результата образовательного процесса вуза, необходимо выявить набор индикаторов. Данная задача может быть решена с помощью метода экспертных оценок, сущность которого заключается в проведении экспертами интуитивно-логического системного анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Полученное после обработки обобщенное мнение экспертов является решением задачи.
Каждая дисциплина должна
обеспечить овладение студентом определенного набора компетенций, который определяется непосредственно самой дисциплиной, а также ее принадлежностью к конкретному циклу учебного плана. Изучаемая учебная дисциплина дает возможность освоения какого-либо объема знаний посредством лекционных материалов и овладения какими-либо умениями на практических и лабораторных занятиях. Профессиональные навыки же студент может получить на предприятии во время учебно-производственной и преддипломной практики. Кроме того, важным показателем успеваемости студента является его научно-исследовательская деятельность в виде рефератов, курсовых работ и проектов и, в конечном итоге, дипломного проекта.
Таким образом, единичные критерии качества обучения (компетенции) могут быть объединены в группы критериев в соответствии с видами обучения, в рамках которых могут вырабатываться те или иные компетенции:
Группа 1. Теоретические знания (фундаментальные знания, полученные на лекционных занятиях).
Группа 2. Профессиональные умения (фундаментальные знания, закрепленные на практических и лабораторных занятиях).
Группа 3. Практические навыки
(знания и умения, отработанные в условиях практики на производстве).
Группа 4. Творческие способности (применение полученных знаний, умений и навыков для производства новых знаний, то есть научноисследовательская работа студентов).
Данные группы показателей качества являются индикаторами, количественно характеризующими результат образовательного процесса. Все четыре индикатора в совокупности образуют интегральный показатель, который представляет собой однозначную оценку качества образования.
В качестве комплексного показателя качества по группе будем использовать средний взвешенный показатель, который рассчитывается по формуле 1:
т
я, = £(*■, * ч,),
,=1
(1)
где - коэффициент весомости ]-го показателя качества, т - число учитываемых показателей, ^ - относительный _]-й показатель качества.
Таким образом, 01, 02, 03, 04 -комплексные показатели качества по каждой группе характеристик - знаний, умений, навыков и научно-
исследовательской работы (рис.1).
Интегральный показатель качества
_________Q________
1 г г 1 г г
Качество знаний О, Качество умений <9. Качество навыков О, Качество НИРС Ол
Рис. 1. Структура интегрального показателя качества образования
Компетентностный подход в профессиональном образовании предполагает овладение студентом в процессе обучения набором общих и специальных компетенций, разработанным в
ходе общеевропейского проекта TUNING (настройка образовательных структур в Европейском пространстве высшего образования). Полученный список включает 37 компетенций, кото-
рые подразделяются на специальные, инструментальные, социально-
личностные и организационноуправленческие. Такая классификация компетенций соотносится с классификацией, представленной в ГОС ВПО, однако, с точки зрения оценки качества обучения наибольший интерес представляет распределение данных компетенций между группами показателей качества, определенными выше.
Для расчета весовых коэффициентов групп показателей качества обучения и для определения значимости видов обучения используется метод экспертных оценок. Экспертные оценки представляют собой комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.
Для выявления набора критериев (индикаторов) качества обучения и определения их весовых коэффициентов был проведен опрос экспертов по методу Дельфи, согласно которому с помощью метода «мозговой атаки» была разработана программа последовательных индивидуальных опросов экспертов
[2]. Данный метод предполагает проведение экспертного опроса в несколько туров и ознакомление экспертов с мнениями друг друга между турами.
В качестве экспертов выступают преподаватели высших учебных заведений г. Ростова-на-Дону (РГЭУ «РИНХ»,
СКАГС, ЮРГИ и др.), стаж научнопедагогической работы которых превышает 10 лет. Экспертам было предложено произвести ранжирование весомости показателей в порядке из предпочтения: самому важному показателю присваивается ранг 1, следующему по важности - 2 и т.д. После того как данные от экспертов собраны, выполнена обработка полученных оценок, в результате чего получены следующие значения коэффициентов весомости параметров (групп параметров) качества:
Ж = 0,330; Ж = 0,33; Жз = 0,200; Ж = 0,140.
Так как полученные от экспертов оценки могут рассматриваться как случайные переменные, распределения которых отражают суждения специалистов о вероятности того или иного события, то необходимо провести оценку согласованности мнений экспертов в пределах каждого критерия. Для этого применим обобщенные статистические характеристики (средние и меры разброса [3]), значения которых представлены в табл. 1.
Согласованность мнений экспертов о весомости всех показателей качества определена с помощью коэффициента конкордации (согласия) Кендалла ', значение которого составило 0,69, что говорит о хорошей согласованности мнений экспертов, так как минимальным значением коэффициента конкор-дации, при котором мнения экспертов считают согласованными, равно 0,5.
Таблица 1. Оценки согласованности мнений экспертов
Крите- рии Весовые ко-эффици-енты Оценки согласованности мнений экспертов
Среднее значение Дис- персия Средне- квадратичное отклонение Ко- эффициент вариации (%)
1 2 3 4 5 6
Группа 1 0,33 1,67 0,242 0,492 29,54
па 2 Груп- 0,33 1,67 0,788 0,888 53,26
па 3 Груп- 0,2 2,75 0,568 0,754 27,41
па 4 Груп- 0,14 3,92 0,083 0,289 7,37
Анализируя результаты экспертного оценки, можно сделать вывод о том, что многие преподаватели, принимавшие участие в опросе, считают наиболее важными формами обучения лекционные и практические (лабораторные) занятия, на которых формируются базовые, фундаментальные знания в профессиональной области. Интересно также, что абсолютное большинство экспертов на последнее место ставят творческие способности студента, необходимые для выработки нового знания, поиска инновационных решений профессиональных задач.
Качество профессиональной подготовки выпускников вузов важно не только для самого вуза, но и для работодателей. Результаты проведенного исследования отражают отношение к качеству выпускников производителя (вуза), однако, точкой зрения на проблему качества потребителя (работодателя) не следует пренебрегать.
Для более глубокого анализа требований к качеству подготовки специалистов был проведен второй экспертный опрос по методу Дельфи. При
этом в качестве экспертов выступили непосредственные потребители услуг высших учебных заведений, то есть работодатели. В опросе приняли участие руководящие работники крупной ростовской телекоммуникационной компании, крупной строительной организации, регионального управления европейской торговой сети, авторитетного интернет-агентства и др. Профессиональная деятельность всех экспертов, участвующих в опросе, непосредственно связана с управлением персоналом и производством, а стаж работы на управляющей должности превышает 15 лет.
В результате обработки экспертных мнений, полученных от представителей работодателей, коэффициенты весомости параметров (групп параметров) качества приняли следующие значения:
Ж = 0,178; Ж2 = 0,377; Жз = 0,271; Ж4
= 0,174.
Оценка согласованности мнений экспертов проводится с помощью расчета обобщенных статистических характеристик (табл. 2) и коэффициента конкордации Кендалла.
Таблица 2. Оценки согласованности мнений экспертов
Кри- терии Весовые ко-эффици-енты Оценки согласованности мнений экспертов
Среднее значение Дис- персия Средне- квадратичное отклонение Ко- эффициент вариации (%)
Группа 1 0,18 3,17 0,333 0,577 18,23
Группа 2 0,38 1,50 0,636 0,798 53,18
Группа 3 0,27 2,08 0,992 0,996 47,82
Группа 4 0,17 3,25 1,114 1,055 32,47
Коэффициент конкордации Кен-делла W = 0,44. Следовательно, мнения экспертов недостаточно согласованны. Среди экспертов-работодателей существуют группы с высокой согласованностью мнений, но обобщенные мнения этих групп противоположны. Для выявления данных групп с высокой согласованностью мнений для каждого эксперта построена матрица упорядочения в канонической форме на основе ранжирования групп показателей качества, а
Рис. 2. Граф согласования мнений экспертов
Таким образом, исключив из рассмотрения эксперта №1, получили значение Ж = 0,64, который и выявил группы, внутри которых степень согласованности мнений очень высока: первая группа состоит из экспертов 2, 3, 4, во вторую группу входят эксперты 5, 6, 7,
8, 9 и 10.
Результаты двух описанных выше экспериментов позволяют говорить
также вычислено расстояние Кемени, на основе которых построен граф взаимосвязи мнений экспертов (рис.2).
Далее одного эксперта исключают из совокупности и подсчитывают коэффициент конкордации Ж1 для оставшихся:
- если Ж1>Ж, то данный эксперт исключается из совокупности;
- если Ж1<Ж, то данный эксперт остается в совокупности.
о том, что мнения о качестве подготовки специалистов производителей и потребителей в сфере высшего образования существенно отличаются. На рисунке 3 представлена диаграмма, которая позволяет наглядно оценить разницу результатов опроса среди экспертов-преподавателей и экспертов-
работодателей:
□ ПО ОЦС1 те
ПрОПОДЛПЛТРЛОЙ
I по оценке работодателей
Группа! Группа2 ГруппаЗ Группа^
Рис. 3. Сравнительная диаграмма результатов опроса экспертов-преподавателей и экспертов-работодателей
Как видно, мнения экспертов среди преподавателей и работодателей относительно важности первой группы параметров качества обучения, к которой относится уровень теоретической подготовки студента, сильно разнятся. Преподаватели считают, что теория должна составлять третью часть от всего содержания обучения, а работодатели оставили для нее всего 18%, поставив ее на одну ступень с творческими способностями. Это связано с тем, что классическое высшее образование в нашей стране ориентировано на формирование фундаментальных теоретических научных основ знаний у студентов. Поэтому образовательные программы высшего профессионального образования составлены таким образом, что основную часть учебной аудиторной нагрузки студента составляют лекционные занятия.
Для производственной сферы, в которой выпускник вуза должен будет вести свою профессиональную деятельность, важна не теоретическая подготовка специалиста, а его способность применять знания в реальных производственных условиях. Поэтому между коэффициентами весомости первой группы показателей качества, полученными при опросе экспертов-преподавателей и экспертов-работодателей, такая большая разница.
По поводу всех остальных показателей качества мнения обеих групп экспертов более согласованны. Отметим
только, что преподаватели определили как одинаково важны первые две группы показателей: знания и умения, тогда как работодатели существенно выше ценят именно профессиональные умения специалиста, а теоретическую подготовку и способности к инновационной деятельности для них несущественны.
Очевидно, что такая существенная разница между требованиями к качеству подготовки специалистов со стороны производителей и потребителей продукции вузов возникает из-за независимости обеих сторон. Выпускник проходит как минимум две стадии проверки своих знаний, умений и навыков: итоговую аттестацию в вузе и вступительные испытания при приеме на работу. В первом случае требования к качеству образования студенту (выпускнику) известны на протяжении всего периода обучения, более того, в соответствии с этими требованиями и ведется процесс обучения. Поэтому теоретически студент готов к итоговой аттестации в вузе. Однако требования работодателя к выпускнику вуза могут сильно отличаться от требований вуза.
Таким образом, проблема разницы в оценке качества подготовки специалиста сводится к проблеме отсутствия взаимосвязи между его производителем и потребителем. На сегодняшний день предпринят ряд попыток организовать такую взаимосвязь. Например, формирование профессиональных квалификационных стандартов необходимо
осуществлять при участии работодателей в соответствующей области профессиональной деятельности. Кроме того, в состав итоговой аттестационной комиссии также рекомендуется включать работающего специалиста. Несомненно, подобные решения важны, но для повышения качества высшего образования требуется комплексный подход.
Очевидно, что хорошие и отличные оценки в приложении к диплому о высшем образовании не являются абсолютной гарантией успешной профессиональной деятельности, ввиду того что критерии оценки преподавателей и работодателей не одинаковы. Тем не менее несогласованность подходов к оценке качества подготовки не является основным недостатком в образовательной системе. Проблема гораздо глубже. Молодые специалисты, как правило, отличаются не отсутствием знаний, а неспособностью применять их к реальным производственным ситуациям.
Поэтому главным приоритетом в процессе модернизации образовательного процесса становится преодоление разрыва между знаниями студента и его деятельностью, то есть между теорией предполагаемых действий и практикой.
Реализация индикативных критериев качества основана на статистических данных оценки образовательных достижений студентов и обработки результатов контроля усвоения знаний студентами посредством совокупности методов математической статистики, подтверждающих возможность количественной оценки качества образования в вузе. Данный подход использован при разработке балльно-рейтинговой системы оценки качества обучения студентов (выпускников) вуза.
Оценка успеваемости по каждой дисциплине учебного плана выводится исходя из одинаковой максимальной суммы рейтинговых баллов, равной 100 (100%). Максимальное количество баллов (Втах), которое может получить сту-
дент в конце семестра по какой-либо дисциплине, равно 100. Контрольным периодом, по итогам которого проводится аттестация по каждой дисциплине, будем считать семестр. Для каждой конкретной дисциплины контрольный период может быть разбит на несколько контрольных точек, количество которых (к) определяет преподаватель. Тогда максимальное количество баллов, которое может получить студент за каждую контрольную точку (Вк тах), есть частное от деления 100 баллов на количество контрольных точек (к). Контрольная точка считается засчитанной, если количество баллов, полученное студентом, равно либо превышает некоторое пороговое количество баллов (Вк тг-„). Будем считать, что пороговое количество баллов для каждой контрольной точки равно половине от ее максимального значения
Количество баллов за каждую контрольную точку, в свою очередь, складывается из четырех составляющих (формула 2), которые являются показателями (критериями) качества подготовки студента:
- баллов за активность на лекционных занятиях ВЛк (выставляются на основе количества пропусков занятий студентом к моменту контрольной точки, а также за работу студента на занятиях (вопросы студента преподавателю, ответы студента на вопросы преподавателя);
- баллов за теоретическую подготовку ВТк (определяются по результатам проведения контрольных мероприятий по какой-либо теме либо разделу дисциплины. Форма проведения данного контроля остается на усмотрение преподавателя (устный или письменный опрос, тестирование и др.);
- баллов за выполнение практических или лабораторных работ ВПк (выставляются за выполнение практических или лабораторных работ);
- баллов за научно-
исследовательскую работу БНк (выставляются в том случае, если программа обучения по данной дисциплине предусматривает подготовку курсовой работы (проекта), реферата, а также за участие в студенческих конференциях, конкурсах, олимпиадах и др.).
Бк = Бйк + Бдк + Б1к + Б1к
(2)
Для учета несвоевременности прохождения контрольных мероприятий и пропусков занятий необходимо ввести отрицательную составляющую рейтинга - штрафной балл (БШк): в штрафной рейтинг засчитывается пропуск контрольной точки - по 20% от максимального количества баллов по данной контрольной точке. Сумма штрафных баллов вычитается из рейтинга за весь контрольный период.
^ =£Бк -'¿Бок
к=1 к=1
(3)
Введение в рейтинг отрицательной составляющей в виде штрафного балла является дополнительным стимулом для студентов, так как даже успешная сдача всех контрольных точке в период зачетно-экзаменационной сессии не позволяет ему получить оценку «отлично».
Рейтинг-балл за контрольную точку промежуточным интегральным показателем качества образования студента. Результаты экспертного опроса
преподавателей позволяют рассчитать максимальное количество баллов всех составляющих контрольной точки:
- Бтк - баллы за теоретическую подготовку, доля участия которой в интегральном показателе качества образования составляет 33%;
- БПк - баллы за практические (лабораторные) умения, которые влияют на конечное качество образования студента так же, как и теоретическая подготовка, и составляют 33% от итоговой оценки;
- БНк - то есть баллы за научно-исследовательскую работу вносят вклад в интегральную оценку качества образования в размере 14%;
- БЛк - получено вычитанием суммы баллов трех известных нам
показателей качества из общего числа баллов. Следует отметить, что при этом не приравнивается данный показатель к практическим навыкам, которые вырабатываются при прохождении практики на производстве.
Допустим, что некоторая дисциплина, изучаемая студентами в течение одного семестра, предполагает проведение четырех контрольных точек. Так как максимальное количество рейтинг-баллов равно 100 или 100% (Bmax = 100), то максимальное количество баллов за каждую контрольную точку составит 25
(Бк max 25, Бк min 13, БШк 5) которое
необходимо распределить между четырьмя показателями качества знаний студентов (табл. 6):
Таблица 3. Шкала оценок различных видов контроля
Кри- терий m in балл m ax балл «не уд.» «уд овл.» «хо рошо» «от лично»
м ч PQ 0 5 0 - 2 3 4 5
Втк 0 8 0 - 3 5 4 - t'' - 6 8 -
м С B 0 8 3 0 - 5 4 - 7 - 6 8 - 7
Внк 0 4 2 0 - 3 4
Итоговый рейтинг по каждой дисциплине переводится в дифференцированную оценку по традиционной 5балльной системе и выставляется в экзаменационную ведомость и зачетную книжку студента.
Такая система позволяет если не полностью исключить, то свести к минимуму получение студентами случайных оценок. Данная технология предлагается в дополнение к основной системе оценки, представляющей собой аттестацию студентов в конце каждого учебного года, ввести рейтинговую систему оценки знаний, умений и навыков студентов.
Библиографический список
1.http://www.edu.ru/db/portal/spe/3v/3101 07l.htm - Российское образование. Федеральный портал.
2. Системный анализ в управлении:
учеб. пособие / В.С. Анфилатов, А.А. Емельянов, А.А. Кукушник; под ред. А.А. Емельянова.: Финансы и статистика, 2007. - 368с.
3. Бешелев С. Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. - М.: Статистика, 1980. -263 с.
Вibliographic list
1.http://www.edu.ru/db/portal/spe/3v/3101 07l.htm - Russian Education. Federal portal.
2. System Analysis In Management: Tutorial / V.S. Anfilatov, A.A. Emelyanov, A.A. Kukushnik.: Finance and statistics, Moscow, 2007. 368 p.
3. Beshelev S.D., Gurevich F.G. Mathematical and statistical methods of expert judgements. Statistics, Moscow, 1980. 263 p.
