CC BY
42
methodological approaches to study of innovative educational process quality in a technical university
S.V. Filatov
vice-rector for international relations of the Moscow State Institute of Radiotechnics, Electronics and Automatics (Technical University)
T.G. Tsunikova
candidate of pedagogical sciences, associate professor of the Department of Foreign Languages of the Moscow State Institute of Radiotechnics, Electronics and Automatics (Technical University)
The article deals with analysis of the issues of socio-pedagogical design and simulation of educational process management in organisation of education in a technical university.
Key words: parametric model of expert preparation quality, qualitology of education, standardization, certification, licensing, accreditation, quality of academic training of students, socio-pedagogical designing and modeling of management of educational process.
процессно-ориентированный подход к анализу деятельности
и рейтингованию кафедр вуза
Л.А. Климович
заместитель директора по научной работе Сургутского филиала Сибирской государственной автомобильно-дорожной академии Тел.: 8-912-812-27-24; (3462) 56-23-00
Б.П. Яковлев
доктор психологических наук, профессор Сургутского государственного университета ХМАО-Югры Тел.: 8-912-519-41-64; (3462) 25-29-72; е-mаil: [email protected]
В статье предлагается способ мониторинга деятельности кафедр вуза на основе контроля результатов реализуемых кафедрами процессов. Кафедра рассматривается как структурно-производственная единица. Анализ качества деятельности объединяет методы контроля качества производства (контрольные карты и диаграммы Парето) и предусматривает определение рейтинга кафедры по результатам мониторинга. Способ может использоваться также для анализа деятельности факультетов вуза.
Ключевые слова: мониторинг, процесс, качество образования, кафедра, рейтинг.
Современная тенденция внедрения систем менеджмента качества в работу высших учебных заведений и массовость разработки методов контроля в вузах приводят к по-
становке вопроса о стандартизации методов и способов мониторинга и рейтингования факультетов и кафедр. Возникающие сложности определяются тем, что качество об-
из
разования носит комплексный, многокомпонентный характер. Соответственно контроль и оценка производятся, как правило, по нескольким критериям, содержание которых каждым вузом определяется самостоятельно.
Как правило, критерии контроля качества и рейтингования группируются по направлениям работы (учебная, научная, воспитательная), а получаемые результаты позволяют выявить наиболее или наименее результативные объекты. Однако группирование внутри направлений деятельности по реализуемым в этой деятельности процессам позволит оценить качество работы более тонко. Например, учебная работа складывается из реализации обязательного федерального и регионального компонентов, а также вариативного внутривузовского компонента, курсов по выбору. При этом вариативный компонент характеризует актуальность и ценность работы кафедры для образовательного процесса. Таким образом, более подробное рассмотрение деятельности превращает рейтинг кафедры в источник информации для руководства вуза, который помогает отследить динамику деятельности и сделать подробные выводы об ее эффективности.
Процессный подход - один из восьми базовых принципов, положенных в основу международных стандартов качества ИСО серии 9000 и 9001, и опирающихся на них отраслевых стандартов обеспечения качества образования. Процессы рассматриваются в стандартах как логически выстроенная последовательность действий, которая должна от входа в процесс привести к получению некоторого результата. Принципы рейтингования, приятные в современном образовании, также ориентируются на результат и могут применяться по отношению не только к деятельности в целом, но и к отдельным процессам.
При построении внутреннего рейтинга вузы стараются объединять три содержательных подхода к оцениванию, используемые Министерством образования и науки РФ для рейтингования вузов:
- оценка достигнутых показателей по результатам работы;
- оценка показателей, характеризующих фактическое состояние;
- оценка показателей, характеризующих потенциальные возможности.
Однако критерии, по которым производится контроль, и шкалы оценивания в различных вузах различны.
В Красноярской государственной медицинской академии применяется рейтинговая система оценки основных и взаимосвязанных направлений деятельности подразделений на основе показателей работы профессорско-преподавательского состава: учебно-методическая, лечебная работа, научно-исследовательская работа, менеджмент качества. Полученные результаты рейтинга демонстрируют в динамике развитие структурных подразделений, сравнение с «себе подобными» или лучшими в группе, и могут использоваться для формирования норм на уровне вуза, факультета, кафедры.
При определении рейтинга кафедр Самарского государственного технического университета учитываются следующие показатели:
1) работа с кадрами (средний возраст, «остепененность», количество работающих на полную ставку, число аспирантов на кафедре, число защит диссертаций);
2) научно-исследовательская и научно-методическая работа (объем выполняемых НИР, изобретательская деятельность, издание монографий, учебников и учебных пособий, состояние учебно-методических комплексов);
3) организационно-методическая работа, повышающая рейтинг всего университета (проведение всероссийских и международных конференций, работа в редколлегиях центральных изданий, участие в работе Учебно-методических объединений и НТС министерств);
4) работа со студентами (деятельность кафедр по распределению молодых специалистов, подготовка студенческих работ на конкурсы, подготовка и организация участия студентов в олимпиадах, конференциях, выставках).
В Кольском филиале Петрозаводского государственного университета (г. Апатиты) рейтинг кафедр рассчитывается на основе частных оценок: рейтинг преподавателей от студентов, оценка учебно-методической работы, оценка научной работы, повышение квалификации, стаж работы.
Рейтинг факультетов Новосибирского государственного технического университета строится по трем номинациям:
1) наука - оценивается кадровый потенциал, организация научной работы (аспиранты, докторанты), личная научная активность, наличие научных школ и защита диссертаций;
2) образование - оценивается образовательный потенциал преподавателей и студентов, активность преподавателей в учебно-методической работе, творческая учебная активность студентов;
3) развитие - оцениваются привлечение внебюджетных средств, в том числе на улучшение материально-технической базы, открытие новых кафедр, филиалов, направлений и специальностей.
Санкт-Петербургский государственный педагогический университет им. А.И. Герцена использует для рейтингования кафедр две модели: на основе среднего рейтинга кафедры и на основе системы показателей качества. В первой модели используется понятие «средний рейтинг», который рассчитывается как среднее арифметическое рейтинговых показателей профессорско-преподавательского состава на основании данных по итогам учебного года. При определении рейтинга кафедры множество значений индивидуальных рейтингов профессорско-преподавательского состава подразделяется на четыре уровня: высокий, выше среднего, ниже среднего, низкий. Уровень рейтинга кафедры устанавливается в соответствии с принятыми интервалами значений, рассчитываемыми относительно среднего значения по группе кафедр. Вторая модель - на основе системы показателей качества - включает в себя большое количество критериев оценки деятельности кафедр, которые характеризуют условия осуществления образовательной деятельности, процессов и результатов деятельности факультета и кафедры.
Таким образом, в большинстве своем математическая обработка данных о деятельности кафедр производится достаточно просто: рассчитываются показатели работы объекта по нескольким направлениям деятельности с учетом коэффициентов значимости того или иного вида деятельности. Значимость коэффициентов, как правило, определяется экспертами на основе степени влияния рассматриваемого вида работ на аккредитацион-ные показатели или стратегическое развитие
вуза. Полученные в результате обработки данных значения ранжируются, и таким образом определяется рейтинг объекта в вузе.
Определение рейтинговой оценки деятельности кафедры не является оптимизационной задачей, при решении этой задачи невозможно достичь однозначного компромисса, так же как нет явной аналитической зависимости между первичными числовыми показателями деятельности. Для построения рейтингов используются различные математические методы и модели [1, 2]. Некоторые из них достаточно просты, грубы и используются только для предварительной оценки или как составляющие для более сложных методов ранжирования. Часть методов сложна в реализации, требует больших по объему вычислений, а также разработки или приобретения специализированных информационных систем.
На практике вузы стараются найти компромиссное решение между сложностью используемой математической модели, технических инструментов и получаемым результатом. Используются и схемы расчета с учетом весовых показателей и без их учета -как раздельно, так и вместе. Например, в методике расчета в Томском государственном университете используется модель определения рейтинга кафедр на основе средних значений:
1) абсолютные значения показателей нормируются на число штатных ставок преподавателей кафедры; отдельные пункты, характерные для выпускающих кафедр, нормируются на число студентов-выпускников соответствующей специальности;
2) определяются средние значения показателей как среднее арифметическое за три года;
3) вычисляется абсолютный рейтинг кафедры как сумма средних значений показателей кафедры;
4) для рассматриваемой группы кафедр вычисляется средний рейтинг: относительный рейтинг кафедры определяется как частное от деления абсолютного рейтинга на среднее значение рейтинга в рассматриваемой группе кафедр.
В Самарской государственной академии путей сообщения оценка деятельности кафедр осуществляется на основе принятого
критерия для некоторого глобального числового показателя предварительно разбитых на группы кафедр. При этом используются следующие переменные:
Ва,{а = 1,Ь\Ь = \,2,...,() - глобальный числовой показатель деятельности кафедры, Ь -число кафедр в группе;
Dj,(j = \р;р = 1,2,...,с) - обобщенный числовой показатель вида деятельности кафедр, р - число видов деятельности (р = 3);
= = =1,2,...,п) - обобщен-
ный числовой показатель вида работы по данному виду деятельности;
4»и = йрИ = = - от-
носительный первичный числовой показатель деятельности в сформированном списке, - число относительных первичных числовых показателей в описании /-го вида работы, А < или > 0, причем А < 0 соответствует штату и зависит от вида вычислительной формулы.
Для вычисления А ^ используются списки первичных числовых показателей деятельности:
_ показатель деятельности1 один из показателей деятельности2
При вычислении обобщенных числовых показателей используются аддитивная функция свертки, нормирующие делители в виде максимального значения показателя из рассматриваемого диапазона и весовые коэффициенты важности а (получаются методом экспертной оценки). Рейтинг-лист для кафедр в группе составляется на основе критерия: максимум глобального числового показателя Ва. Задача ранжирования и установления рейтинга кафедры внутри группы усложняется и требует привлечения экспертов, если решается на уровне обобщенных числовых показателей видов деятельности D или отдельных видов работ R
Разработчики описанного метода указывают на то, что получаемый рейтинг кафедр весьма чувствителен к достоверности исходной информации, а также зависит от компетентности лиц, принимающих решения, и групп экспертов; список показателей деятельности кафедр должен быть ясным и понятным и использоваться в течение длительного времени. Предполагается развитие рейтинговой оценки через описание весо-
вых коэффициентов важности а с использованием аппарата нечеткой логики.
Общий рейтинг кафедры Омского государственного университета РК складывается из суммы абсолютных рейтингов ее преподавателей РИА и рейтинга кафедры как суммы натуральных величин (значений) /-го показателя (В.) таблицы баллов кафедры (из отчета кафедры) по специальной форме, умноженного на соответствующий балл показателя (Ь), отнесенной к количеству приведенных ставок профессорско-преподавательского состава кафедры:
+ ~£,РИА
рк = -±-'
где Ыпр - приведенное число ставок ППС в отчетном учебном году.
Эту технологию можно отнести к разновидности метода комплексной сравнительной рейтинговой оценки. Используемая методика позволяет оценивать помимо результативности также активность и потенциал кафедры.
В методике оценки качества деятельности факультетов Новосибирского государственного университета используются приведенные на студентов и сотрудников показатели результатов работы, а также и некоторые постоянные числовые коэффициенты. Для расчета рейтинга используются выражения, учитывающие вклад того или иного показателя в общий показатель. Например, кадровый потенциал научной деятельности вычисляется по формуле:
К^К^Докт+С^ЛР^+Ш
где Канд - относительное число кандидатов наук;
Докт - относительное число докторов наук; Ак - относительное число членов общественных академий;
РАН - относительное число академиков и членов-корреспондентов РАН; ЗД - относительное число лиц, имеющих звание «Заслуженный деятель...»; С-С4 - постоянные коэффициенты, устанавливаемые после коллегиального обсуждения заинтересованных сторон с учетом приоритетов, сформировавшихся в университете на данный момент.
При расчете рейтинга кафедр Тюменского государственного университета показатели деятельности кафедры распределяются по двум основным блокам в соответствии с потенциальными возможностями кафедры и активностью преподавателей кафедры. Каждый блок имеет свой весовой коэффициент, который отражает значимость данного вида деятельности в структуре профессиональной деятельности преподавателя университета. Методика определения рейтинга основана на линейной свертке исходных показателей в локальные, а затем в глобальные критерии.
Таким образом, используемые методики расчета рейтинга кафедр строятся чаще всего на основе балльных оценок, с применением весовых коэффициентов.
Для оценки деятельности кафедры будем использовать объединение моделей оценки по результатам деятельности и оценки внутрисистемных показателей. Модель оценки по результатам деятельности представляет собой систему оценки полученных результатов, характеризуемую выбором целеори-ентированных параметров и степенью достижения поставленных целей. Модель оценки внутрисистемных показателей - это система оценки с приоритетным выбором ценностно-ориентированных показателей, которые характеризуют внешнюю по отношению к объекту оценки среду. Объединение этих моделей позволяет производить контроль процессов и их результатов.
Количественно деятельность кафедр университета можно охарактеризовать с трех позиций:
1) деятельностная активность;
2) отклонение в распределении выполняемых видов работ на основные и дополнительные;
3) отклонение плановых показателей от фактических.
Анализ деятельностной активности кафедр позволяет сравнивать подразделения вуза по показателям, характеризующим научно-исследовательскую, учебно-методическую, воспитательную и организационную работу. Второй показатель строится на анализе распределения внимания преподавателей по различным видам работ. Третий показатель представляет планомерность деятельности преподавателей кафедр, характе-
ризуемой их ориентацией на плановые показатели, и позволяет сравнивать плановые показатели с реальным выполнением.
Деятельностная активность оценивается по пяти направлениям работы, которые реализуются через различные виды деятельности:
1) учебная работа: реализация профессиональных образовательных программ;
2) учебно-методическая работа: методическое обеспечение учебного процесса; тех-нологизация учебного процесса;
3) научно-исследовательская работа: публикации; научно-исследовательская работа студентов, участие преподавателей в НИОКР, финансирование НИОКР, проведение научных мероприятий и участие в них, организация дополнительного образования;
4) воспитательная работа: профессиональное воспитание;
5) организационная работа: работа с кадровым составом участие в реализации мероприятий стратегического развития университета (СМК).
Список показателей отдельных видов деятельности определяется на основе векторных оценок [3].
Подход к анализу деятельности кафедры как структурно-производственной единицы делает возможным использование методов контроля качества производства. Основой для построения рейтинга деятельностной активности кафедр служат контрольные карты, позволяющие наблюдать уровень процессов, происходящих в вузе.
Результаты деятельности одной кафедры представляют собой одну выборку. Соответственно, для проведения расчетов имеется ряд выборок с равным набором признаков. В качестве рабочей величины для расчета контрольных границ используем среднее каждой выборки (Х-карты). Так как стандарт значений не задан, центральная линия определяется как среднее значение Х всех выборочных средних Х. Контрольные границы симметричны относительно центральной линии и определяются выражениями:
где А2 - множитель (зависит от размера выборки);
R - среднее значение размаха для всех выборок.
Таким образом, по усредненным данным строится модель деятельностной активности работы кафедр университета, определяющая верхние и нижние границы активности нормально работающей кафедры. Наложение на полученную модель данных работы конкретной кафедры позволяет определить ее вклад в организацию работы университета по рассматриваемому виду деятельности.
Результаты оценки деятельностной активности кафедр представляются в виде таблицы с результатами расчетов абсолютного показателя деятельности, среднего значения выборки и показателя Вк и контрольной карты (рис. 1).
3.50 3,00 !,50 2,00 1.50 1,00 0,50 0,00
4- у п ' I \
Й
"Т" —"1'Т'Т"!
В 7 > в 1 Номер кафедры в
II 12 13 14 15
Вк=-
I
число причин (80%), оказывающих несущественные воздействия (20%).
Правило Парето для построения модели деятельности кафедры имеет следующую формулировку: существуют процессы (около 20% от общего числа процессов), являющиеся основными, которые занимают 80% от всего объема выполненных работ, и вспомогательные (около 80%), занимающие не более 20% от объема работ.
Вклад основных видов деятельности в деятельность кафедры в целом при общем числе рассматриваемых видов деятельности, равном тринадцати, должен составлять не менее 73%.
Функция, описывающая правило Парето имеет три известные точки: (0; 0), (3; 73), (13; 100) и представляется в виде диаграммы процессов и графика, описывающего кумулятивный вклад видов деятельности (рис. 2).
Рис. 1. Контрольная карта процесса «Технологизация учебного процесса»
Для определения показателя Вк в некотором рассматриваемом виде деятельности используем отношение расстояния показателя кафедры рк от центральной контрольной линии к полуширине контрольных границ I = АгЯ:
1816 14 12 10 8 6 4 2 0
ч,
I количество
Анализ контрольной карты позволяет определить кафедры, которые нарушают течение рассматриваемого процесса в силу чрезвычайно высокой или низкой активности. Причины нарушений могут быть определены в ходе более детального рассмотрения результатов работы, а также рассмотрения диаграмм Парето деятельности кафедры.
Диаграмма Парето строится на основе эмпирического правила и позволяет отслеживать функционирование кафедры. В общем случае правило формулируется следующим образом: все возможные причины изменения качества делятся на две группы: небольшое число причин (20%), которые оказывают существенные воздействия (80%); большое
Рис. 2. Пример диаграммы Парето кафедры
В качестве основных видов деятельности рассматриваются: реализация ПрОП; организация и участие в научных мероприятиях; методическое обеспечение учебного процесса.
К вспомогательным видам деятельности отнесены: технологизация учебного процесса; публикации результатов научно-исследовательских работ; научно-исследовательская работа студентов; участие преподавателей в НИОКР; финансирование НИОКР; организация дополнительного образования; профессиональное воспитание; работа с кадровым составом; участие в реализации мероприятий стратегического развития университета; качество планирования деятельности.
Основу рейтинговой оценки деятельности кафедр составляет интегрированная оценка
20
80
60
40
20
работы сотрудников кафедр. Упорядочивание расположения кафедр в рейтинге осуществляется по возрастанию Вк (от минимальных отрицательных значений, соответствующих лучшим показателям среди кафедр, расположенных внутри контрольных границ). При равных рейтинговых оценках кафедры имеют одинаковый рейтинг. Следующие кафедры сдвигаются на соответствующее количество мест.
Применяя этот подход к различным процессам (включая процесс планирования), получаем рейтинги кафедры по процессам г. Их суммирование внутри отдельного вида деятельности с последующим рейтингова-нием результатов приводит к получению рейтинга кафедр по виду деятельности R:
т_
1=1
где т - количество рассматриваемых процессов в заданном виде деятельности.
Получаемый в результате ранжирования оценок рейтинг является результатом сравнения не только количественных результатов деятельности кафедры, но и значимости выполняемой работы для университета и уровня организации работы. Основой для построения рейтинга является отчет о проделанной работе.
Предварительный интегральный рейтинг кафедры RgD определяется по сумме рейтингов по виду деятельности Rj:
где п - количество рассматриваемых видов деятельности, п = 13.
Предварительный интегральный рейтинг может быть откорректирован по результатам анализа распределения внимания кафедры по процессам на основе анализа диаграмм Парето.
Распределение внимания кафедр по видам деятельности характеризуется очень большим разбросом интересов. Если в полученном для кафедры распределении отклонение по вкладу основных процессов в занятость от модели Парето не превышает 10%, считаем, что кафедра работает нормально и корректировки результатов не производится. Если отклонение превышает заданное значение, корректирующий
коэффициент К приравнивается к величине отклонения D реального вклада основных процессов в деятельность кафедры от 73% (модели диаграммы Парето): К = А.
В ситуации, когда вклад основных видов работ находится в допустимых отклонениях от модели (± 10%), может наблюдаться нарушение в соотношении основных процессов. Если вклад в диаграмму Парето каждого из основных видов деятельности больше суммы вкладов двух других основных видов деятельности, кафедре начисляются штрафные очки. Значение штрафа определяется как среднее значение всех произведенных корректировок рейтинговых оценок.
С учетом корректировки и начисленных штрафных очков интегральная оценка кафед-
п
ры определяется как я = +К + 0-
м 3
Таким образом, мы изменяем рейтинговую оценку деятельности кафедры, грубо нарушающей организацию реализуемых процессов в сторону увеличения (ухудшения).
Упорядочивание полученных значений позволяет получить итоговый интегральный рейтинг.
Предлагаемый способ оценки деятельности кафедр вуза построен на основе процессного подхода. Он прост и вполне отвечает требованиям, предъявляемым к методам мониторинга кафедр [4].
Кроме определения рейтинговых оценок кафедр способ позволяет выявлять несоответствия требованиям, которые предъявляются к кафедрам:
1) показатель деятельности кафедры по отдельным процессам должен располагаться внутри границ контрольной карты;
2) на кафедре должно соблюдаться правило Парето (соотношение основных и вспомогательных видов деятельности 20/80);
3) кафедра должна выполнять все запланированные работы.
По выявленным для каждой кафедры несоответствиям может проводиться дополнительный анализ для выяснения их причин и степени важности. Кроме того, по выявленным несоответствиям может разрабатываться план корректирующих действий.
Особенностью метода является то, что он может использоваться и по отношению к
кафедре, и по отношению к факультету. Изменения, которые требуется при этом произвести, заключаются в отборе списка контролируемых показателей.
ЛИТЕРАТУРА
1. Монаков Л.Ф., Моисеенко В.В. Методика автоматизированного расчета рейтинга предприятий: Монография. - Новосибирск, НГАСУ, 2004.
2. Васильева Е.Ю., Граничина О.А., Тра-пицын С.Ю. Рейтинг преподавателей, факультетов и кафедр в вузе: Метод. пособ. -СПб: Изд-во РГПУ им. Герцена, 2007.
3. Климович Л.А. Формирование списка контролируемых показателей деятельности кафедры на основе векторных оценок // Университетское управление. - 2008. - № 3. -С. 26-31.
4. Резник С.ДУправление кафедрой: Учебник. - М.: ИНФРА-М, 2005.
process-oriented approach to analysis of activities and rating of university departments
L.A. Klimovich
deputy director on scientific work of the Surgut Branch of the Siberian State Automobile and Highway Academy
B.P. Yakovlev
doctor of psychological sciences, professor of the Surgut State University of the Khanty-Mansiysk Autonomous District - Ugra
The article deals with a way of monitoring the activities of university departments on the basis of monitoring the results of the realized by departments processes. A department is considered as a structural unit. The analysis of activity quality combines methods of quality control ofproduction (checklists and Pareto charts) and rates a department according to the results of monitoring. The method can also be used for analysis of a university faculty's activities.
Key words: monitoring, process, quality of education, department, rating.
экспертная оценка результатов проектирования образовательных услуг
А.А. Обручникова
заместитель председателя общероссийской общественной организации «Национальная система "Интеграция"», аспирант Московского государственного гуманитарного университета им.
М.А. Шолохова E-mail: [email protected]
Организационно-педагогическое проектирование образовательных услуг - это своеобразный анализ конкурентной образовательной ситуации, разработка комплекса мероприятий. Важным аспектом эффективности организационно-педагогического проектирования образовательных услуг является экспертиза, которая представляет собой цели оценочных процедур относительно результатов реализации образовательных услуг. Данные процедуры осуществляются на профессионально-общественной основе.
Ключевые слова: образовательная услуга, проектирование, экспертиза, экспертная оценка.
