CC BY
108
УДК 378.1
05.00.00 Технические науки
ПРИНЦИПЫ ОЦЕНКИ И РАНЖИРОВАНИЯ СТРУКТУРНЫХ ПОДРАЗДЕЛЕНИЙ ВУЗА
Черненький Андрей Владимирович БРШ-код: 9121-8268 Санкт-Петербургский политехнический университет Петра Великого, Санкт-Петербург, Россия andrey@qmd.spbstu.ru
В статье рассмотрены основные принципы ранжирования объектов, оцениваемых по числовым параметрам. Методика внутренней оценки подразделений университета, безусловно, должна быть гармонизирована с методиками внешних оценок. Это означает, что должны учитываться ключевые показатели внешних рейтингов при назначении внутренних показателей. Однако система составления рейтинга путем комплексирования этих показателей, назначения коэффициентов весомости, применения различных математических методов приведения оценки к интегральному значению, может отличаться от известных. Обоснован выбор методов, целесообразных для применения в процедуре ранжировании структурных подразделений университетов. Для выбора альтернатив на основе заданных критериев предложено использовать метод анализа иерархий Саати и метод Коггера и Ю. Разработана методика внутреннего рейтинга структурных подразделений, позволяющая оценивать динамику положения факультетов и кафедр в рейтинге, формулировать рекомендации по возможным улучшениям. Сформулированы рекомендации для проведения мониторинга эффективности деятельности подразделений университета. Разработанные методики доведены до практического применения и могут быть внедрены в процессы самооценки учреждений высшего образования. Комплексная методика объединяет все предложенные методики и представляет собой инструмент для проведения внутренней оценки эффективности деятельности вузов на основе единообразной процедуры расчета с использованием набора утвержденных показателей. Достоинством предлагаемой методики является ее гибкость, которая заключается в возможности адаптации расчета показателей эффективности деятельности к изменениям реестра и содержания первичных данных. Результаты внутренней оценки университета и его структурных подразделений должны способствовать совершенствованию системы управления и созданию условий динамичного развития университета на основе
UDC 378.1 Technical sciences
PRINCIPLES OF ASSESSMENT AND RANKING OF UNIVERSITY'S STRUCTURAL DEPARTMENTS
Chernenkii Andrei Vladimirovich RSCI SPIN-code: 9121-8268 Peter the Great Saint-Petersburg Polytechmic University, Saint-Petersburg, Russia andrey@qmd.spbstu.ru
Main principles of ranking of objects, which are evaluated by numeric parameters, are considered in the article. Undoubtedly, the technique for internal assessment of University's department should be harmonized with techniques of external assessments. It means that during setting of internal indicators, key indicators of external ratings must be taken into account. However, the system of rating's composition by force of indexes' aggregation, setting of weighting coefficients, using of various mathematic methods for reduction of an estimate to integral value, could differ from systems currently in use. The choice of methods is validated, which are appropriate for the procedure of ranking of University's structural departments. For selection of alternatives based on specified criteria, Analytic hierarchy process by Saaty and Cogger and Yu method are proposed. The technique for internal rating of structural departments have been developed, which allows to estimate evolution of positions of faculties and departments in rating, as well as to recommend possible improvements. Recommendations for carrying out of University departments' effectiveness monitoring are formulated. Techniques under development are being led to practical implementation, and could be introduced into self-assessment processes of Higher educational institutions. Complex technique combines all proposed techniques, and is a tool for carrying out of internal assessment of effectiveness of Higher educational institutions' activities on base of uniform computation procedure with using of the set of approved indicators. The advantage of proposed technique is its flexibility, which consists in the possibility to adopt the calculation of indicators of activities' effectiveness in accord with changes in the register and contents of primary data. Results of internal assessments of the University and its' structural departments should favor the improvement of management system as well as creating of terms for dynamic development of the University, grounded on maximum effective using of available resources and potential of University's research personnel
максимально эффективного использования имеющихся ресурсов и потенциала научно-педагогического персонала
Ключевые слова: СИСТЕМА МЕНЕДЖМЕНТА КАЧЕСТВА, ИНФОРМАЦИОННАЯ СИСТЕМА, ОЦЕНКА ДЕЯТЕЛЬНОСТИ ПОДРАЗДЕЛЕНИЙ ВУЗА, КАЧЕСТВО, РЕЙТИНГ, РАНЖИРОВАНИЕ, КЛАСТЕРИЗАЦИЯ, МЕТОД СААТИ, МЕТОД КОГГЕРА
Keywords: QUALITY MANAGEMENT SYSTEM, INFORMATION SYSTEM, ASSESSMENT OF ACTIVITIES OF UNIVERSITY'S DEPARTMENTS, QUALITY, RATING, RANKING, CLUSTERIZATION, METHOD OF SAATY, METHOD OF COGGER
Современная реформа системы российского высшего образования свидетельствуют о том, что оптимальная модель системы, устраивающая все заинтересованные стороны - государство, вузы, работодателей, - пока не найдена. Внедрение Болонской декларации не привело к ожидаемому эффекту международного признания, но показало необходимость соблюдения российских национальных норм и традиций, в частности, усиление потребности в инженерных кадрах.
В Концепции долгосрочного социально-экономического развития Российской Федерации на период до 2020 года отмечается, что «повышение конкурентоспособности российского образования станет критерием его высокого качества, а также обеспечит позиционирование России как одного из лидеров в области экспорта образовательных услуг».
В связи с этим является актуальной задача совершенствования методов оценки качества деятельности учреждений высшего образования (ВО), включая разработку методов самооценки, пользуясь которыми вузы смогли бы обоснованно расставить приоритеты в менеджменте качества и организовать процессы самосовершенствования. Чтобы определить направления для улучшений, необходимо проводить всестороннюю оценку деятельности, а для этого требуются соответствующие инструменты и методики. Государственная оценка деятельности вузов традиционно проводилась путем проверки выполнения показателей государственной аккредитации и определения рейтинга вузов. Следует отметить, что для совершенствования менеджмента качества образовательной деятельности
конкретного вуза недостаточно только внешней оценки, необходимо использовать внутренние механизмы оценки.
В Санкт-Петербургском политехническом университете Петра Великого (СПбПУ) работы по оценке деятельности структурных подразделений вуза проводились регулярно, начиная с 2004 года. Исходно оценивалось выполнение установленных показателей государственной аккредитации факультетами и кафедрами университета [1]. Пример диаграммы, построенной по показателям двух факультетов, приведен на рисунке 2.
Таблица данных
Пок. Описание Знач. Фак-т 1 Фак-т 2
I Число аспирантов на 100 студентов приведенного контингента 50 54,002 76,316
II Объем НИР на единицу ППС 10 24,659 20,175
III Среднегодовой объем финансирования научных исследований за 5 лет 60 54,602 70,175
IV Процент среднегодового контингента ППС обучающегося по программам профессиональной переподготовки и/или повышения квалификации 10 216,129 210,381
V Количество монографий на 100 человек штатных ППС 10,000 38,255 47,967
VI Процент аспирантов, защитивших диссертации не позднее чем через год после окончания аспирантуры 3 8,851 3,07
VII Процент ППС с учеными степенями и/или званиями 25 19,945 22,796
VIII Процент в ППС докторов наук и профессоров 4 5,01 7,974
IX Процент учебных дисциплин основных образовательных программ, обеспеченных учебно-методич. комплексами 2 15,464 9,196
X Среднегодовое число защит диссертаций на 100 человек НПП 20 0 16,667
XI Процент штатных преподавателей 100 100 80
Рисунок 2. Проверка выполнения показателей государственной
аккредитации факультетами Чтобы поддержать высокие позиции университета в рейтинге вузов, было предложено адаптировать методику рейтинга Минобрнауки РФ. Адаптированная методика была положена в основу внутреннего рейтинга структурных подразделений (факультеты/институты, кафедры) [1, 2]. При этом рассчитывался первичный рейтинг и его составляющие, учитывался коэффициент эффективности. Работа по определению внутреннего рейтинга проводилась с 2004 года, что позволило оценить динамику положения факультетов и кафедр в рейтинге, сформулировать рекомендации по возможным улучшениям [3]. Так, на рисунке 2 приведены результаты внутреннего рейтинга факультетов за 2012 год.
Рисунок 2. Первичный рейтинг факультетов за 2012 год На рисунке 3 представлены результаты внутреннего рейтинга отдельных факультетов за период 2010 - 2013 годы.
0,6 0,5 0,4
х
>1 0,3
<и
о.
0,2 0,1
ИСФ
ЭлМФ
ЭнМФ Факультет
ММФ
ФМФ
Рисунок 3. Рейтинг отдельных факультетов за период 2010 - 2013 годы Результаты анализа рейтинговых показателей факультетов показывают, что небольшие факультеты имеют более низкие рейтинговые показатели с устойчивой временной динамикой. Современные вызовы, стоящие перед университетом, диктуют необходимость проведения реструктуризации: укрупнение факультетов за счет слияния небольших факультетов или объединения с крупными факультетами. С целью упорядочения процедуры реструктуризации была проведена кластеризация
0
подразделений с использованием меры сходства объектов, исходными данными для которой служили первичные показатели расчета внутреннего рейтинга.
Матрица связи задает отношение «признак-признак» и представляет собой двумерную симметричную квадратную матрицу размера р х р :
£ =
s-
11,
5.
21,
V V
1 р
2 Р
РР у
где Бу — мера связи между признаками х1 и х
Матрица близостей (удаленностей) задает отношение «объект-объект» и представляет собой квадратную симметричную матрицу N х N с неотрицательными элементами:
В
1.....,
1N
й,
21,
2 N
V ^N1,
NN
Элементы йу являются значениями некоторой меры близости (удаленности) между объектами и Ху.
Для вычисления расстояния между объектами была использована наиболее распространенная мера - Евклидово расстояние:
й(Е) =
у
\
^ (■х(к хук )
к=1
На первом этапе кластеризация была проведена по всем факультетам, однако картина получилась сложной для трактовки (рисунок
4).
Рисунок 4. Кластеризация всех факультетов СПбГПУ
Было предложено разделить факультеты на три группы: технические, физические, экономические и гуманитарные. Так, на рисунке 5 показаны результаты кластеризации факультетов третьей группы.
Рисунок 5. Кластеризация экономических и гуманитарных
факультетов
В ходе реструктуризации три факультета нижнего уровня иерархии были поэтапно объединены в один институт.
Рейтинг вузов по методике Минобрнауки РФ применялся до 2010 года. Затем широкое распространение получили негосударственные рейтинги, проводимые агентствами, общественными организациями, СМИ, и международные рейтинги [4]. Эти рейтинги в меньшей степени опираются на количественные показатели, носят репутационный характер. Потребовалась разработка новых инструментов для внутренней оценки деятельности подразделений.
Деятельность каждого структурного подразделения может быть охарактеризована набором неравнозначных показателей, которые необходимо проранжировать. Анализ методов ранжирования показал, что для данной задачи наиболее подходят методы Саати и Коггера и Ю [5].
В методе Саати рассматривается конечное множество критериев
Р = {р1,Р2,...Рп} и объектов X = {х1,х2,...,хт} [5, с. 127]. Требуется
проранжировать критерии так, чтобы получился соответствующий вектор
весовых коэффициентов а = (а1,а2,...,ап), где « - неотрицательные
п
вещественные компоненты, и ^« = 1.
1=1
Чтобы получить искомый вектор, строится матрица вида:
£ =
1 «12 «13 «14
а21 1 «23 «24
«31 «32 1 «34
«41 «42 «43 1
где ау - коэффициент превосходства 1-го критерия над у-м.
Для определения этих коэффициентов определяем, во сколько раз критерий 1 превосходит по важности критерий у.
Отсюда следует, что
а =
а
а
Согласно методу Саати для выбора коэффициентов попарных сравнений следует задать шкалу и каждое сравнение производить
независимо. Результирующий вектор а получается как решение системы уравнений:
где Лтах - максимальное собственное число матрицы.
С использованием метода Саати была разработана и доведена до практического применения методика составления паспорта подразделения [6].
Метод Коггера и Ю похож на метод Саати за некоторыми исключениями. Так, матрица попарных сравнений имеет треугольный вид в отличие от полнозаполненной матрицы в методе Саати [5, с.127]:
5 =
В методе Саати нижняя часть матрицы заполняется для контроля квалификации эксперта. Если эксперт определил, что параметр I в 4 раза больше параметрау, то параметр у должен быть в 4 раза меньше параметра I. В методе Коггера и Ю от этой проверки отказались для упрощения диалога с пользователем.
Для нахождения вектора а решается система уравнений вида:
Т ■ 5■« = «,
1 1
1 а12 «13 а14
0 1 а23 «24
0 0 1 «34
0 0 0 1
где Т = diag
т т -1
,...,1
И в методе Саати, и в методе Коггера и Ю коэффициенты попарного сравнения aj задаются независимо друг от друга по фиксированной шкале. Вследствие этого может возникнуть противоречивость данных, для уменьшения которой предложено задавать по фиксированной шкале только вектор (a12,a23,...,an_1,n). Остальную
часть матрицы можно восстановить, исходя из этого вектора. Матрица будет восстановлена до треугольной, аналогичной матрице Коггера и Ю.
После восстановления матрицы расчет рейтинга подразделений производится по формуле:
n
R = Tan,
i=1
где vi - числовое значение параметра.
Предварительно проводилось нормирование параметров по максимальному значению в группе, в результате чего параметры принимали значения в пределах от 0 до 1.
В рамках проекта «Система менеджмента качества СПбПУ» была создана информационная система для расчета внутреннего рейтинга подразделений [7], в которой была предусмотрена возможность выбора одного или нескольких структурных подразделений, временного периода, списка параметров.
Традиционно для получения значений весовых коэффициентов используют экспертную оценку, адекватность которой зависит от квалификации эксперта. Чтобы избежать субъективизма, для определения весовых коэффициентов проводится построение матрицы попарных сравнений. На основе собранных данных параметры ранжируются, формируется результирующий список параметров и весовых коэффициентов. На рисунке 6 представлены результаты расчета рейтинга структурных подразделений.
Рисунок 6. Интерфейс системы расчета внутреннего рейтинга
подразделений университета К достоинствам данной системы можно отнести удобный для пользователя интерфейс и наглядность представления информации.
Предложенные методики внутреннего рейтинга и паспорта подразделения позволяют проводить углубленный анализ деятельности факультетов/институтов и кафедр [8]. Повышение конкуренции среди вузов, изменение экономической ситуации привели к необходимости разработки новой методики: методики оценки эффективности деятельности структурных подразделений. При разработке предлагаемой методики был проведен анализ содержания и учтены требования следующих методик оценки: показателей на основе данных формы «1-Мониторинг»; показателей результативности Программы «5-100-2020»; показателей ведущих международных рейтинговых агентств.
Методика расчета показателей оценки эффективности деятельности приведена в работе [9]. Апробация разработанной методики проведена в ходе оценки эффективности деятельности институтов СПбПУ за 2014 год. На рисунке 7 показана лепестковая диаграмма, построенная по результатам расчета показателей эффективности деятельности одного из структурных подразделений.
Рисунок 7. Диаграмма распределения показателей эффективности деятельности структурного подразделения
Данная методика не имеет целью ранжирование подразделений, она позволяет выделить лидеров по каждому из пяти секторов: образовательная деятельность, международная образовательная деятельность, кадровая обеспеченность, публикационная активность, экономическая деятельность, и определить приоритетные направления для улучшений.
Комплексная методика отражает основные принципы системного подхода и формируется на базе совместного использования методик внутреннего рейтинга, паспорта подразделения и оценки эффективности деятельности. Методика доведена до уровня практического применения и может быть внедрена в процессы самооценки организаций системы высшего образования.
Литература:
1. Речинский А.В., Черненькая Л.В., Магер В.Е., Матвеева Е.В., Черненький А.В. Комплексная методика оценки качества деятельности подразделений Санкт-Петербургского государственного политехнического университета // Современные
технологии управления, 2012. - №12 (24). - № рег. статьи 0421200170/. - Режим доступа к журн.: http://sovman.ru
2. Alexander V. Rechinskii, Liudmila V. Chernenkaya, Vladimir E. Mager, Andrei V. Chernenkii. Techniques for Quality assessments and Quality management in Technical University (на англ. яз.) // VII International Conference «International Cooperation in Engineering Education». - St.Petersburg, 2-4 July 2012. - pp. 25-30.
3. Комплексная оценка факультетов СПбГПУ по рейтингу и показателям государственной аккредитации: метод. рекомендации / сост.: А.В. Речинский [и др.]. -СПб.: Изд-во Политехн. ун-та, 2013. - 193 с. (Управление качеством в политехническом университете. Вып. 28.
4. Кузнецова Л.В., Черненькая Л.В. Анализ зарубежных методик оценки качества деятельности вузов и возможность их адаптации к российским условиям // Системный анализ в проектировании и управлении: сборник научных трудов XVIII Международной научно-практической конференции, 2014. - С. 184-186.
5. Черноруцкий И. Г. Методы принятия решений / И.Г. Черноруцкий - СПб.: БХВ-Петербург, 2005. - 416 с.: ил.
6. Рейтинги университетов и комплексная оценка институтов СПбГПУ по внутреннему рейтингу и показателям паспорта подразделения: метод. рекомендации / сост.: А.В. Речинский [и др.]. - СПб.: Изд-во Политехн. ун-та, 2014. - 271 с. (Управление качеством в политехническом университете. Вып. 33).
7. Магер В.Е., Саралийский А.А., Стеганцов А.В., Чёрненькая Л.В. Информационная поддержка системы менеджмента качества СПбГПУ // Научно-технические ведомости СПбГПУ № 6.1(138)/2011. Серия «Информатика. Телекоммуникации. Управление». - СПб.: Изд-во Политехн. ун-та, 2011. - с. 212-215
8. Рейтинги университетов и комплексная оценка институтов СПбГПУ по показателям мониторинга эффективности, паспорта подразделения и внутреннему рейтингу: метод. рекомендации / сост.: Е.М. Разинкина, А.В. Речинский [и др.]. - СПб.: Изд-во Политехн. ун-та, 2015. - 291 с. (Управление качеством в политехническом университете. Вып. 37).
9. Речинский А.В., Черненькая Л.В., Магер В.Е., Матвеева Е.В., Черненький А.В. Разработка методики расчета показателей эффективности деятельности университета и его структурных подразделений // Современные технологии управления (ISSN 2226-9339), № 6 (54), июнь 2015. - Режим доступа к журн.: http://sovman.ru.
References
1. Rechinskij A.V., Chernen'kaja L.V., Mager V.E., Matveeva E.V., Chernen'kij A.V. Kompleksnaja metodika ocenki kachestva dejatel'nosti podrazdelenij Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta // Sovremennye tehnologii upravlenija, 2012. - №12 (24). - № reg. stat'i 0421200170/. - Rezhim dostupa k zhurn.: http://sovman.ru
2. Alexander V. Rechinskii, Liudmila V. Chernenkaya, Vladimir E. Mager, Andrei V. Chernenkii. Techniques for Quality assessments and Quality management in Technical University (na angl. jaz.) // VII International Conference «International Cooperation in Engineering Education». - St.Petersburg, 2-4 July 2012. - pp. 25-30.
3. Kompleksnaja ocenka fakul'tetov SPbGPU po rejtingu i pokazateljam gosudarstvennoj akkreditacii: metod. rekomendacii / sost.: A.V. Rechinskij [i dr.]. - SPb.: Izd-vo Politehn. un-ta, 2013. - 193 s. (Upravlenie kachestvom v politehnicheskom universitete. Vyp. 28.
4. Kuznecova L.V., Chernen'kaja L.V. Analiz zarubezhnyh metodik ocenki kachestva dejatel'nosti vuzov i vozmozhnost' ih adaptacii k rossijskim uslovijam // Sistemnyj analiz v
proektirovanii i upravlenii: sbornik nauchnyh trudov XVIII Mezhdunarodnoj nauchno-prakticheskoj konferencii, 2014. - S. 184-186.
5. Chernoruckij I. G. Metody prinjatija reshenij / I.G. Chernoruckij - SPb.: BHV-Peterburg, 2005. - 416 s.: il.
6. Rejtingi universitetov i kompleksnaja ocenka institutov SPbGPU po vnutrennemu rejtingu i pokazateljam pasporta podrazdelenija: metod. rekomendacii / sost.: A.V. Rechinskij [i dr.]. - SPb.: Izd-vo Politehn. un-ta, 2014. - 271 s. (Upravlenie kachestvom v politehnicheskom universitete. Vyp. 33).
7. Mager V.E., Saralijskij A.A., Stegancov A.V., Chjornen'kaja L.V. Informacionnaja podderzhka sistemy menedzhmenta kachestva SPbGPU // Nauchno-tehnicheskie vedomosti SPbGPU № 6.1(138)/2011. Serija «Informatika. Telekommunikacii. Upravlenie». - SPb.: Izd-vo Politehn. un-ta, 2011. - s. 212-215
8. Rejtingi universitetov i kompleksnaja ocenka institutov SPbGPU po pokazateljam monitoringa jeffektivnosti, pasporta podrazdelenija i vnutrennemu rejtingu: metod. rekomendacii / sost.: E.M. Razinkina, A.V. Rechinskij [i dr.]. - SPb.: Izd-vo Politehn. un-ta, 2015. - 291 s. (Upravlenie kachestvom v politehnicheskom universitete. Vyp. 37).
9. Rechinskij A.V., Chernen'kaja L.V., Mager V.E., Matveeva E.V., Chernen'kij A.V. Razrabotka metodiki rascheta pokazatelej jeffektivnosti dejatel'nosti universiteta i ego strukturnyh podrazdelenij // Sovremennye tehnologii upravlenija (ISSN 2226-9339), № 6 (54), ijun' 2015. - Rezhim dostupa k zhurn.: http://sovman.ru.
