Автоматизация рейтинговой оценки дея тельности учебного подразделения вуза Текст научной статьи по специальности «Экономика и бизнес»

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

t

Е. H. Архипова, В. В. Крюков, К. И. Шахгельдян

АВТОМАТИЗАЦИЯ РЕЙТИНГОВОЙ ОЦЕНКИ ДЕЯТЕЛЬНОСТИ УЧЕБНОГО ПОДРАЗДЕЛЕНИЯ ВУЗА

Рассмотрены подход к оценке деятельности учебного подразделения вуза на основе рейтинга и вопросы автоматизации процесса сбора данных и формирования рейтинга. Предложены модель автоматизированной адаптируемой информационной системы рейтинговой оценки деятельности кафедры, архитектура системы. Проанализированы особенности реализации информационной системы, обеспечивающие ее эффективное сопровождение, с учетом опыта применения во Владивостокском государственном университете экономики и сервиса.

Ключевые слова: рейтинговая система, оценка результатов деятельности, учебное подразделение, кафедра, автоматизация, адаптируемая система, информационная система.

E. N. Arkhipova, V. V. Kryukov, K. I. Sakhgeldyan Automation of rating evaluation of department's activities

The estimation of university department activities using rating is discussed in the article. The automation of rating approach for estimation of university's department is the main subject of the article. The model of automation adaptable information system estimating departments and system's architecture are proposed at the article. The features of the system implementation are discussed also. The model and the features provide the effective maintenance of the system. The results of use of the system are discussed also.

Keywords: rating system, evaluation of department's activities, university's department, automation, adaptable system, information system.

Ключевым звеном организационной структуры университета является учебное подразделение (кафедра), агрегирование результатов деятельности которого формирует совокупные достижения университета в образовательной деятельности, научных исследованиях, развитии инноваций и т. п. Поэтому создание системы мотивации, стимулирования персонала и оценки результатов деятельности кафедры — важная задача университетского менеджмента. Такая система должна учитывать стратегические приоритеты развития университета, меняющиеся требования внешней среды, критерии и показатели оценки университета учредителем, а

© Архипова Е. Н., Крюков В. В., Шахгельдян К. И., 2012 80

также критерии национальных и мировых рейтингов вузов. Одним из вариантов ее построения является создание рейтинговой системы оценки результативности деятельности отдельных преподавателей и кафедры в целом. Эта система позволит, с одной стороны, оперативно мотивировать персонал на выполнение приоритетных задач, а с другой стороны, сделает понятной и открытой методику материального денежного поощрения персонала и учебных подразделений университета за полученные результаты.

В процесс внедрения рейтинговых систем оценки деятельности преподавателей и кафедр в университете входят следующие задачи:

— разработка методики формирования фонда оплаты труда кафедр;

— разработка системы показателей, характеризующих деятельность профессорско-преподавательского состава (ППС) и кафедр;

— разработка методики ранжирования показателей и правил формирования сводного рейтинга преподавателя и кафедры;

— выполнение сбора данных для расчета рейтинга ППС и кафедры;

— проверка данных и расчет рейтинга ППС и кафедры;

— выплата денежных поощрений в соответствии с рассчитанным рейтингом.

Часть этих задач рассмотрена авторами в работе [2], предложены решения по методике формирования системы показателей оценки деятельности ППС, автоматизации этого процесса, модели адаптируемой информационной системы оценки деятельности ППС и ее интеграции с корпоративной информационной средой (КИС) вуза.

Для комплексной оценки деятельности вуза необходимо разработать и внедрить адаптируемую к изменениям информационную систему оценки деятельности не только ППС, но и кафедр, а также обеспечить ее сопровождение, которое включает внесение многочисленных изменений в системы показателей, правила их учета и оценки.

В данной статье авторы рассматривают оставшуюся часть задач и предлагают методику формирования системы показателей деятельности кафедры и на ее основе — автоматизацию рейтинговой оценки деятельности кафедры.

Результаты, описанные в этой статье, получены во Владивостокском государственном университете экономики и сервиса (ВГУЭС) при поддержке программы «Развитие научного потенциала высшей школы (2009-2011 годы)».

Методика формирования рейтинга кафедры

Существующие подходы

В последние годы уделяется большое внимание изучению подходов к оценке деятельности университета [3, 4, 6-9]. Предлагается рассчитывать рейтинг кафедры как средний рейтинг ППС кафедры и учитывать аккредитационные показатели [3]. Такой подход применим для ранжирования кафедр, но не учитывает многопрофильный характер деятельности кафедры и не

позволяет формировать фонд оплаты труда. В работе [4] авторы рекомендуют расширить набор показателей и формировать рейтинг кафедры с точки зрения системы менеджмента качества. Предлагается также разделить кафедры на категории (выпускающие, общетехнические и общенаучные) и определить направления, по которым оценивается кафедра [7]. Нормирование общих баллов производится либо по выпускникам, либо по сотрудникам кафедры. Есть мнение оценивать эффективность работы кафедры по сопоставлению показателей, отвечающих за трудоемкость выполненной работы, и показателей, отвечающих за результативность [8], или оценивать как потенциал кафедры, так и ее активность, при этом результирующий рейтинг формируется путем умножения показателей первой группы на показатели второй [6].

В работе [9] сформулированы следующие требования к оценке деятельности учебных подразделений:

— комплексность оценки — достаточное количество показателей, описывающих деятельность кафедр и институтов;

— минимальная сложность сбора и первичной обработки информации;

— простота расчета показателей;

— открытость расчета — возможность многоуровневого контроля достоверности информации;

— наращивание системы оценок — добавление и удаление показателей;

— поддержка проведения рейтинга с помощью информационной системы, интегрированной с системами учета деятельности кафедр.

Анализ предложенных подходов к оценке деятельности кафедр позволяет выделить следующие общие закономерности:

1. Показатели рейтинга кафедры объединены в группы (обычно эти группы связаны с образовательной и научной деятельностью, а также с кадровым и материально-техническим потенциалом).

2. Оценка достижений выполняется либо в долях (процентах), либо в баллах с помощью экспертных методов ранжирования.

3. Общий рейтинг кафедры рассчитывается как некоторый функционал

У = ТО, (1)

при этом достаточно часто (но не всегда) используется взвешенная сумма

к

У' =Хакхк , (2)

к=1

где ак — коэффициент значимости к-го показателя в баллах (стоимость единицы достижения); х'к — объем достижений, полученных ¿-й кафедрой по к-му показателю. Коэффициенты ак получают экспертными методами.

Приведенные выше требования к системе показателей, на наш взгляд, совершенно корректны и могут служить критерием при вводе новых показателей в систему. Важнейшим условием, обеспечивающим легитимность оценок, прозрачность и своевременность расчетов, корректность результатов, является применение в университете информационной системы для автоматизации сбора данных, проведения необходимых расчетов и формирования рейтинга кафедры.

Методика оценки деятельности кафедры

Методика оценки деятельности кафедры во многом определяется целью такой оценки. Для ВГУЭС основной целью формирования рейтинга является определение премиального фонда оплаты труда кафедры и ежемесячных стимулирующих надбавок преподавателям. Рейтинг также учитывается при формировании годовой премии. Поэтому показатели оценки результатов деятельности кафедры представлены как значимые достижения с точки зрения внешних заинтересованных сторон (в первую очередь это ак-кредитационные показатели деятельности вуза, которые отражаются на показателях деятельности кафедр), и как достижения, характеризующие текущие приоритеты вуза и его стратегические цели. Для мотивации персонала на достижение таких результатов направлена рейтинговая система.

Показатели оценки деятельности кафедр должны характеризовать результат выполнения определенной задачи, эффективность достижения цели и трудоемкость выполненной работы. Оценка результата выполнения задачи в качестве составляющей общей оценки деятельности вполне обоснована, так как цель процесса труда — это получение результата. Эффективность достижения целей удается оценить по нормиро-ванности значений показателей на единицу затраченных ресурсов (людских, финансовых и т. п.). Отдельные виды деятельности кафедр не всегда могут быть прямо оценены по результатам, так как результаты могут проявиться в будущем времени. В силу этого отдельные показатели могут характеризовать не результат, а трудоемкость выполненных кафедрой работ.

Показатели рейтинга кафедры и рейтинга преподавателей могут пересекаться, но не совпадать. Специфичные для отдельных кафедр показатели (например, творческие направления или спорт) следует учитывать только внутри рейтинга преподавателей, а в рейтинг кафедры включать только общие для всех кафедр показатели. В рамках рейтинга кафедры во ВГУЭС учитываются отдельные аккредитационные и стратегические показатели, представленные в рейтинге преподавателей [2]. Например, в рейтинге кафедры учитываются только монографии и статьи, опубликованные в рейтинговых журналах. В то же время в рейтинге преподавателей для стимулирования участия в конференциях и публикационной активности учитываются публикации в материалах конференций и в журналах, не входящих в рейтинги.

В деятельности университета в целом может быть выделено несколько направлений:

— Н1. Устойчивое развитие кадрового потенциала университета;

— Н2. Устойчивое развитие инфраструктуры образования, научных исследований, формирование ресурсной базы университета;

— Н3. Результативность образовательной деятельности;

— Н4. Результативность научной деятельности;

— Н5. Результативность инновационной деятельности;

— Н6. Повышение конкурентоспособности университета;

— Н7. Развитие лучших практик университетского управления.

Эти стратегически важные для университета направления проецируются на деятельность кафедры и преобразуются в соответствующие группы показателей: качество и развитие кадрового потенциала, результативность образовательной деятельности, результативность научных исследований, результативность инновационной деятельности, повышение конкурентоспособности вуза. Развитие инфраструктуры в достаточно небольшой степени зависит от кафедр, поэтому данное направление не проецируются на их деятельность.

С точки зрения аккредитационных показателей в рейтинге кафедры интерес представляют показатели, характеризующие:

— кадровый состав кафедры («остепенен-ность» в различных разрезах) — в рамках направления Н1;

— результативность аспирантуры вуза — в рамках направления Н4;

— спектр образовательных программ, представленных в вузе, — в рамках направления Н3;

— учебно-методическую обеспеченность учебного процесса и уровень используемых методик преподавания — в рамках направления Н3;

— результативность научно-исследовательской деятельности — в рамках направления Н4;

— результативность инновационной деятельности — в рамках направления Н5.

Стратегически важные показатели в рейтинге кафедры зависят от стратегических целей университета. Например, для ВГУЭС стратегически важными на текущем этапе являются следующие направления:

— участие бизнеса в образовательном процессе вуза для формирования компетенций студентов в соответствии с потребностями рынка труда и стратегией развития региона — в рамках направлений Н3 и Н6;

— взаимодействие университета с бизнес-средой, предприятиями и научно-образовательными центрами в образовательной, научной и инновационной деятельности — в рамках направлений Н3, Н4 и Н5;

— расширение практических навыков студентов университета за счет широкого внедрения практикоориентированных методов обучения — в рамках направлений Н3 и Н6;

— расширение и повышение качества и востребованности в регионе дополнительных образовательных программ — в рамках направлений Н3 и Н6;

— развитие лучших практик университетского управления на основе системы менеджмента качества — в рамках направлений Н6 и Н7.

Показатели рейтинговой системы оценки результативности деятельности кафедр ВГУЭС (далее — показатели) удовлетворяют следующим требованиям:

1. Показатели разрабатываются для направлений Н1, Н3-Н7.

2. Показатели включают аккредитационные показатели деятельности вуза в целом.

3. Показатели должны стимулировать персонал на достижение приоритетных результатов в соответствии со стратегическими целями и тактическими задачами. Например, приоритетным направлением работы университета в текущем году является повышение уровня активности и масштаба присутствия кафедр в Интернете, в частности, через развитие и поддержку работы веб-сайтов кафедр. Сайт кафедры должен содержать интересные информационные материалы, отражающие различные направления ее дея-

тельности, а также аналитические материалы, подготовленные ППС кафедры на основе собственных экспертных знаний, которые интересны широкому кругу потенциальных посетителей сайта университета (абитуриенты, родители, исследователи, бизнесмены).

4. Стимулируется повышение эффективности использования ресурсов университета (в рамках направления Н7).

5. Все показатели должны удовлетворять требованиям комплексности оценки, простоты сбора и обработки первичных данных, простоты расчета, открытости расчета, масштабируемости системы.

Применяется следующая процедура разработки системы оценочных показателей:

— в рамках каждого из направлений и основных процессов типовой модели системы качества образовательного учреждения [1] выбираются аккредитационные показатели и формируются показатели, связанные со стратегическими приоритетами и тактическими задачами университета;

— формулировка аккредитационных показателей остается неизменной, а для стратегически и тактически важных показателей учитываются результативность выполнения задач, эффективность и трудоемкость выполненной работы (для отдельных показателей);

— ранжирование показателей и определение правил расчета рейтинга.

Методика ранжирования показателей рейтинга кафедры для аккредитационных показателей основана на использовании аккредитацион-ных критериев. Это означает, что, например, критерием удовлетворения для оценки показателя «остепененность кафедры» является 60 %, а для показателя «обеспеченность учебно-методическими материалами» — 100 %.

При этом возникает проблема, каким образом оценивать показатель, если он не соответствует критерию, например, если «остепененность кафедры» менее 60 %, можно ли обнулять баллы за этот показатель или назначать баллы пропорционально имеющейся остепененности?

Очевидно, что, несмотря на важность аккре-дитационных показателей, обнуление баллов (в случае невыполнения критерия) недопустимо, так как не позволяет оценить положительную динамику изменения показателя. Поэтому в методике применяется пропорциональная кусочно-непрерывная оценка показателей. Критерии же используются как единица измерения при ранжировании, т. е. определении баллов.

Для случая линейной зависимости между показателями и баллами критерий X — Y га-

У А

рантирует получение кафедрой — А баллов, если

X

кафедра имеет значение показателя, равное А (символ -— имеет смысл соответствия критерия баллу).

Для случая кусочно-непрерывной зависимости между значениями показателя и баллами критерий X — Y в диапазоне значений показателя [Х1, Х2] меняется линейно от Y2] , т. е. гарантирует

получение кафедрой ——— а + У| Х2—У2 Х1

X 2 — Х1 X 2 — X1

баллов. В случае кусочно-непрерывной зависимости показатели детализируются таким образом, чтобы для одного показателя действовал единственный диапазон [Х1, Х2], в котором он меняется линейно в пределах Y2].

Стратегические показатели не имеют критериев, и поэтому для ранжирования используются единицы измерения, например, количество достижений.

По каждому направлению могут быть получены индикаторы, характеризующие степень достижения кафедрой нужного результата в соответствующем направлении. Для этого, во-первых, определены 7 индикаторов {, к = 1,7}. Все показатели соотнесены с направлениями

{,к = 1, 7, ] = 1,и индикаторами. Индикатор

равен взвешенной сумме нормированных на критериальное или желаемое значение показателя соответствующего направления:

зк 1=1

где р'к] — критериальное или желаемое значение показателя р. Ь. — коэффициенты значимости у-го показателя при расчете к-го индикатора по соответствующему направлению. Для тех показателей, где реальное значение превосходит критериальное, например, «остепенен-ность кафедры» выше 60

%, показатель считается выполненным на 100 % и в выражении (3) суммируется 1.

При расчете индикаторов (3) для стратегических показателей необходимо определить желаемые значения на основе планов кафедры на краткосрочный период в 1 год.

Рейтинг кафедры рассчитывается по формуле (2), где стоимость единицы достижения по каждому показателю определяется в баллах ме-

тодом ранжирования с опорными точками (разработан авторами и описан в [5]).

Информационная система рейтинговой оценки деятельности кафедры

Приоритеты и стратегические цели вуза и кафедр могут уточняться или изменяться, что обусловливает изменения в задачах, которые перед ними ставятся, а следовательно, и изменения в показателях оценки деятельности. Изменения претерпевает не только система показателей, но и процедуры учета достижений кафедр, предполагающие распределение трудоемкости выполненных работ и подтверждение результатов. Большое число задач, результативность которых следует оценить, порождает и большое число показателей. Все это приводит к необходимости сбора и обработки большого объема данных, что делает задачу автоматизации процессов оценки деятельности кафедр актуальной.

Основные понятия предметной области

Рассмотрим основные понятия, используемые в информационной системе.

Показатели — характеристики результативности деятельности кафедры, имеющие количественную оценку в баллах за каждую единицу утвержденной работы (результата, объема или относительного объема работы).

Объекты учета — результаты работы, полученные кафедрой за все время, без привязки к показателям, и хранящиеся в отдельных источниках данных (данные обычно вводятся в автоматизированном режиме).

Достижения — подмножество объектов, рекомендованных к учету в данный учетный период; применимы для определенного показателя.

Рейтинг кафедры — сумма баллов, полученная кафедрой за все достижения.

Правила учета достижения — правила, по которым за достижение назначаются баллы. Правила содержат стоимость достижения, объем достижения, за который назначаются баллы, правила распределения баллов за достижение (с проверкой или без проверки превышения 100 %).

Процедура учета достижений — процедура (процесс), результатом которого является учтенное достижение кафедры в рамках учебного года. Процедуры учета могут быть автоматическими или автоматизированными. В первом случае все достижения учитываются автоматически, без уча-

Рк]

Рк1

(3)

1

стия пользователей, во втором — процедура учета предполагает согласование и (или) определение объемов достижения.

Процедура расчета рейтинга — процедура формирования рейтинга в общем случае на основе соотношения (1), для разработанной информационной системы — на основе соотношения (2).

Основные процессы

Основные процессы, которые автоматизирует информационная система рейтинга кафедры, представлены на рис. 1.

Процесс АО — ввод первичных данных, предусматривает ввод достижений кафедры в разных системах.

Процесс ВО — определение системы показателей деятельности кафедры, предполагает составление в информационной системе рейтинга кафедры системы показателей {{, к = 1,7, ] = 1, Jk}, где на верхнем уровне находятся основные направления Н1—Н7.

Процесс В1 — определение правил расчета за учетный период, позволяет сформировать критерии и баллы для каждого показателя.

Процесс В2 — определение процессов учета достижений кафедры за учетный период, позволяет определить для каждого показателя процесс учета достижения (необходимость и последовательность согласований).

Процесс В3 — определение правил учета достижений кафедры, состоит в определении правил начисления баллов, т. е. в определении случаев, когда баллы даются за участие, когда — за объем работы, при этом с учетом превышения или не превышения 100 % объема работы.

Процесс В4 — определение правил рекомендаций к учету достижений кафедры, состоит в определении источника данных для показателя и правил выборки достижений для учета (один и тот же источник, содержащий объект учета, может использоваться для нескольких показателей, но с помощью предикатов из атрибутов объекта учета выделяется подмножество объектов учета для заданного показателя).

Процесс В5 — рекомендация достижения кафедры к учету, выполняется процедурой, автоматически выбирающей согласно правилам достижения к учету из множества объектов учета. Эта процедура позволяет выбрать из всего множества достижений достижения, удовлетворяющие требованиям по показателям и полученные кафедрой за учетный период.

Процесс В6 — учет достижений кафедры, состоит в выполнении процесса учета, может быть автоматическим или автоматизированным. Автоматический учет достижений используется для тех показателей, которые ранее учтены и подтверждены в других системах, в том числе в системе рейтинга преподавателей (последние соответствуют тем показателям, которые присутствуют одновременно и в рейтинге кафедры и в рейтинге преподавателя).

Процесс В7 — процесс расчета рейтинга кафедры, выполняется автоматически по инициализации пользователей системы.

Процесс В8 — отчетность, предполагает формирование различного вида отчетов.

Процесс В9 — расчет премиального фонда оплаты труда кафедры (ФОТ), выполняется пропорционально рассчитанному рейтингу из общей суммы ФОТ университета, выделенной на премиальный фонд кафедр (методика описана в [2]).

Требования к информационной системе

Информационная система рейтинговой оценки деятельности кафедры (ИСРОДК) обеспечивает автоматизацию процедур формирования рейтинга кафедры. Деятельность кафедры описывается множеством процессов, большая часть которых уже нашла свое отражение в КИС вуза, и данные КИС должны использоваться для формирования рейтинга.

ИСРОДК является адаптируемой системой и поддерживает с помощью настроек постоянные изменения в системе показателей, правилах и процедурах учета достижений.

Адаптируемая ИСРОДК должна обеспечить:

— формирование иерархической системы показателей с поддержкой ее изменения (увеличение числа показателей, переподчинение показателей в иерархии, исключение показателей);

— настраиваемость правил учета достижений (в том числе модернизацию единиц измерения показателя, весовых коэффициентов, правил назначения баллов);

— использование учтенных в КИС и в информационной системе расчета рейтинга преподавателей достижений по кафедре без повторного учета;

— расширение учета результатов деятельности за счет автоматизации недостающих процессов учета;

— настройку процессов учета достижений для каждого показателя;

— процедуру учета достижений;

Определение

правил расчета

на учетный

период

В1

Рис. 1. Основные процессы рейтинговой оценки кафедры

— автоматический расчет рейтинга кафедры на основе учтенных достижений и правил расчета рейтинга.

Система использует корпоративные данные, уже имеющиеся в информационной среде ВГУЭС, — «Рейтинговая оценка деятельности преподавателей» (показатели, которые одновременно входят и в рейтинг кафедры и в рейтинг преподавателей), «Управление персоналом» (показатели по кадровому потенциалу), «Система электронного документооборота» (учет специалистов-практиков и учет положительных результатов тестирования в системе внешнего тестирования), «Управление учебным процессом» (показатели, связанные с образовательными программами кафедры), «Библиотека» (показатели, связанные с использованием кафедрой библиотечных ресурсов), «Управление контентом» (показатели по сайтам кафедр).

Система показателей может меняться, поэтому информационная система обладает способ-

ностью настраиваться на новые показатели. Показатели рейтинговой системы утверждаются приказом ректора и действуют в течение одного учебного года. Уже утвержденные показатели могут быть перенесены на другой период.

Реализация информационной системы рейтинга кафедры

В соответствии с вышеопределенными требованиями во ВГУЭС разработана и внедрена в рабочую эксплуатацию ИСРОДК, основанная на онтологическом подходе, который позволяет описывать понятия и отношения между понятиями.

ИСРОДК является дополнением системы оценки деятельности преподавателей и поэтому строится на тех же принципах и архитектуре, что и информационная система рейтинговой оценки деятельности преподавателей (ИСРОДП), описанная в работе [1]. Система включает подсистему управления бизнес-процессами, позволяю-

щую настраивать процессы в соответствии с изменяющимися требованиями. ИСРОДК — это веб-приложение.

Система основывается на корпоративных данных, уже имеющихся в системах «Рейтинг преподавателей», «Управление персоналом», «Управление учебным процессом», «Библиотека», «Управление электронным документооборотом» и «Управление контентом» (рис. 2).

Система обеспечивает:

— формирование иерархической системы показателей оценки деятельности кафедры с привязкой к учебному году;

— определение формализованных правил учета достижений кафедры по каждому показателю;

— определение процедур учета достижений кафедры по каждому показателю;

— реализацию процедур учета достижений, в том числе автоматический учет достижений, если в иных системах учет достижений был подтвержден;

— автоматический расчет рейтинга кафедры;

— настройку учета показателей на разные источники данных;

— анализ рейтинга в различных разрезах (по показателям, иерархическим группам показателей, кафедрам, годам и т. п.);

— формирование отчетов по различным направлениям деятельности кафедры и университета в целом.

Показатели деятельности кафедры частично перекрываются показателями деятельности преподавателя, поэтому часть показателей кафедры учитывается автоматически после проведения учета достижений преподавателя. В то же время часть показателей деятельности кафедры не связывается с персональной деятельностью отдельного преподавателя и поэтому требует дополнительного учета (см. рис. 1).

Модель информационной системы. ИСРОДК

является «верхушкой айсберга» других систем, которые обеспечивают масштабирование, интеграцию с любыми системами КИС, адаптируемость системы к изменениям в правилах, процессах, показателях.

ИСРОДК для связи с объектами учета использует систему управления понятиями, кото-

Достижения в науке

Управление персоналом

Кадровый потенциал

Управление

учебным процессом

Образовательные программы

Библиотека

Библиотечные данные

Достижения в учебно-методической деятельности

Учет достижений кафедры

Учтенные достижения

Тестирование во внешних системах

Прамико-ориентированное обучение

Расчет оценки

деятельности

кафедры

Л

Рейтинг преподавателей

Сайты кафедр

Рис. 2. Информационная модель системы оценки деятельности кафедры

рая обеспечивает формализацию понятий и отношений между ними, а также связь с источниками данных для объектов учета (рис. 3). Система управления понятиями взаимодействует либо со своими данными (метаописаниями и первичными данными), либо с внешними источниками данных других информационных систем. Некоторые информационные системы обеспечивают связь через API, которые в настоящее время строятся на основе технологии веб-служб.

Первичный ввод данных. Первый процесс, который должен быть автоматизирован в рамках разработки ИСРОДК, — это процедура первичного ввода данных. Процедура первичного ввода данных обеспечивается за счет:

— систем, которые предоставляют данные (учтенные достижения) и не требуют изменений;

— систем, которые потребовали дополнительных настроек для учета достижений преподавателей;

— новых систем, настроенных с помощью системы управления электронным документооборотом ВГУЭС.

Системы, которые осуществляют первичный ввод, приведены на рис. 2. В соответствии с системой показателей, действующей на текущий момент, необходимость ручного ввода первичных данных потребовалась для двух показателей: учет специалистов-практиков, приглашаемых кафедрой для проведения занятий, и учет успе-

ваемости по тестированию во внешних системах тестирования, рекомендуемых Министерством образования и науки РФ. Для учета этих данных используются подсистемы, построенные на основе системы управления электронным документооборотом.

Правила учета достижений. На основе процедуры рекомендации к учету ИСРОДК позволяет выбрать из различных объектов учета группы достижений в заданный учетный период. Каждый показатель, созданный в ИСРОДК, сопоставляется с группой достижений. При этом определяется условие, которое обеспечивает выбор из множества достижений в группе только те, которые соответствуют одному показателю. Таким образом, например, обеспечивается селективность выбора из группы «защищенные диссертации» кандидатских и докторских диссертаций для двух детализированных показателей.

Для каждого показателя определяются правила расчета, которые включают:

— получение балла за участие в достижении;

— получение балла в соответствии с частью выполненной работы, при этом общий объем работы не должен превышать 100 %;

— получение балла в соответствии с объемом выполненной работы, при этом общий объем работы может превышать 100 %.

Рис. 3. Модель информационной системы «Рейтинг кафедры»

Для всех показателей определены баллы за единицу объема достижения (чел., шт., процент, тыс. руб., или нормированные единицы).

Бизнес-процесс учета достижения. Каждый показатель имеет собственный бизнес-процесс утверждения, который настраивается также в ИСОРДК. При этом допускаются:

— полностью автоматический процесс утверждения без привлечения пользователей; такие процессы характерны для достижений, уже прошедших процедуру утверждения в других системах и имеющих однозначное закрепление за учетным периодом;

— процесс предложения к учету достижения, который позволяет определить объем выполненной работы (например, для оценки показателя качества материалов на сайте кафедр);

— процедуры утверждения достижения теми пользователями, которые определены в описании бизнес-процесса утверждения данного показателя.

Внедрение системы. ИСРОДК внедрена во ВГУЭС в 2011 г. Стоимость показателей определялась в соответствии с методикой, предложенной в [5]. Учет достижений кафедр осуществлялся как за один прошедший учебный год, так и за несколько предыдущих учебных лет (для отдельных показателей). Количество, формулировка, структура показателей изменялись (см. таблицу).

В последние годы значимость инновационной деятельности возросла, поэтому появились новые показатели, отражающие достижения в этом направлении (Н5). Конкуренция между вузами растет, поэтому для вуза ставятся задачи по повышению конкурентоспособности (Н6). Значимость управленческих процессов также возрастает и поэтому появляются новые показатели (Н7). С другой стороны, в рамках образо-

вательной деятельности некоторые процессы становятся обязательными и естественными, они не требуют дополнительного стимулирования (направления Н1 и Н3).

Помимо изменений в системе показателей, изменились правила учета достижений, правила рекомендации к учету и баллы.

Так как многие показатели рейтинга кафедры пересекаются с показателями рейтинга преподавателей, то выполняется анализ корреляции между баллами «похожих» показателей, установленными в двух рейтингах. Степень похожести показателей в двух рейтингах может меняться от полного совпадения, до достаточно условного совпадения. Например, в обоих рейтингах присутствуют защиты диссертаций в учебном году, что является полным совпадением. Однако показатели, относящиеся к учету научных проектов, имеют лишь отдаленное сходство. В рейтинг преподавателей вводится ранжирование их участия в научных проектах, в зависимости от статуса программы (РФФИ/РГНФ, Минобрна-уки, вузовские, международные, хоздоговорные и т. п.). В рейтинге кафедры этот показатель определяется объемом полученного кафедрой финансирования, независимо от типа научного проекта. На данный момент коэффициент корреляции между стоимостью показателей рейтинга кафедры и преподавателей составляет 0,72, что свидетельствует о достаточно высокой степени «похожести».

Количество автоматически учтенных достижений для рейтинга кафедры составляет 93 %,про-тив 32 % автоматически учтенных достижений в рейтинге преподавателей. Такая степень автоматизации (93 %) делает процесс формирования рейтинга кафедры простым и нетрудоемким.

Пользователями системы являются заведующие кафедрами и персонал учебно-методического управления, а также отдельные службы,

Динамика изменений в показателях рейтинговой системы

Направление Количество показателей в группе

2009-2010 2010-2011 2011-2012

Н1. Устойчивое развитие кадрового потенциала 5 4 4

Н3. Результативность образовательной деятельности 9 6 6

Н4. Результативность научной деятельности 7 7 7

Н5. Результативность инновационной деятельности 2 5 7

Н6. Повышение конкурентоспособности университета 2 4 4

Н7. Развитие лучших практик университетского управления 1 2 3

Общее количество показателей 29 28 31

которые реализуют автоматизированную процедуру учета достижений по тем 7 % показателей, которые не могут быть учетные автоматически.

Н1

Рис. 4. Пример диаграммы оценки деятельности одной из кафедр университета по направлениям Н1, Н3-Н7 (целевое значение по всем индикаторам равно 1)

Рассчитанные индикаторы (соотношение (3)) определяют оценку деятельности кафедры по основным направлениям (рис. 4). Как показал анализ, на текущий момент у большинства кафедр имеются существенные недоработки в области эффективности инновационной и научной деятельности, а также в области повышения конкурентоспособности университета.

Выводы

Разработанная и внедренная во ВГУЭС рейтинговая система оценки деятельности кафедры существенно улучшает качество и эффективность управления университетом на основе применения достоверных и объективных инструментов оценки деятельности подразделений, совмещенных с методами стратегического планирования и стимулирования персонала. Внедрение системы позволило систематизировать сбор данных о результатах деятельности вуза, упростить формирование отчетности, повысить достоверность анализа проблем учебных подразделений. Основными особенностями системы являются:

1) высокий уровень адаптируемости к изменениям в показателях, правилах их оценивания, процедурах учета;

2) возможность настраиваться на любые приложения КИС вуза посредством специализированного модуля управления понятиями предметной области и использовать учтенные в приложениях КИС достижения;

3) возможность создания подсистемы учета результативности процессов с помощью подсистемы управления документооборотом и системы управления правами, при отсутствии в вузе системы автоматизации процессов, которые должны быть оценены в рейтинге.

1. Азарьева В. В., Круглое В. И., Пузанков Д. В. и др. Методика оценки систем качества образовательных учреждений. СПб. : СПбГЭТУ «ЛЭТИ», 2010. 88 с.

2. Архипова Е. Н, Кононова О. В., Крюков В. В., Шахгельдян К. И. Автоматизация рейтинговой оценки деятельности преподавателей // Университетское управление: практика и анализ. 2010. № 5. С. 51-62.

3. Васильева Е. Ю. Рейтинг преподавателей и кафедр в вузе // Там же. 2007. № 3 (49). С. 39-48.

4. Васильева Е. Ю., Граничина О. А., Трапицын С. Ю. Рейтнг преподавателей, факультетов и кафедр в вузе: метод. пособие. СПб. : Из-во РГПУ им. А. И. Герцена, 2007. 159 с.

5. Крюков В. В., Шахгельдян К. И. Информационная система рейтинговой оценки деятельности преподавателя в вузе // Информатизация образования и науки. 2009. № 4. С. 54-65.

6. Никитина Н. Ш. Рейтинговая оценка деятельности факультетов как элемент системы мониторинга качества образования в университете // Университетское управление: практика и анализ. 2003. № 4 (27). С. 62-70.

7. Новаков Н, Попов Ю., Подлеснов В. и др. Мониторинг образовательного процесса // Высшее образование в России. 2003. № 6. С. 15-23.

8. Попов Ю. В., Садовников В. И., Подлеснов В. Н. и др. Анализ эффективности отдельных видов работы кафедр и факультетов с использованием рейтинговых оценок // Изв. Волгоград. гос. техн. ун-та. 2006. № 8. С. 57-58.

9. Радченко Ю. В. Система поддержки принятия решений для управления деятельностью вуза: Разработка и исследование модуля «Рейтинг вуза, выпускающей кафедры» : дис. ... канд. экон. наук. Ростов н/Д, 2003. 168 с.