CC BY
18
В.А. Литвинов, В.Э. Баумтрог
Оценка эффективности ведомственных вузов
Авторы провели анализ методов оценки эффективности деятельности образовательных организаций и профессорско-преподавательского состава. В результате исследования ими было предложено при сборе первичной информации о качестве образовательного процесса использовать метод случайной выборки обучающихся, а также показатели, оцениваемые внешними экспертами. Количественные значения показателей рейтинговой системы оценки эффективности труда профессорско-преподавательского состава рекомендуется нормировать с учетом максимального различия интегральных показателей, используя экспертные оценки сотрудников организации. Ключевые слова: эффективность образования, эффективность деятельности вузов, рейтинговая система, РИНЦ, аккредитация вузов, образовательная деятельность, научная деятельность.
Оценка эффективности функционирования любого предприятия, организации является важнейшим элементом в системе управления. Особый вид организаций с точки зрения оценки эффективности их деятельности представляют организации, связанные с творческим трудом персонала. Применение традиционных методов, основанных на сравнении числовых статистических показателей, затруднено несколькими факторами.
Во-первых, затруднена количественная оценка потребительской ценности производимой продукции, спрос на которую может возникнуть через десятилетие. Например, ценность научной статьи. Во-вторых, отсутствуют единые нормы трудозатрат персонала на производство единицы продукции. В-третьих, имеются проблемы с оценкой роли отдельных видов деятельности на качество производимой продукции. В-четвертых, отсутствуют четкие процедуры сбора первичной статистической информации.
Объектом исследования данной работы являются ведомственные образовательные организации преимущественно МВД России. Предметом исследования выбраны используемые учредителем и администрациями образовательных организаций методы оценки эффективности деятельности отдельных субъектов различных уровней. Целью исследования является совершенствование методов сбора первичной информации для построения рейтинговых систем, а также используемой системы показателей.
о §
го ср чд ю
ш о
j
го о ^
о 1 Актуальность работы обусловлена отсутствием в настоящее время ° ^ о устойчивой общепризнанной методики оценки эффективности деятель-
Ф ГО СО
| о S. ности образовательных организаций и профессорско-преподавательско-g го состава.
о-е- Нельзя сказать, что научное сообщество обошло стороной данную _ ^ проблему. Обзор публикаций по данной тематике проведен в работах Е.Н. Гривенной [4; 5]. Результаты этих исследований приводят к выводу о необходимости оптимизации оценочных процедур при определении качества образовательной деятельности. В частности, автор отмечает, что применяемая в МВД России система контроля образовательных организаций ориентирована на определение потенциальных возможностей вуза и не позволяет судить о степени совершенства образовательного процесса. [4, с. 4].
В настоящее время популярными являются рейтинги российских вузов, составляемые агентством RAEX (Эксперт РА) [1]. Приведены не только статистические рейтинговые показатели, но и описаны методы получения итоговых значений на основе первичной информации. Отмечается, что наряду с количественными показателями используются качественные оценки, отражающими мнение работодателей, представителей академических и научных кругов, а также студентов и выпускников вузов.
Показательным, на наш взгляд, является утверждение: «Цель составления рейтинга вузов - оценка способности вузов обеспечивать выпускникам высокое качество знаний, навыков и умений, исходя из условий для их получения и результатов применения» [1]. Если детально проанализировать используемые показатели, то подавляющее их большинство относится к так называемым необходимым условиям качественной подготовки специалистов, о чем и говорится в указанной выше работе [4]. Рейтинг RAEX рассчитывается на основе трех интегральных показателей, учитываемых с разными статистическими весами.
1. Условия для получения качественного образования в вузе (вес = 0,5).
2. Уровень востребованности работодателями выпускников вуза (вес = 0,3).
3. Уровень научно-исследовательской деятельности вуза (вес = 0,2).
На величину первых двух показателей в значительной мере влияет
менеджмент персонала образовательной организации. Например, востребованность работодателями выпускников вуза зависит от соотношения количества выпускников по некоторому набору специальностей и количества соответствующих вакансий.
Применительно к образовательным организациям МВД России вос- | требованность выпускников является стопроцентной, что определяет- о ся системой комплектования абитуриентов. Но этот факт не снимает g ° вопроса о конкурентоспособности выпускников образовательных орга- I i низаций МВД России. | <§
Наиболее поддающимися количественной оценке результатами дея- о § тельности научно-педагогических кадров образовательных организа- чю ций являются научные и учебно-методические публикации. Авторами с рейтинга [1] отмечается, что в 2016 г. по сравнению с 2014 г. более всего возросли количественные показатели вузов по научным публикациям. Средний показатель 100 ведущих вузов страны по публикациям, индексируемым в наукометрических базах Scopus и Web Of Science, возрос на 43%. В то же время отмечается, что у группы вузов, не являющихся получателями субсидий на повышение конкурентоспособности на мировой арене, снизился показатель по кадровому потенциалу. Отмеченные выше изменения в показателях образовательных организаций свидетельствуют о смещении акцентов в управлении образовательными организациями на достижение краткосрочных результатов.
Одной из целей составления рейтингов является стимулирование деятельности сотрудников и организаций в определенных сферах. Данный факт требует детального анализа соотношения количественных значений показателей и трудозатрат для их достижения. Вторым фактором, на который следует обращать внимание, являются дальнесрочные перспективы в развитии образовательной организации или профессионального роста ее сотрудников.
В ведомственных образовательных организациях МВД России вопросы перспективного планирования развития организации приобретают свою остроту в связи с применяемой ротацией руководства. У руководителя организации в условиях ротации возникает соблазн достичь результатов роста показателей в кратчайшие сроки. Соответственно выбираются те направления деятельности, по которым с учетом сложившихся на данный момент условий можно получить существенный рост показателей.
Подчеркнем, что речь идет именно об используемых в рейтинговых оценках показателях, которые не всегда отражают интегральную характеристику выбранного направления деятельности. В качестве примера рассмотрим физическую подготовку курсантов образовательных организаций МВД России. Общая оценка данного вида деятельности проводится раз в пять лет во время комплексного инспектирования образовательной организации. Соответственно, данные оценки фактически не могут использоваться в ранжировании образовательных организаций.
■ I
го о ^
1 о 1 Совершенно другая роль отводится результатам участия команд в сорев-
О -о т
к ^ о
Ф го т 5 л го О О.
нованиях по отдельным спортивным видам. Данные итоги подводятся ежегодно, становятся предметом обсуждения на оперативных совещаниях к у о различного уровня. Этот факт побуждает руководство образовательной организации заботиться в первую очередь о создании спортивных команд. _ ^ Достижения команд и отдельных участников совершенно не отражают общий уровень физической подготовки курсантов образовательной организации. Признавая важность данного вида деятельности в образовательной организации и роли спортивных соревнований в популяризации спорта, предлагается изменить систему организации этих соревнований, а также рейтинговые показатели. Ввести в рейтинговые показатели статистические параметры - среднее число курсантов (сотрудников), имеющих спортивные разряды разного уровня. Такое нововведение было бы в духе возрождения в России системы ГТО. При проведении соревнований формирование команд предлагается проводить путем случайной выборки из контингента обучающихся за два месяца до начала соревнования. Представляется, что результаты таких соревнований по нескольким годам будут отражать общую картину физической подготовки курсантов образовательных организаций МВД России.
Оценка качества образовательной деятельности проводится путем мониторинга среднего балла результатов промежуточный и итоговых аттестаций, срезов знаний путем дистанционного тестирования. В данных мероприятиях присутствует эффект пресловутой «палочной системы», за которую общественность постоянно критикует правоохранительные органы. Другой подход к оценке результата образовательной деятельности содержится в проводимых ежегодных межвузовских соревнованиях в форме учения. Результаты, демонстрируемые участниками команд, подвергаются независимой экспертной оценке. Представляется, что данное мероприятие имело бы больший эффект воздействия на образовательную деятельность организаций при применении принципа случайной выборки для формирования команд.
Для оценки эффективности работы отдельных преподавателей образовательных организаций также используются рейтинговые системы [3, 10-12]. При этом можно утверждать, что, как правило, отсутствует научное обоснование количественного соотношения между различными показателями. Например, в рейтинговой системе Санкт-Петербурского государственного аграрного университета издание двух лекций объемом по печатному листу равноценно публикации в зарубежном журнале или работе заместителем декана на общественных началах [10].
Прямой механический перенос показателей и критериев, используемых для оценки образовательной организации, в рейтинговую систему
оценки деятельности профессорско-преподавательского состава приво- | дит к смещению ценности отдельных показателей. Более того, некото- § °°
х
рые показатели, которые непосредственно определяются деятельностью g ^ научно-педагогических кадров и обоснованно присутствуют в рейтинге 1 1 образовательной организации, статистически не обеспечены в пяти- 2 g
iE О
летнем промежутке при оценке деятельности научно-педагогических о pg
К го СХ
таким показателям относятся защиты докторских диссерта- чю ций, написание монографий и учебников. с
О.М. Булгаков, Е.Н. Гривенная, И.Н. Старостенко предложили математическую модель рейтинговой оценки педагогической деятельности преподавателей образовательных организаций. Для определения базовых нормировочных констант в модели используется заслуживающий особого внимания аппарат экспертных оценок для построения базовой модели «нормального» преподавателя. При этом показатели модели имеют различные значения для разных должностных категорий, что также практикуется рядом образовательных организаций, например, в Нижегородской академии МВД России [9].
Выделение в рейтинговой системе оценки труда профессорско-преподавательского состава отдельных должностных групп способствует более полному учету специфики труда отдельных преподавателей, но при этом остаются не решенными вопросы сравнения деятельности преподавателей кафедр различного профиля. Авторами отмечается, например, что профильные кафедры наиболее подвержены колебаниям методической работы, вызванным изменениями нормативной базы России [2]. Но и трудоемкость подготовки единицы однотипной методической разработки по разным кафедрам варьируется. Имеются различия в трудозатратах по подготовке научных публикаций. В научных публикациях, посвященных исследованиям наукометрических баз, отмечается, что средние индексы цитирования, как и количество публикаций, значительно зависят от научной отрасли [7].
Второй проблемой, слабо освещенной в научной литературе, является наличие корреляций между различными показателями, используемыми в рейтинговой оценке деятельности преподавателей. Например, преподавателю начисляются баллы за доклад, сделанный курсантом на вузовской конференции, а в случае призового места добавляются бонусы. Практика показывает, что призовые места занимают доклады старшекурсников, сделанные по материалам выпускных квалификационных работ. Но за руководство дипломной работой преподавателю уже начислены баллы по разделу «учебная работа».
Третья проблема связана с достоверностью первичной информации, используемой в рейтингах. Возьмем, например, данные о публикациях
го о к
. о I и их цитированию, содержащиеся в базе РИНЦ. В работе [6] приводится ряд примеров дублирования одной и той же работы при формальной перестановке выходных данных статьи, отмечаются также факты «само-
4 I го
О т
к ^ о
Ш го т
5 л го ы О ^
^ о плагиата».
о-е- Следующая проблема сбора первичной информации - несоблюдение
ш о н- о.
принципов классификации материалов. В базе данных РИНЦ в списках научных работ авторов можно найти множество учебных пособий с большим количеством цитирования. Отнесение учебных пособий, курсов лекций к научной продукции противоречит приказу Росстата от 05.08.2016 № 931 «Об утверждении статистического инструментария для организации федерального статистического наблюдения за деятельностью в сфере образования, науки, инноваций и информационных технологий» [8]. При этом следует заметить, что нормативными документами МВД России учебные пособия и курсы лекций отнесены к видам научной продукции.
Как уже отмечалось выше, одной из задач рейтинговой системы является стимулирование как общей активности профессорско-преподавательского состава, так и отдельных видов деятельности. В образовательных организациях МВД России, в отличие от вузов Минобрнау-ки, отсутствует возможность материального поощрения за выполнение отдельных работ (монографии, статьи). Оценка труда преподавателя производится на основе выполнения им ежегодного индивидуального плана и других условий контракта. А.М. Газалиев, В.В. Егоров, И.В. Брейдо описали рейтинговую систему, основанную на показателях, входящих в индивидуальные планы преподавателей. За базу расчета рейтинга предлагается использовать нормативы трудозатрат преподавателей на отдельные виды работ [3].
Признавая в целом универсальность данного подхода, необходимо отметить, что применяемые в образовательных организациях нормативы трудозатрат по отдельным видам научной и методической работы далеки от совершенства. Можно вести дискуссии по отдельным показателям, но представляется, что рейтинги, учитывающие все виды деятельности и специфику отдельных кафедр, не должны показывать разрыв в 3-5 раз между первым и последним местом. Если рейтинги различаются в несколько раз, то, вероятно, производится сравнение между различными категориями (например, профессор и преподаватель) или система не учитывает специфику отдельных кафедр, некоторые виды деятельности и т.д. Каковы бы не были причины такого расхождения, очевидно, что его наличие существенно снижает стимулы у ряда сотрудников, обреченных системой находится «в хвосте».
При наличии большого расхождения в интегральных рейтинговых значениях представляется целесообразным путем экспертной оценки
ее
провести корректировку количественных значений отдельных показа- | телей. Ведение компьютерных баз данных позволяет провести такую § со работу на основе статистических данных по нескольким годам. 5 °
В связи с отмеченными выше проблемами, связанными с применени- | 1 ем рейтинговых систем оценки труда профессорско-преподавательского | 2 состава и образовательных организаций в целом предлагается: о §
1. Внести изменения в нормативные документы МВД России, регла- чю ментирующие научно-исследовательскую и образовательную деятель- с ность, с целью четкого разграничения этих видов деятельности и определения базовых нормативов трудозатрат на единицу продукции для каждого вида и отрасли.
2. При оценке деятельности образовательных организаций по отдельным видам использовать показатели, характеризующие весь контингент постоянного или переменного состава. При необходимости использовать методы случайной выборки.
3. При оценке деятельности руководителей образовательных организаций, переведенных в порядке ротации на новое место службы, учитывать в течение двух лет результаты деятельности организации, ранее ими возглавляемой.
Библиографический список
1. 100 лучших вузов России, 2016 год. URL: http://raexpert.ru (ата обращения: 26.05.2017).
2. Булгаков О.М., Гривенная Е.Н., Старостенко И.Н. К вопросу о математической модели рейтинговой оценки педагогической деятельности преподавателей образовательной организации МВД России // Вестник Воронежского института МВД России. 2017. № 1. С. 24-34.
3. Газалиев А.М., Егоров В.В., Брейдо И.В. Эффективность рейтинговой системы оценки деятельности преподавателей и подразделений вуза. URL: http://www.kstu.kz (дата обращения: 26.05.2017).
4. Гривенная Е.Н. Модель рейтинговой оценки научно-педагогической деятельности профессорско-преподавательского состава как элемент системы качества образовательного учреждения МВД России: Монография. Краснодар, 2011.
5. Гривенная Е.Н. Мониторинг качества высшего профессионального образования в системе МВД России с использованием рейтинговых технологий: Автореф. дис. ... д-ра пед. наук. Краснодар, 2015.
6. Долгих И.П. Об академической недобросовестности в образовательных организациях МВД России. URL: http://novainfo.ru (дата обращения: 01.06.2017).
7. Королева Т.С., Васильев И.А., Торжков И.О. Критерии оценки эффективности деятельности научных учреждений // Труды СПб. научно-исследовательского института лесного хозяйства. 2014. № 2. С. 94-111.
8. Об утверждении статистического инструментария для организации федерального статистического наблюдения за деятельностью в сфере образования, науки, инноваций и информационных технологий: приказ Росста-та от 05.08.2016 № 931. URL: http://www.consultant.ru (дата обращения: 30.05.2017).
9. Рейтинговая оценка деятельности профессорско-преподавательского состава и кафедр Нижегородской академии МВД России. URL: https:// на.мвд.рф (дата обращения: 31.05.2017).
10. Рейтинговая оценка деятельности сотрудников, кафедр и факультетов СПбГАУ. URL: http://spbgau.ru (дата обращения: 31.05.2017).
11. Рейтинговая система оценивания деятельности факультетов, кафедр и профессорско-преподавательского состава: Сб. докладов 2-го межвузовского семинара-совещания вузов Хабаровского края и Еврейской автономной области. Биробиджан, май 2009 г. / Под общ. ред. Б.Е. Фишмана. Биробиджан, 2009.
12. Яновский Л.М., Малов И.В. Рейтинговая оценка труда преподавателя вуза: способ повышения качества преподавания // Бюллетень ВСНЦ СО РАМН. 2005. № 2(4). С. 249-252.
Литвинов Владимир Андреевич - кандидат физико-математических наук, доцент; доцент кафедры информатики и специальной техники, Барнаульский юридический институт МВД России. E-mail: [email protected]
Баумтрог Виктор Этмонтович - кандидат физико-математических наук, доцент; доцент кафедры информатики и специальной техники, Барнаульский юридический института МВД России. E-mail: [email protected]
V.A. Litvinov, V.E. Baumtrog
On the estimation of the effectiveness of departmental institutions
The authors analyzed the methods of evaluation of the effectiveness of educational institutions and their faculty. The study proposed in the collection of primary information about the quality of the educational process to use the method of random sampling of students, as well as the parameters used by external experts.
Quantitative values of indicators of the rating system of assessment of work efficiency of the teaching staff are recommended to normalize with the maximum differences of integral indicators, using expert evaluation of the organization.
Key words: the effectiveness of education, a rating system, Russian Science Citation Index, accreditation of higher education institutions, educational activities, scientific activities.
Litvinov Vladimir A. - PhD in Physics and Mathematics, Associate Professor of the Department of Informatics and Special Equipment, Barnaul Law Institute of MIA of Russia
Baumtrog Viktor E. - PhD in Physics and Mathematics, Associate Professor of the Department of Informatics and Special Equipment, Barnaul Law Institute of MIA of Russia
ro о Œ
ы
о л
^ л го
О _Û CÛ
к О
Ф го го
л го
О CL
ы О
Œ и О
и
ex ш
o-a
О
1— CL а
