CC BY
55
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА
И УПРАВЛЕНИЕ
О.М. Булгаков,
доктор технических наук, профессор, Краснодарский университет МВД России
Е.Н. Гривенная,
доктор педагогических наук, доцент, Краснодарский университет МВД России
И.Н. Старостенко,
кандидат физико-математических наук, доцент, Краснодарский университет МВД России
к вопросу о математическом модели реитинговои оценки педагогической деятельности преподавателей образовательной организации
мвд россии
to the mathematical model of rating assessment of teachers pedagogical activity in educational organization of the ministry of the interior of russia
Проанализированы методические проблемы рейтинговой оценки педагогической деятельности преподавателей образовательной организации МВД России, описан модифицированный алгоритм учета деятельности профессорско-преподавательского состава по реализации образовательных программ в рамках модульной структуры рейтинга, определены перспективные направления совершенствования представленной математической модели.
The article analyzes the methodological problems of rating assessment of teachers pedagogical activity in the educational organization Ministry of Internal Affairs of Russia, describes the modified algorithm taking into account the activities of the teaching staff for the
implementation of educationalprograms under the ratings modular structure, defines perspective directions of improvement of the presented mathematical model.
Среди объектов реформирования высшего образования важное место занимают деятельность профессорско-преподавательского состава как стратегически важного ресурса и управление кадрами в рамках функционирования высшей школы.
В связи с этим образовательные организации решают задачи создания систем эффективного стимулирования труда профессорско-преподавательского состава, и одной из важнейших составляющих такой системы является объективное оценивание результатов педагогической деятельности преподавателей. По нашему мнению, комплекс оценочных шкал и показателей должен включать в себя следующие компоненты:
1) отзывы работодателей о выпускниках, непосредственное участие в формировании профессиональных компетенций которых принимал оцениваемый преподаватель;
2) результаты Государственной итоговой аттестации выпускников (например, выпускных квалификационных работ, которыми руководил оцениваемый преподаватель);
3) отзывы выпускников и обучающихся о качестве преподавания соответствующих учебных дисциплин и их самооценка степени сформированности соответствующих компетенций;
4) результаты независимого контроля знаний и умений обучающихся, в особенности — остаточных, сформированных на основе изучения соответствующих дисциплин;
5) объём учебной, методической и научной работы, определяемый на основе формализованных учётных данных;
6) профессиональные достижения;
7) результаты воспитательной работы с обучающимися.
Современные информационные технологии позволяют организовать регулярный сбор и обработку данных о деятельности преподавателя (результаты Интернет-тестирования, объемы учебной и методической работы, количество изданных учебников, результаты анкетирования обучающихся, обеспеченность преподаваемых дисциплин методическими материалами, количество взаимных посещений учебных занятий и прочее) и представляют собой технологическую основу создания и функционирования систем мониторинга педагогической деятельности профессорско-преподавательского состава и оценки кадрового потенциала образовательной организации.
Одной из реализаций квалиметрического подхода к оценке деятельности преподавателя вуза является рейтинг учебно-методической работы профессорско-преподавательского состава Краснодарского университета МВД России [1 ].
При формировании набора оценочных показателей учтен отечественный опыт мониторинга качества образования, а ранжирование итоговых результатов выполняется на основе расчета среднего рейтинга и кластеризации ранжированного списка по пяти категориям относительно среднего значения.
Индивидуальный рейтинг педагогической деятельности преподавателя (ИРПДП) включает пять модулей: 1. Учебная работа; 2. Методическая работа; 3. Организационно-методическая работа; 4. Участие в конкурсах педагогического мастерства; 5. Внедрение научной продукции в образовательную деятельность. Итоговый индивидуальный показатель преподавателя по модулю (ИИПМ) «Учебная работа» представляет собой объём его учебной нагрузки за год в академических часах. ИИПМ «Участие в конкурсах педагоги-
ческого мастерства» рассчитывается как сумма баллов, выставленных конкурсной комиссией за участие в конкурсах, а затем масштабируется для корректного суммирования с ИИПМ «Учебная работа». Таким же образом преобразуются ИИПМ «Методическая работа», «Организационно-методическая работа», «Внедрение научной продукции в образовательную деятельность», компоненты которых изначально выражаются в баллах.
Алгоритм, по которому проводятся вычисления значений ИРПДП, включает в себя расчет среднего значения их ИИПМ по каждому из пяти модулей:
п
— IП
П'=^^ (1) п
где П/ — численное значение рейтингового показателя /-го преподавателя по ]-му модулю; п — количество преподавателей, и затем, для обеспечения статистической сравнимости ИИПМ преподавателей по всем модулям — приведение ИИПМ каждого преподавателя по соответствующему модулю к взаимно сопоставимому виду с применением масштабно-размерных коэффициентов (МРК) к, определяемых на основе статистического анализа данных:
Пj
11 = П * (2)
Значение ИРПДП рассчитывается как сумма приведенных ИИПМ:
5
= 1Ч. (3)
у=1
Для наглядности сравнения ИРПДП и ИИПМ и обеспечения объективности оценки педагогической работы преподавателей за учебный год значения ИРПДП и ИИПМ разделяются в соответствующих ранжированных списках на пять групп: «высокие», «выше среднего», «средние», «ниже среднего», «низкие», характеризующихся разделяющими соответствующие им интервалы четырьмя пороговыми значениями. В табл. 1 приведены условия формирования групп ИРПДП (ИИПМ) и соответствующие пороговые значения относительно средних величин ИРПДП (ИИПМ).
Таблица 1
Интервалы значений рейтинговых показателей
Группа ИРПДП (ИИПМ) Интервал
Высокий п > 1,5х
Выше среднего 1,25х < п < 1,5х
Средний 0,75х < п < 1,25х
Ниже среднего 0,5х < п < 0,75х
Низкий п < 0,5х
Автоматизированный расчет значений ИРПДП и оценки осуществляется с помощью компьютерной программы, преобразующей разнородные количественные значения компонентов ИИПМ и ИРПДП (часы, баллы, экспертные оценки конкурсной комиссии) к виду и размеру, необходимым для их последующего корректного суммирования.
По итогам нескольких лет применения рассмотренного алгоритма выявилась проблема методического характера, заключающаяся в том, что оценки индивидуальных результатов педагогической деятельности преподавателей зависят от общего объёма работы педагогического коллектива. Так, на распределение ИРПДП и ИИПМ по группам в соответствии с табл. 1 существенное влияние оказывают не только активность рассматриваемых преподавателей, но и средние значения ИРПДП и ИИПМ, которые, в свою очередь, подвержены влиянию внешних факторов и могут существенно разниться год от года.
Так, исполнение приказа Министерства образования и науки Российской Федерации от 19 декабря 2013 г. № 1367 «Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования — программам бакалавриата, программам специалитета, программам магистратуры» потребовало внесения значительных изменений в рабочие программы преподаваемых учебных дисциплин. Включение в рабочие программы дисциплин фондов оценочных средств привело к увеличению объемов методической работы и, как следствие, повышению средних значений ИИПМ «Методическая работа» и ИРПДП (рис. 1, 2). Как показывает практика, наиболее подвержены колебаниям объёмов методической работы, вызванным изменением нормативной базы, профильные кафедры.
Рис. 1. Изменение по годам средних значений ИИПМ «Методическая работа» (в часах)
В связи с изменением среднего значения, например, ИИПМ «Методическая работа», стабильные результаты по данному модулю (например, 350 часов в год) могут быть в разные годы оценены как средние, выше среднего, ниже среднего и даже низкие (рис. 2, табл. 2). По той же причине, несмотря на монотонное возрастание объёмов методической работы с 2012—2013 по 2015—2016 год более, чем на 67%, распределение профессорско-преподавательского состава по группам ИИПМ «Методическая работа» (табл. 2) характеризуется относительной стабильностью. Более того, в отдельные годы имела место отрицательная динамика оценок: так, например в 2014—2015 учебном году
по сравнению с 2013—2014 учебным годом уменьшилась сумма процентов результатов «высокие» и «выше среднего» и увеличилась сумма процентов результатов «ниже среднего» и «низкие».
Средний объём методической работы на одного доцента и старшего преподавателя кафедры в динамике
600 500 400 300 200 100 0
доцент
старший преподаватель
443 428
333 311 367 351 365 380
2011-2012 учебный год
2012-2013 учебный год
2013-2014 учебный год
2014-2015 учебный год
562
480
2015-2016 учебный год
Рис. 2. Динамика среднего объёма методической работы (в часах) должностных категорий «доцент» и «старший преподаватель»
Таблица 2
Распределение ИИПМ «Методическая работа» по группам (в % участников рейтинга)
Учебный год Группы результатов
«высокие» «выше «средние» «ниже «низкие»
среднего» среднего»
2011—2012 11 20 43 7 7
2012—013 9 7 59 22 2
2013—2014 18 8 34 23 17
2014—2015 15 9 33 31 12
2015—2016 13 11 40 24 13
Кроме того, ряд ИИПМ различных должностных категорий как в отдельные годы, так и в среднем за рассматриваемый период заметно отличаются, что обусловлено спецификой распределения поручений, определяемой научной и методической квалификацией исполнителей и их учебной работы. Так, профессора традиционно выполняют меньший объём учебной и организационно-методической работы по сравнению с другими должностными категориями, в то же время существенно превосходя своих коллег (за исключением начальников кафедр) по ИИПМ «Внедрение научной продукции в образовательную деятельность». Преподаватели, выполняя наибольшие объемы учебной работы, существенно уступают другим должностным категориям по внедрению научной продукции. Данные примеры далеко не исчерпывают проявления дисбаланса ИИПМ раз-
личных должностных категорий, что приводит к необходимости его нивелировки эвристическим выбором МРК на основе небесспорных соображений и дилеммы между объективностью учета и стимулированием отдельных, актуальных на рассматриваемый год видов образовательной деятельности.
Очевидно, для достижения сравнимости ежегодных результатов рейтинга и повышения достоверности оценок необходимо изменить процедуру нормировки ИИПМ, описываемую выражениями (1) и (2), так, чтобы нормирующие величины не зависели от нормируемых, а в расчетах ИРПДП компенсировать объективный дисбаланс ИИПМ различных должностных категорий.
Таким образом, для обеспечения объективности первичного анализа данных рассмотренной рейтинговой системы требуется решить три задачи:
1. Определение базовых нормировочных констант.
2. Определение МРК в выражениях вида (2).
3. Корректировка процедур обработки первичных данных на основе анализа результатов расчетов ИИПМ и ИРПДП за несколько лет.
Для выполнения первой задачи было решено использовать аппарат экспертных оценок [2], который бы позволил сформировать модель «нормального» преподавателя. Экспертам (в их роли выступали руководители кафедр и ведущие ученые университета) было предложено указать оптимальный объём различных видов работ по методическому обеспечению учебного процесса, научной деятельности, выполнению учебной нагрузки и т.д. для дальнейшего усреднения.
Решение этой задачи осложнено тем, что ранжирование ИИПМ и ИПРДП выполняется для пяти должностных категорий: «начальник (заместитель начальника) кафедры», «профессор», «доцент», «старший преподаватель», «преподаватель». Следовательно, для пяти модулей и пяти должностных категорий необходимо определить двадцать пять нормировочных констант, что является крайне трудоемкой задачей с точки зрения согласования экспертных оценок одновременно по должностным категориям и модулям. Так что для матрицы размером 5х5 количество согласований каждого элемента с каждым в его строке и столбце составит 100.
Упрощение решения данной задачи может быть основано на допущении или гипотезе, в дальнейшем подлежащей отдельной верификации, о статистической корреляции нормировочных констант. Основанием для выдвижения такой гипотезы является сходная динамика ИИПМ «Учебная работа» и «Методическая работа», «Организационно-методическая работа» и «Участие в конкурсах педагогического мастерства» попарно, а также качественная прогнозируемость ИИПМ «Внедрение научной продукции в образовательную деятельность» на основе ИИПМ «Методическая работа» годичной давности и объёмов завершенных НИР.
Принятие данной гипотезы влечет за собой следующие выводы, позволяющие существенно упростить процедуры нахождения нормировочных констант и МРК:
1. Новые нормирующие значения достаточно определить для одного или двух модулей, а остальные ИИПМ для обеспечения корректности суммы (3) масштабировать с помощью МРК в выражениях вида (2).
2. МРК имеют не экспертное, а статистическое происхождение, поэтому могут быть определены на основе сопоставления усредненных за анализируемый период ИИПМ должностных категорий и модулей.
Таким образом, если нормировочные константы определяются не для каждого модуля и должностной категории независимо, МРК должны связывать между собой ИИПМ не только разных модулей, но и разных должностных категорий.
Для обеспечения корректности вычислений на основе критерия Смирнова — Граббса [3] было проведено согласование исходных данных, предоставленных экспертами. В результате наиболее корректные экспертные оценки были получены для оптимальных, по мнению начальников кафедр и ведущих специалистов, объемов учебной нагрузки доцента (включая внеаудиторную) — 754,2 часа и методической работы старшего преподавателя — 446 часов. Следует отметить, что в полученных оценках нашли своё отражение тенденции к увеличению внеаудиторной учебной работы за счёт консультаций, в том числе с использованием дистанционных образовательных технологий, а также выполнение объёмных задач методического обеспечения преподаваемых дисциплин, связанных с разработкой и актуализацией фондов оценочных средств и методик оценки уровня сформированности компетенций.
Указанные величины приняты в качестве нормировочных констант по первому и второму модулям соответственно. Нормировочные константы по третьему, четвертому и пятому модулю определялись как средние значения за 2011—2016 гг. Полученные значения базовых нормировочных констант для пяти модулей приведены в табл. 3.
Таблица 3
Значения базовых нормировочных констант П для формирования распределения показателей ИИММ по группам результатов
Номера модулей
1 2 3 4 5
754,2 446,0 79,8 19,0 76,0
В табл. 4 представлены значения коэффициентов кут, связывающих нормировочные константы со значениями, приведенными в табл. 3:
П}т = Пу • к]т, (4)
где] и т — соответственно номера модуля и должностной категории.
Таблица 4
Значения коэффициентов кут для вычисления нормировочных констант через базовые значения
Должностная категория Модули
1 2 3 4 5
1. Начальник, заместитель начальника кафедры 0,975 1,249 1,031 1,358 1,197
2. Профессор 0,935 0,927 0,560 0,737 1,289
3. Доцент 1,000 0,927 1,040 1,032 0,789
4. Старший преподаватель 1,020 1,000 1,099 1,000 1,013
5. Преподаватель 1,040 0,948 1,269 0,874 0,707
Коэффициенты к^т получены как отношение средних значений ИИПМ должностных категорий за 2011—2016 гг., полученных с применением типовых методик обработки статистических данных [4], или экспертных оценок в рассмотренных выше случаях к базовым нормировочным константам.
Далее на основе сопоставления средних значений ИИПМ должностных категорий с базовыми константами сформирована таблица МРК для расчета приведённых значений ИИПМ и ИРПДП (табл. 5).
Таблица 5
Значения масштабно-размерных коэффициентов kjm для расчета приведенных значений ИИПМ
Должностная категория Модули
1 2 3 4 5
1. Начальник, заместитель начальника кафедры 1,066 1,382 9,348 29,83 8,457
2. Профессор 1,112 1,860 17,21 69,95 7,851
3. Доцент 1,033 1,860 9,275 39,26 12,83
4. Старший преподаватель 1,020 1,725 8,770 40,50 10,00
5. Преподаватель 1,000 1,820 7,665 46,45 14,33
Коэффициенты, представленные в табл. 5, нормированы на минимальное из полученных значений.
Таким образом, приведённые значения ИИПМ в модифицированном алгоритме вычисления ИРПДП рассчитываются:
1/= П- • kjm (5)
где kjm — МРК для j-го модуля m-й должностной категории.
В рамках решения третьей задачи модернизации рейтинговой системы оценки деятельности профессорско-преподавательского состава по реализации образовательных программ были модифицированы отдельные процедуры расчёта ИИПМ. Основные проблемы обработки первичных данных обусловлены необходимостью применения большого количества вспомогательных регулировочных параметров при учёте отдельных показателей, например, весовых коэффициентов, умножаемых на объём в печатных листах различных видов методической продукции или на объём в часах различных видов аудиторной нагрузки. Такие регулировочные параметры должны согласовываться с нормами учета различных видов учебной и методической работы профессорско-преподавательского состава, способствовать стимулированию актуальных видов деятельности и одновременно предотвращать «накручивание» рейтингов. В качестве примера рассмотрим формулу для расчёта ИИПМ модуля 5 «Внедрение научной продукции в образовательную деятельность»:
П = i [{Nj • 40У5 + log!,! {Nj • 40)] (6)
j=1
Здесь Nj — объем в авторских листах j-й работы из их общего числа k, внедренных в учебный процесс за год i-м преподавателем. Множитель «40» учитывает трудоемкость данного вида работы (изначально 80 часов за авторский лист), а показатель степени и основание логарифма, подобранные на основе анализа первичных данных за пятилетний
период, обеспечивают преимущество количества единиц научной продукции над её объёмом. То есть внедрить к изданий общим объёмом N «выгоднее», чем одно издание того же объёма, что отражает не только расширение целевой аудитории в первом случае, но и реально большие трудозатраты на написание, издание и внедрение.
Таким образом, модифицированный алгоритм учета деятельности профессорско-преподавательского состава по реализации образовательных программ включает в себя:
1) расчёт ИИПМ на основе первичных учётных данных;
2) формирование ранжированных списков и распределение ИИПМ по группам для должностных категорий в соответствии с критериями табл. 1 и единожды рассчитанными нормировочными константами (формула (4), табл. 3 и 4);
3) вычисление приведенных значений ИИПМ по формуле (5);
4) вычисление ИРПДП по формуле (3);
5) формирование ранжированных списков и распределение ИРПДП по группам для должностных категорий и в целом для всего профессорско-преподавательского состава.
Нормировочные константы и МРК в табл. 3—5 могут периодически пересматриваться в связи с:
- существенным, например, по прошествии нескольких лет, увеличением объёма статистических данных — ИИПМ, усреднение которых дало возможность определить табличные значения;
- изменением методик вычисления ИИПМ вследствие изменения совокупности учитываемых первичных данных, например, пересмотра норм учёта методической работы, увеличения количества конкурсов педагогического мастерства и др.;
- заменой нормировочных констант, определяемых статистическими методами, на экспертные оценки и наоборот.
Корректность ранжирования ИИПМ по отдельному модулю для различных должностных категорий может быть достигнута путем сопоставления соответствующих приведенных значений ИИПМ (формула (5)).
В рамках получения экспертных оценок по определению нормировочных констант Пи, П14, П23, П24, из которых впоследствии константы П13 и П24 были выбраны в качестве базовых нормировочных констант П1 и П2, положено начало формированию моделей «среднего» доцента и «среднего» старшего преподавателя. Доработка этих и подобных моделей позволит существенно упростить процедуры оценки деятельности профессорско-преподавательского состава по реализации образовательных программ.
Важным перспективным направлением совершенствования рассматриваемой модели нам представляется учёт качества выполнения профессорско-преподавательским составом различных видов работы, поддающихся объективной оценке. Отчасти данный подход реализован в модуле 5 «Участие в конкурсах педагогического мастерства», где ИИПМ рассчитывается как сумма баллов по итогам каждого конкурса, выставленных участнику конкурсной комиссией.
Существенный интерес с точки зрения оценки профессионального уровня преподавателя, принятия кадровых решений, дисциплинарных и воспитательных мер представляет накопленный рейтинг — нормированное среднее или средневзвешенное значение ИРПДП за анализируемый период, среднее место в рейтинге и др.
Указанные направления совершенствования рейтинговой системы оценки деятельности профессорско-преподавательского состава по реализации образовательных программ призваны не только повысить объективность её оценок, но и обеспечить её актуальность и востребованность для совершенствования качества учебно-воспитательного процесса в современных условиях.
ЛИТЕРАТУРА
1. Гривенная Е. Н. Модель рейтинговой оценки научно-педагогической деятельности профессорско-преподавательского состава как элемент системы качества образовательного учреждения МВД России : монография. — Краснодар : КрУ МВД России. — 2011.
2. Гуцыкова С. В. Метод экспертных оценок. Теория и практика. — М. : Когито-Центр. — 2011.
3. Уиттекер Э., Робинсон Г. Математическая обработка результатов наблюдений.
— М. : Книга по требованию. — 2012.
4. Костин В. Н., Тишина Н. А. Статистические методы и модели : учебное пособие. — Оренбург : ГОУ ОГУ. — 2004.
REFERENCES
1. Grivennaya E. N. Model' rejtingovoj ocenki nauchno-pedagogicheskoj deya-tel'nosti professorsko-prepodavatel'skogo sostava kak ehlement sistemy kachestva obrazovatel'nogo uchrezhdeniya MVD Rossii : monografiya. — Krasnodar : KrU MVD Rossii. — 2011.
2. Gucykova S. V. Metod ehkspertnyh ocenok. Teoriya i praktika. — M. : Kogito-Centr.
— 2011.
3. Uitteker EH., Robinson G. Matematicheskaya obrabotka rezul'tatov nablyudenij. — M. : Kniga po trebovaniyu. — 2012.
4. Kostin V. N., Tishina N. A. Statisticheskie metody i modeli : uchebnoe posobie. — Orenburg : GOU OGU. — 2004.
СВЕДЕНИЯ ОБ АВТОРАХ
Булгаков Олег Митрофанович. Первый заместитель начальника университета. Доктор технических наук, профессор.
Краснодарский университет МВД России
E-mail: ombulgakov@gmail.com
Россия, 350005, г. Краснодар, ул. Ярославская, 128. Тел. 8-861-258-43-95.
Гривенная Елена Николаевна. Заместитель начальника методического отдела управления учебно-методической работы. Доктор педагогических наук, доцент.
Краснодарский университет МВД России
E-mail: lady-docc@yandex.ru
Россия, 350005, г. Краснодар, ул. Ярославская, 128. Тел. 8-861-258-49-78.
Старостенко Игорь Николаевич. Начальник кафедры информатики и математики. Кандидат физико-математических наук, доцент.
Краснодарский университет МВД России
E-mail: staros80@mail.ru
Россия, 350005, г. Краснодар, ул. Ярославская, 128. Тел.: 8-861-258-34-48.
Bulgakov Oleg Mitrofanovich. First Deputy Head of the University. Doctor of Engineering, Professor.
Krasnodar University of the Ministry of Internal Affairs of Russia.
E-mail: ombulgakov@gmail.com
Work address: Russia, 350005, Krasnodar, Yaroslavlskaya Str. 128. Tel. 8-861-258-43-95.
Grivennaya Elena Nikolaevna. Deputy Head of the Methodical Sector of the Department of Educational and Methodical work. Doctor of Pedagogics, Assistant Professor.
Krasnodar University of the Ministry of Internal Affairs of Russia.
E-mail: lady-docc@yandex.ru
Work address: Russia, 350005, Krasnodar, Yaroslavlskaya Str., 128. Tel. 8-861-258-49-78.
Starostenko Igor Nikolaevich. Head of the Chair of Informatics and Mathematics. Candidate of Physics and Mathematics, Assistant Professor.
Krasnodar University of the Ministry of Internal Affairs of Russia.
E-mail: staros80@mail.ru
Work address: Russia, 350005, Krasnodar, Yaroslavlskaya Str., 128. Tel. 8-861-258-34-48.
Ключевые слова: педагогическая квалиметрия; методика ранжирования; рейтинг; нормировочная константа; критерий рейтинговой оценки; индивидуальный рейтинг; рейтинг кафедры.
Keywords: pedagogical qualimetry; ranking method; rating; normalizing constant value; the criterion rating assessment; individual rating, rating of the chair.
УДК 378.12
ИЗДАНИЯ ВОРОНЕЖСКОГО ИНСТИТУТА МВД РОССИИ
Порядок эксплуатации средств связи : учебное пособие / О. И. Бокова, Н. С. Хохлов, О. В. Пьян-ков, А. Н. Глушков. — М.: ДГСК МВД России, 2016. — 128 с.
Рассматриваются принципы организации и проведения технической эксплуатации средств связи инфокоммуникационных систем органов внутренних дел. Пособие предназначено для лиц рядового и младшего начальствующего состава, впервые принятых на службу в органы внутренних дел, курсантов и слушателей образовательных организаций МВД России, практических сотрудников подразделений информационных технологий, связи и защиты информации органов внутренних дел.
МИНИСТЕРСТВО ВНУТРЕННИХ ДЕЛ РОССИЙСКОЙ ФЕДЕРАЦИИ
ПОРЯДОК ЭКСПЛУАТАЦИИ СРЕДСТВ СВЯЗИ
Учебное пособие
300
ПЕТ
МОСКВА 2016
