CC BY
38А. А. Никифоров, Л. В. Уткин
РЕИТИНГОВАЯ ОЦЕНКА И МОНИТОРИНГ ОБРАЗОВАТЕЛЬНОЙ И НАУЧНОЙ ДЕЯТЕЛЬНОСТИ ВУЗА
Представлена автоматизированная система рейтинговой оценки деятельности преподавателей, кафедр и факультетов. Система создана для оценки деятельности профессорско-преподавательского состава и централизованного сбора данных, обработки и подготовки отчетов научно-исследовательской части и учебно-методического управления, а также для стимуляции и активизации творческой педагогической и научной деятельности сотрудников кафедр в течение календарного года. Система является основой для распределенного сбора и автоматизированного мониторинга аспектов научной и образовательной деятельности вуза.
Ключевые слова: рейтинг, мониторинг, оценка образовательной и научной деятельности, информационная система, автоматизированная система рейтинговой оценки.
A. A. Nikiforov, L. V. Utkin Rating system and monitoring the lecturers and scientific activity in university
An automated rating system for evaluating the lecturers activity is presented in the paper. The system is also developed for monitoring and data mining concerning the scientific research and educational work in the university. If can be used for collecting various reports, stimulating the lecturers activity and other duties during a calendar year. The system is a basis for the distributed gathering and the automated monitoring of aspects of scientific and educational activity of high school.
Keywords: rating, monitoring, estimation of educational and scientific activity, information system, automated rating system.
ейтинг — это термин, пришедший из теории вероятностей и математической статистики. Слово «рейтинг» (rating) означает «оценка». Во многих сферах человеческой деятельности встречаются величины (признаки, параметры), имеющие предположительно численную природу, но конкретные значения этих величин, однако, не поддаются прямому физическому измерению. Одно из возможных решений этой проблемы — применение экспертных оценок, когда группа лиц («экспертов») дает заключение о характере распределения оцениваемой величины по некоторой шкале числовых значений.
В связи со значительными изменениями в жизни общества проблема совершенствования профессиональной подготовки приобретает особое значение, а в результате этих изменений преобразуются содержание и методы деятельности преподавателя. Активное обсуждение вопросов становления и развития системы качества образования связано со следующими основными аспектами: вступлением России в общее европейское образовательное пространство (Болонский процесс); переходом к комплексной оценке дея-
© Никифоров А. А., Уткин Л. В., 2010
тельности образовательных учреждений на базе утвержденного перечня показателей государственной аккредитации; созданием согласованных стандартов, процедур и руководящих принципов, призванных устанавливать, обеспечивать и улучшать качество предоставления образовательных услуг во всех сферах деятельности высшего учебного заведения в соответствии с предъявляемыми требованиями со стороны государства, общества, студентов, работодателей и преподавателей.
Основным видом деятельности Санкт-Петербургской государственной лесотехнической академии им. С. М. Кирова (СПбГЛТА) является деятельность по предоставлению образовательных услуг, поэтому ключевым компонентом системы качества образования является ее оценивание. Процесс обучения предполагает наличие результатов обучения. О соответствии целей и результатов можно говорить, когда имеются необходимые механизмы и инструменты измерения достижения этих целей и результатов, отметки степени близости достигнутого к планируемому. Сами же измерительные инструменты
К
&
во многом зависят от характера критериев, применяемых оценочных шкал. Адаптивность системы образования к научному и техническому прогрессу в условиях перехода к непрерывному образованию достигается в том числе и путем формирования профессиональной компетентности преподавателя. Меняются цели и задачи обучения, а соответственно, меняются образовательные стандарты, учебные планы, происходит дифференциация образовательного процесса по профилям и уровням обучения. Все это приводит к тому, что контроль деятельности преподавателя занимает особое место в составной части учебного процесса и является одним из важнейших факторов продуктивности обучения, так как реализует закономерности развития дидактического процесса.
В связи с этим возникает необходимость комплексного решения таких вопросов, как сочетание форм и методов контроля, разработка системы оценивания, а также роли системы рейтинг-контроля как одного из важнейших мотивирующих факторов.
В целях оценки деятельности профессорско-преподавательского состава и централизованного сбора данных, обработки и подготовки отчетов научно-исследовательской части и учебно-методического управления, а также для стимуляции и активизации творческой педагогической и научной деятельности сотрудников кафедр в течение календарного года, была разработана автоматизированная система рейтинговой оценки деятельности преподавателей, кафедр и факультетов. Система является основой для распределенного сбора и автоматизированного мониторинга аспектов научной и образовательной деятельности вуза.
При разработке системы рейтинговой оценки качества работы преподавателей соблюдались следующие принципы:
1. Интегральный характер оценки. Система должна охватывать только те виды деятельности преподавателя, которые демонстрируют его активность в учебном процессе и научно-исследовательской работе, а также обеспечивать интегральный характер оценки.
2. Объективность. Система должна быть объективной и сводить к минимуму элемент субъективизма в оценке качества работы преподавателя.
3. Максимальная приближенность к аккреди-тационныш показателям. Значения количественных баллов должны устанавливаться исходя из важности и трудоемкости работы, весомости вклада в выполнение пороговых аккредитацион-
ных показателей работы всей академии. Критерии качества работы преподавателя должны быть максимально приближены к критериям оценки работы академии.
4. Гибкость и адаптивность. Система должна быть достаточно гибкой и адаптивной, позволяющей на разных этапах развития академии вносить определенные изменения, устанавливать новые приоритеты за счет изменения количественной оценки различных видов деятельности преподавателей, акцентировать внимание на наиболее проблемных направлениях учебной и научно-исследовательской деятельности преподавателя.
5. Реализуемость. Система должна быть формализуема, позволять создавать компьютерную базу данных и использовать локальную сеть академии для сбора и публикации результатов рейтинговой оценки.
Система реализована на широко распространенном языке программирования общего назначения с открытым исходным кодом PHP. PHP сконструирован специально для ведения web-разработок и может внедряться в HTML-код. Главным образом область применения PHP сфокусирована на написание скриптов, работающих на стороне сервера. PHP способен обрабатывать данные форм, генерировать динамические страницы или отсылать и принимать cookies и др.
Хранилищем информации является система управления базами данных MySQL, которая представляет собой быстрый многопоточный, многопользовательский надежный SQL-сервер баз данных. SQL (Structured Query Language — язык структурированных запросов) — универсальный компьютерный язык, применяемый для создания, модификации и управления данными в реляционных базах данных.
Система структурно разделяется на несколько блоков:
• База данных — набор таблиц, содержащих всю информацию системы.
• Система представления — набор программных модулей, с которыми работает профессорско-преподавательский состав.
• Система администрирования — набор программных модулей, позволяющих редактировать базу данных.
• Конфигурационные файлы — файлы, где располагаются конфигурационные настройки.
• Модули — набор общих модулей, которые участвуют при формировании системы представления и администрирования.
Схема отношения блоков системы рейтинговой оценки представлена на рис. 1.
Структура базы данных представлена в виде таблиц, связанных по идентификатору (рис. 2). Помимо основной таблицы, содержащей сведения о сотрудниках, используется ряд таблиц для хранения следующей информации:
1) факультеты;
2) кафедры;
3)сотрудники;
4) учебники, методические пособия, монографии, а также статьи и тезисы докладов с их выходными данными;
5) гранты и хоздоговорные работы;
6) диссертации кандидатские и докторские;
7) показатели, такие как выставки, конференции, экспонаты;
8) патенты и лицензии;
9) таблица весов.
Доступ к системе осуществляется через модуль авторизации по логину и паролю, который выдается администратором портала персонально.
Выделены две категории пользователей:
— сотрудники кафедр;
— сотрудники администрации.
Соответственно, пользователи первой категории имеют доступ только к информации своей кафедры (рис. 3), а пользователи второй категории имеют доступ к информации всех ка-
федр, с возможностью корректировки и обработки информации.
Ввод данных сотрудниками кафедр организован по принципу самостоятельного заполнения полей форм, соответствующих определенной деятельности преподавателей.
Система охватывает только те виды деятельности преподавателя, которые демонстрируют его активность в учебном процессе и научно-исследовательской работе, а также обеспечивает интегральный характер оценки. Система максимально приближена к аккредитационным показателям вузов (рис. 4).
Выделены три группы показателей:
1. Показатели достигнутой квалификации (такие как категория научно-педагогического работника; должность; звание; членство в советах и научных обществах).
2. Показатели активности в учебной работе (наличие учебников с грифом Минобрнауки РФ или УМО; учебных пособий с грифом УМО и без грифа; методических указаний, изданных вузовским тиражом; электронных учебных и учебно-методических пособий; разработанных и читаемых новых курсов лекций; курсов новых лабораторных работ (семинаров); разработанных и читаемых курсов лекций с компьютерными демонстрациями; созданных новых программ по дисциплинам, зарегистрированным в методическом отделе; повышение квалификации за отчетный период).
Администрация
Преподаватели
Система администрирования
Система представления
База данных
Конфигурационные файлы
Модули
Рис. 1. Схема отношений блоков системы рейтинговой оценки
Таблица - факультет
Таблица - публикации
Таблица - диссертации
Таблица - патенты
Таблица весов
Таблица - гранты
Таблица - показатели
Рис. 2. Структура базы данных
Рис. 3. Интерфейс системы, доступный сотрудникам кафедр
Модуль авторизации
О
Модуль - список
сотрудников кафедры ^
Модуль - список показателей сотрудника
Модули ввода
Учебники, пособия
Диссертации
Статьи, тезисы
Патенты, лицензии
Гранты
Показатели
Рис. 4. Структурная схема отношений модулей системы представления
3. Показатели активности в научной работе:
3.1.1. Диссертации (собственная защита кандидатской диссертации или докторской диссертации за отчетный период; защиты кандидатских или докторских диссертаций под вашим руководством за отчетный период; оппонирование диссертаций и наличие отзывов на авторефераты диссертаций).
3.1.2. Публикации (статьи в зарубежных периодических журналах, в зарубежных сборниках, в центральных российских журналах, в российских сборниках и прочих изданиях; монографии; сборники научных трудов, в которых сотрудник кафедры является ответственным редактором, редактором, членом редколлегии, составителем; книги, написанные под редакцией).
3.1.3. Патентно-лицензионная работа (патенты на изобретения; поданные заявки; положительные решения; поддерживаемые патенты; сделанные открытия; проданные лицензии; зарегистрированные программы для ЭВМ, баз данных, топологий интегральных микросхем).
3.1.4. Выставки и конференции (выставки, в которых сотрудник принимал участие; конференции, в которых сотрудник принимал участие без публикации тезисов; доклады (тезисы) на зарубежных и российских конференциях).
3.1.5. Организация научно-исследовательской деятельности студентов (победители открытого конкурса на лучшую научную работу студентов, проводимые по приказу Минобрнауки России, организованные факультетом; студенческие научные и научно-технические конференции; выставки студенческих работ, организованные факультетом; студенты, участвующие в НИР с оп-
латой труда; доклады студентов на научных конференциях; экспонаты, представленные на выставках с участием студентов; научные публикации студентов, изданные без соавторов — сотрудников академии за отчетный период; медали, дипломы, грамоты, премии и т. п., полученные студентами на конкурсах на лучшую НИР и на выставках; заявки, поданные студентами на объекты интеллектуальной собственности; студенческие проекты, участвовавшие в конкурсах грантов; гранты, выигранные студентами; стипендии Президента РФ, получаемые студентами).
3.1.6. Гранты, хоздоговорные работы (привлечение спонсорской помощи; наличие хоздоговорных работ, грантов РФФИ, зарубежных грантов, грантов федеральных органов; подано заявок на гранты всех видов).
3.1.7. Показатели участия в информатизации СПбГЛТА (официальный сайт, системы управления вузом).
Система администрирования представлена набором программных модулей, которые позволяют администрации вуза выполнять следующие действия: редактировать базу данных, рассчитывать показатели, формировать отчеты (рис. 5).
Расчет рейтинговых показателей производится в автоматизированном режиме по указанию сотрудников администрации после выполнения следующих операций:
— обработка введенной информации сотрудниками кафедр;
— определение весов показателей;
— проверка численности сотрудников кафедр.
Авторизация
О
Меню
О
Список факультетов
О V
Список кафедр
О О
Список ППС
Л У
Численность ППС кафедр
Рейтинговые показатели
Расчет
Отчеты
Архив
Блок системы представления
Рис. 5. Структурная схема отношений модулей системы администрирования
Абсолютный личный рейтинг (РП) подсчи-тывается как сумма
РП = W1 К + W2 У + Н, (1)
где У — показатели активности в учебной работе;
Н — показатели активности в научной работе;
W1, W2 и W3 — коэффициенты.
Веса W1, W2 и W3 определяют значимость каждой группы показателей Д, У, Н в общем рейтинге.
Рейтинги декана (РД) и заведующего кафедрой (РЗ) определяются соответственно по формулам
РД = РПД + 0,5Ф, РЗ = РПЗ + 0,5К, (2)
где Д — показатели достигнутой квалификации;
К и Ф — относительные рейтинги кафедры и факультета;
РП — индивидуальный рейтинг декана и завкафедрой как преподавателей.
Важность каждого показателя определяется величиной баллов за единицу показателя. Индивидуальные рейтинги преподавателя Д, У и Н определяются соответственно как суммы произведений натуральных величин (значений) показателей на балл за единицу показателя.
Рейтинги преподавателя Д и Н подсчитыва-ются по формулам
Д = Xд;Д; , Н = Xн>Н ;, (3)
где д., н, — количество баллов за выполнение рейтинговых показателей;
Д., Н. — количественные показатели (в соответствии с отчетом преподавателя о рейтинге).
Рейтинг преподавателя У подсчитывают так же, как и рейтинги Д и Н, но с учетом занимаемой ставки (0,25 шт. ед.; 0,5;...1), поскольку в индивидуальном плане нормируются все виды работ (учитываемые в рейтинге), в том числе при наличии внутреннего совместительства, а именно:
У = XУ;УЛд , (4)
г
где у. — количество баллов за выполнение рейтинговых показателей;
У — количественные показатели (в соответствии с отчетом преподавателя о рейтинге);
пв — доля ставки, занимаемой на кафедре (0,25;В0,5; 1).
Если преподаватель имеет учебную нагрузку на кафедре более одной ставки, то при расчетах рейтинга дополнительная нагрузка свыше одной ставки не учитывается. Почасовая нагрузка также не учитывается.
Общий абсолютный рейтинг преподавателя определяется по формуле (1). После обработки всех «отчетов о рейтинге» преподавателей их выстраивают в ряд (по убывающему значению рейтинга). Затем производят «свертку» показателей каждого преподавателя, приняв за тах{РП} рейтинг преподавателя с наибольшим значением суммы — рейтинга РП, т. е. определяется относительный рейтинг Р:
Р= РП/ тах{РП}. (5)
Веса ТУ3, д., н., у. определяются на
основе анализа приоритетов академии в научно-исследовательской и учебной работе и утверждаются приказом ректора.
Отдельно по формулам (2) определяются рейтинги заведующих кафедрами и деканов факультетов. Предварительно подсчитываются рейтинги кафедр и факультетов.
Общий рейтинг кафедры (РК) складывается из суммы рейтингов ее преподавателей Б, отнесенной к количеству N приведенных ставок ППС кафедры с учетом коэффициентов выравнивания К1, К2, К3. Рейтинг кафедры РК определяется формулой РК = S/N:
N = К1 • N1 + К2 • N2 + КЗ • N3, (6)
где N1 — количество ассистентов и старших преподавателей;
N2 — количество доцентов;
N3 — количество профессоров;
К1 = 1; К2 = 1,1; КЗ = 1,2.
Рейтинг факультета определяется суммой рейтингов кафедр, входящих в факультет, деленных на число кафедр.
После сверки информации и расчета рейтинговых показателей сотрудники администрации получают возможность формировать следующие отчетные материалы:
— рейтинговые списки:
факультетов,
кафедр,
сотрудников;
— отчетные материалы:
по академии в целом, по факультетам, по кафедрам.
Сведения о достижениях профессорско-преподавательского состава за прошлые года помещаются в архив. С помощью архива значительно проще выполнять проверку предоставленных сведений в случаях несоответствий.
Для получения доступа к системе пользователю потребуется интернет-обозреватель (веб-
браузер). Система адаптирована под основные интернет-обозреватели, такие как Internet Explorer, Opera, Mozilla Firefox, Google Chrome, Safari.
Особенностью системы является возможность просматривать со страниц сайта информацию базы данных по категориям в виде форматированного списка с возможностью последующей печати.
Система является открытой с точки зрения модификации и дополнения. Это позволяет безболезненно добавлять и удалять показатели, обеспечивая наиболее полный сбор данных.
В настоящее время система апробирована в Санкт-Петербургской государственной лесотехнической академии им. С. М. Кирова. Автоматизированная система рейтинговой оценки является неотъемлемой частью официального информационного портала СПбГЛТА. Получить доступ к системе могут только авторизованные пользователи через меню сайта: «Наука» >> «Автоматизированная система рейтинговой оценки» или по адресу: http://ftacademy.ru/rating/.
Система используется различными службами и структурными подразделениями вуза в качестве информационной мониторинговой системы.
Автоматизированная система применяется в качестве источника сводных данных по категориям научной деятельности и для формирования информационной базы для подготовки годовых отчетов академии о результатах учебной и научной деятельности, подготовки сведений для аттестации и аккредитации академии, сведений по основным показателям инновационной и научной деятельности для Комитета по науке и высшей школе Правительства Санкт-Петербурга, а также для подготовки к изданию «Перечня избранных публикаций сотрудников СПбГЛТА», тематических рубрик сборника «Известия Санкт-Петербургской лесотехнической академии», включенного в ваковский перечень ведущих рецензируемых научных журналов и изданий.
Достоверность результатов анализа подтверждается тем, что часть преподавателей, наиболее активно занимающихся наукой в академии, имеет первые позиции в рейтинговом списке. Кроме того, выполняется выборочный контроль правильности и достоверности предоставления данных, а также полный контроль «выбросов».
За 2006-2009 гг. был накоплен определенный опыт реализации системы рейтинговой оценки, который, в свою очередь, показал ее жизнеспособность, важность и эффективность. С уче-
том накопленного опыта планируется дальнейшее развитие системы и ее использование в качестве информационной базы при подготовке годовых отчетов академии о результатах учебной и научной деятельности, а также системы постоянного мониторинга.
С 2009 г. автоматизированная система успешно применяется в Сыктывкарском лесном институте для рейтинговой оценки ППС.
«Автоматизированная система рейтинговой оценки профессорско-преподавательского состава» зарегистрирована в федеральном органе исполнительной власти по интеллектуальной собственности под номером 2010611972 (рис. 6).
1. Никифоров А. А. Официальный сайт СПбГЛТА // Изв. С.-Петерб. лесотехн. акад. 2009. № 186. С. 266270.
2. Никифоров А. А., Уткин Л. В. Автоматизированная система рейтинговой оценки и мониторинга образовательной и научной деятельности вуза // Информационные системы и технологии: теория и практика : сб. науч. тр. 2009. № 2. С. 13-17.
3. Никифоров А. А., Уткин Л. В. Рейтинговая оценка деятельности профессорско-преподавательского состава в системе менеджмента качества вуза // Современное образование: содержание, технологии, качество. 2010. № 1. С. 53-55.
4. Никифоров А. А., Уткин Л. В. Система рейтинговой оценки и мониторинга образовательной и научной деятельности профессорско-преподавательского состава СПбГЛТА // Тр. СПбГЛТА. Актуальные проблемы развития высшей школы. 2010. С. 76-79.
Рис. 6. Свидетельство о государственной регистрации программы для ЭВМ
