CC BY
83
УДК 004 942 А.И. Митин, Т.А. Филичева
ВАК 05.25.05 '
РИНЦ 20.23.25
Информационно-аналитическая система мониторинга качества профессиональной подготовки
Статья открывает цикл публикаций, посвященных построению информационно-аналитической системы мониторинга качества профессиональной подготовки, которая обеспечивает решение эксперт-но-аналитических задач оценки текущего состояния качества образовательных услуг, формирование рекомендаций по повышению качества для администрации образовательного учреждения.
Ключевые слова: профессиональное образование, информационно-аналитическая система, мониторинг, информационное обеспечение, образовательная система, иерархическая структура.
INFORMATION-ANALYTICAL MONITORING SYSTEM OF PROFESSIONAL EDUCATION QUALITY
Article opens a series of publications devoted to creation of information-analytical system of monitoring of professional training quality which provides the solution of expert and analytical problems of an assessment of current state of quality of educational services, formation of recommendations about improvement of quality for administration of educational institution.
Keywords: professional education, information-analytical system, monitoring, information support, educational system, hierarchical structure.
Введение
Затруднения в развитии отечественной системы профессиональной подготовки кадров отчасти объясняются сложностью данной социальной системы, состояние которой определяется не только результатами учебной деятельности (внутренними показателями), но и результатами внешних воздействий со стороны изменяющегося рынка труда [1]. Отдельной проблемой профессиональной подготовки кадров, актуализирующейся в настоящее время, является отсутствие действенной системы мониторинга ее качества и эффективности.
Современный подход к мониторингу качества образования предполагает учет таких актуальных критериев, как степень удовлетворенности различных участников образовательного процесса предоставляемыми образовательным учреждением образовательными услугами, степень достижения поставленных в образовании стра-
тегических целей, направленных на решение кадровых проблем в соответствующей отрасли профессиональной подготовки, оценка потенциальных рисков снижения качества образования. Развитие информационно-аналитического обеспечения мониторинга качества образования призвано обеспечить гибкость и эффективность управления образовательным учреждением, оперативность реагирования на вызовы современного рынка - как со стороны работодателей, так и со стороны потребителей образовательных услуг (общества, государства).
Основной сложностью мониторинга качества профессиональной подготовки является слабая форма-лизованность многих оценок качества образовательной деятельности и недостаточность стандартных мониторинговых процедур (которые оценивают типовой набор ли-цензионно-аккредитационных показателей) для комплексной оценки
качества профессиональной подготовки.
В некоторых работах (А.А. Добряков, В.М. Милова, В.И. Майорова, М.М. Поташник) описываются подходы к формализации таких оценок (в основном на базе нечётко-множественного подхода) для подготовки специалистов инженерного профиля [2-4]. Однако впрямую распространять эти подходы на оценку качества профессиональной подготовки специалистов других отраслей затруднительно в силу особенностей, связанных с необходимостью учета социальной активности выпускников, их карьерного роста, возможного последипломного обучения. Таким образом, формализация мониторинговых оценок и оптимизация мониторинговых процедур применительно к образовательной деятельности (прежде всего, оценки удовлетворенности качеством профессиональной подготовки, степени достижения целей в области качества, рисков
Александр Иванович Митин,
д.пед.н., к. ф.-м. н., профессор Эл. почта: mitin_ai@mail.ru Российская академия народного хозяйства и государственной службы при Президенте РФ (РАНХиГС) www.rane.ru
Alexander I. Mitin,
Doctor of Pedagogy, Ph. D. BC., Professor E-mail:mitin_ai@mail.ru The Russian Presidential Academy of National Economy and Public Administration (RANEPA) www.rane.ru
Татьяна Алексеевна Филичева, к.т.н.
Эл. почта: filta@yandex.ru Российская академия народного хозяйства и государственной службы при Президенте РФ (РАНХиГС) www.rane.ru
Tatyana A Filicheva
E-mail:filta@yandex.ru The Russian Presidential Academy of National Economy and Public Administration (RANEPA) www.rane.ru
снижения качества [5]), а также их реализация в виде информационно-аналитических систем мониторинга качества образования требуют активного развития и постоянного совершенствования.
Целью описываемого в цикле статей исследования является разработка информационно-аналитической системы мониторинга качества профессиональной подготовки на основе предлагаемых методов решения экспертно-аналитических задач оценки качества предоставляемых образовательных услуг.
Новизна исследования выражается в следующем:
1. Разработаны методы анализа данных мониторинга качества профессиональной подготовки, позволяющие: а) оценить степень удовлетворенности качеством профессиональной подготовки на основе экспертных опросов и использования лингвистических переменных; б) определить степень достижения целей в области качества с применением нечеткого логического вывода, учитывая совокупность количественных и качественных показателей, шкал оценок; в) проанализировать риски снижения качества на основе разработанной когнитивной карты, формализующей экспертные оценки.
2. На основе формализованных экспертных оценок создана база знаний, позволяющая формировать рекомендации по снижению рисков снижения качества и предложения по улучшению качества профессиональной подготовки.
3. Разработан и внедрен экспериментальный вариант информационно-аналитической системы мониторинга качества профессиональной подготовки (ИАС МК) как подсистемы общей информационной системы образовательного учреждения, который позволяет реализовать решение экспертно-аналитических задач оценки текущего состояния качества образовательных услуг и формирование рекомендаций для администрации вуза по повышению качества.
В исследовании качество образования рассматривается как сбалансированное соответствие образовательной деятельности
требованиям, стандартам, целям, запросам потребителей (личности, работодателей, государства и др.). Качество образования конкретизируется характеристиками качества образовательного процесса, качества педагогической деятельности, качества образовательных программ, качества научных исследований, профессорско-преподавательского состава, удовлетворенности участников образовательной деятельности и другими параметрами.
Далее под мониторингом качества профессиональной подготовки будем понимать дискретный во времени процесс (включенный в информационную систему образовательного учреждения) обоснованного диагностико-прогнос-тического слежения за степенью удовлетворенности качеством образовательных услуг, за степенью достижения целей в области качества, а также за потенциальными причинами рисков снижения качества. Полученные в результате мониторинга данные представляются администрации образовательного учреждения для принятия стратегических и оперативных решений.
1. Образовательная
деятельность
как сложная система
С позиции теории систем и общей теории управления в исследовании предложено рассмотрение структурной модели образовательной деятельности в виде целенаправленной системы с программно-целевым управлением, которая включает: объект управления, представляющий совокупность подпроцессов по реализации образовательной деятельности; субъект управления, которым является руководство образовательного учреждения, осуществляющее деятельность, направленную на достижение целей (в частности, в области качества); подсистему управления, задающую некоторую программу управления с выходными переменными цели.
Для реализации подсистемы управления требуется разработка методов и моделей, обеспечивающих сбор, хранение и обработку данных в процессе мониторинга качества
Рис. 1. Иерархическое дерево образовательного процесса
профессиональной подготовки с целью повышения обоснованности выбора управляющих воздействий руководством образовательного учреждения различного уровня за счет решения экспертно-аналитических задач и применения актуальных информационных ресурсов.
2. Моделирование образовательной деятельности
В целях формализации мониторинга качества профессиональной подготовки и выполнения информационного моделирования образовательная деятельность рассматривается в виде иерархической (древовидной) структуры на рис. 1.
В соответствии с правилом организации образовательной деятельности во всех вершинах дерева протекают определенные процессы, подпроцессы и действия (планирование, разработка программ, реализация программ, формирование отчетности по результатам образовательной деятельности), измерение показателей которых позволяет оценить степень достижения поставленных подцелей в области качества профессиональной подготовки. Качество всей профессиональной подготовки при этом соответствует степени достижения цели в корне иерархической (древовидной) структуры.
3. Учет лицензионно-аккредитационных показателей
В некоторый момент t функционирования процессов профессиональной подготовки, который задан
дискретно с учетом частоты измерений, каждая вершина V дерева с непосредственными потомками одного уровня {VI, V2, ..., v„} характеризуется своим состоянием, которое задаётся набором переменных {а, т, ф}, где а - показатель степени завершенности процесса; т - время, оставшееся до завершения процесса в вершине; ф - степень достижения цели процесса.
Показатель степени завершенности а количественно определяется как доля соответствия показателям, характеризующим качество профессиональной подготовки (прежде всего, лицензи-онно-аккредитационным). Показатель степени завершенности для какой-либо вершины текущего уровня вычисляется как сумма показателей элементов для предыдущего (ниже расположенного) уровня.
Для оценки степени достижения цели в подчиненной вершине Vi вводится лингвистическая переменная «Степень достижения цели процесса» с терм-множеством {«цель достигнута», «высокая степень достижения цели», «средняя степень достижения цели», «низкая степень достижения цели», «цель может быть не достигнута»}. Степень достижения цели в области качества профессиональной подготовки в корне иерархической (древовидной) структуры определяется на основании значений показателей подцелей, целей процессов, подпроцессов и действий у подчиненных вершин и рассчитывается в соответствии с принципом обобщения, введенным Л. Заде.
По результатам анализа статистических отчетов, аккредитаци-онных показателей, целевых показателей эффективности работы государственных образовательных учреждений высшего профессионального образования сформирован перечень количественных характеристик качества профессиональной подготовки, который представлен в таблице.
Следует учесть, что не каждой вершине дерева профессиональной подготовки может быть сопоставлен количественный показатель. В частности, удовлетворенность качеством образовательных услуг выпускников и работодателей может быть измерена только нечётко в виде понятий естественного языка (через анкетные опросы выпускников по удовлетворенности качеством образовательных услуг, анкетные опросы работодателей по удовлетворенности качеством подготовки выпускников, анкетные опросы сотрудников и ППС по удовлетворенности качеством образовательных услуг) в рамках стандартных мониторинговых процедур. Примерно таким же образом следует оценивать потенциальные риски снижения качества профессиональной подготовки.
В связи с этим в исследовании были предложены математические модели (на основании нечеткого логического вывода) применительно к обработке экспертных оценок определения степени удовлетворенности качеством профессиональной подготовки государственных служащих и степени достижения целей в области качества. Отличительной особенностью описанных моделей является то, что для определения степени удовлетворенности качеством профессиональной подготовки и достижения целей в области качества учитывается совокупность количественных и качественных показателей, шкал оценок. Набор продукционных правил оценки удовлетворенности качеством ППГС и степени достижения цели, формируемый экспертами предметной области, позволяет определять приоритетные направления улучшения деятельности образовательного учреждения.
Таблица
Показатели качества профессиональной подготовки
№ п Наименование показателя
1. Научные и научно-педагогические кадры
1.1 Доля штатных докторов наук и профессоров в общей численности основного (штатного) профессорско-преподавательского состава (ППС) вуза
1.2 Доля штатных кандидатов наук и доцентов в общей численности основного (штатного) ППС вуза
1.3 Доля аспирантов и докторантов в общей численности основного (штатного) ППС вуза
1.4 Отношение числа сотрудников вуза, защитивших докторскую, кандидатскую диссертацию в отчетном периоде, к общей штатной численности ППС вуза
1.5 Средний возраст основного (штатного) ППС вуза
1.6 Доля сотрудников вуза, повысивших квалификацию в текущем отчетном периоде
2. Учебная деятельность
2.1 Процент выполнения вузом государственного задания (контрольных цифр приема) на очную форму обучения
2.2 Доля отличных и хороших оценок, полученных на ГЭК
2.3 Доля внедренных выпускных квалификационных работ от общего количества защит
3. Научная деятельность
3.1 Отношение количества изданных монографий, учебников, учебных пособий и статей к общей штатной численности ППС вуза
3.2 Отношение объема средств на научные исследования и разработки, поступивших на лицевые счета вуза из всех источников (внебюджетные доходы и средства по смете финансирования учредителем основной деятельности вуза) за отчетный период, к общему объему доходов вуза
3.3 Отношение объема средств на научные исследования и разработки, поступивших на лицевые счета вуза из всех источников (внебюджетные доходы и средства по смете финансирования учредителем основной деятельности вуза) за отчетный период на одного преподавателя вуза, к объему средств за предыдущий год
4. Финансовые показатели
4.1 Отношение объема средств бюджетного финансирования за отчетный период к объему средств бюджетного финансирования за предыдущий отчетный год
4.2 Отношение объема средств, полученных за образовательные услуги за отчетный период, к объему средств, полученных за образовательные услуги
4.3 Отношение объема средств, полученных за прочие платные услуги за отчетный период, к объему средств, полученных за прочие платные услуги
4.4 Отношение среднемесячной заработной платы основного персонала вуза за отчетный период к среднемесячной заработной плате основного персонала вуза за предыдущий отчетный период
4.5 Отношение объема средств, затраченных на выплату стипендий за отчетный период, к объему средств на выплату стипендий за предыдущий отчетный период
4.6 Отношение объема средств, затраченных на социальное обеспечение сотрудников и студентов за отчетный период, к объему средств, затраченных на социальное обеспечение сотрудников и студентов за предыдущий отчетный период
5. Удовлетворенность выпускников и работодателей
5.1 Доля выпускников вуза, работающих по специальности, в том числе принятых в отчетном периоде
5.2 Доля выпускников вуза, получивших повышение по службе в отчетном периоде и/или в течение года после окончания вуза
5.3 Доля положительных отзывов, выражающих удовлетворенность работой выпускников вуза, от общего количества отзывов за исследуемый период
Кроме того, в исследовании предложен метод анализа рисков снижения качества, основанный на использовании когнитивной карты, который позволяет на основании мнения экспертов формировать рекомендации по снижению рисков и предложения по улучшению качества профессиональной подготовки.
4. Структура информационно-аналитической системы
Описание моделей и методов, применяемых в исследовании, будет предложено в следующих статьях данного цикла. Реализация моделей выполнена в виде подсистемы общей информационной
системы образовательного учреждения, составляющей стендовый вариант информационно-аналитической системы мониторинга качества профессиональной подготовки (ИАС МК). Отличительной особенностью ИАС МК является ориентированность на решение экспертно-аналитических задач оценки текущего состояния качества образовательных услуг и формирование рекомендаций для лица, принимающего решения (ЛПР) по повышению качества.
Представленная на рис. 2 схема взаимодействия методов и моделей мониторинга качества профессиональной подготовки позволяет отобразить функциональную структуру
объекта (т.е. производимые действия и связи между этими действиями), источники и получателей данных, взаимодействие и связи групп, лиц и подразделений, задействованных в мониторинге качества образовательной деятельности.
Ядром информационного обеспечения ИАС МК является совокупность двух взаимосвязанных хранилищ данных: базы знаний, содержащей набор продукционных правил по степени достижения целей в области качества, повышению удовлетворенности качеством профессиональной подготовки, а также когнитивную карту оценки рисков снижения качества, и базы данных справочников, сведений
БД
справочных данных, обработанной информации
Рис. 2 Схема взаимодействия методов и моделей мониторинга качества профессиональной подготовки
о студентах, сотрудниках, работодателях и прочих количественных показателей деятельности образовательного учреждения.
Функционирование информационно-аналитической системы мониторинга качества профессио-
нальной подготовки определяется видами аналитической информации, которая требуется администрации для определения степени достижения поставленных целей и рисков снижения качества профессиональной подготовки, методами
и моделями мониторинга, реализующими анализ качества профессиональной подготовки по соответствующим характеристикам, а также требованиями совместимости с информационной системой образовательного учреждения.
Литература
1. Данчул А.Н., Корнеенко В.П. Системный анализ управления экономическими процессами: учебно-методическое пособие. - М.: РАГС, 2001. - 140 с.
2. Добряков А.А., Милова В.М. Экспертно-аналитический метод оценки качества образовательных систем на основе нечётко-множественного подхода // Качество. Инновации. Образование. - 2007. - № 1. - С. 36-41.
3. Майорова В.И. Системный анализ проблем и моделирование процесса подготовки элитных специалистов инженерного профиля (на примере ракетно-космических специальностей): в 2-х ч. Ч. 2. - М.: Изд-во МГОУУ 2007. - 222 с.
4. Поташник М.М. Качество образования: проблемы и технологии управления (В вопросах и ответах). - М.: Педагогическое общество России, 2002. - 352 с.
5. Костюкова Т.П., Лысенко И.А. Система управления рисками в образовательной деятельности - непременная часть менеджмента качества // Информационные технологии в образовании / III Международная научно-практическая конференция «Информационная среда вуза XXI века» 21-25 сентября 2009 г., г. Петрозаводск [Электронный ресурс]. - Режим доступа: http://ito.edu.m/2009/PetrozavodsM/I-0-17.html (дата обращения 22.10.2012).
