CC BY
50
УДК 004942 А.И. Митин, Т.А. Филичева
ВАК 05.25.05 '
РИНЦ 20.23.25
Оценка рисков снижения качества профессиональной подготовки с использованием метода когнитивного моделирования
В статье предложен метод, позволяющий проанализировать риски снижения качества профессиональной подготовки на основе разработанной когнитивной карты (взвешенного ориентированного графа концептов и связей между ними), формализующей экспертные оценки. Описывается реализация предложенного метода в рамках информационно-аналитической системы мониторинга качества как подсистемы общей информационной системы образовательного учреждения.
Ключевые слова: образовательная система, риски, нечеткая когнитивная карта, профессиональное образование, информационно-аналитическая система, мониторинг, информационное обеспечение.
ASSESSMENT OF RISKS OF DECREASE IN QUALITY OF PROFESSIONAL TRAINING WITH USE OF A METHOD OF COGNITIVE MODELING
In article the method, allowing to analyze risks of decrease in quality ofprofessional training on the basis of the developed cognitive map (the weighed oriented graph of concepts and relations between them), formalizing expert estimates is offered. Realization of the offered method within information-analytical system of monitoring of quality as subsystem of the general information system of educational institution is described.
Keywords: educational system, risks, fuzzy cognitive map, professional education, information-analytical system, monitoring, information support.
Введение
Современная теория сложных систем базируется на вероятностном описании процессов, в которые вовлечены объекты. Образовательная система как сложная система с программно-целевым управлением [1] характеризуется воздействием на ее объекты как различных случайных факторов со стороны внешней среды, так и возникающих внутри случайных возмущений [2]. Внешняя среда, в которой функционирует система, своим воздействием может вносить неопределенность, изменяя характер взаимодействия между объектами (или между составными частями рассматриваемого объекта), что влечет непредсказуемые изменения внутри объектов системы, которые могут отрицательно сказываться на развитии, создавая риски.
Учет рисков при анализе функционирования и развития системы
в обобщенном варианте включает выполнение следующих процедур:
- идентификацию рисков - определение рисков, способных повлиять на достижение поставленных перед системой целей;
- оценку рисков - анализ качественных и количественных характеристик, условий и вероятности возникновения рисков с целью определения их влияния на достижение поставленных целей;
- реагирование на риски - определение процедур и методов по ослаблению отрицательных последствий рисковых событий;
- управление рисками - выбор подходов и методов по снижению рисков.
В образовательной деятельности значительному количеству рисков подвержены все ее участники [3], но роль руководства
вуза является центральной в этой деятельности, и качество профессиональной подготовки напрямую зависит от правильности принятых им решений на всех этапах образовательного процесса.
Целью описываемого в статье исследования является разработка подсистемы оценки рисков снижения качества профессиональной подготовки, включенной в информационно-аналитическую систему мониторинга качества профессиональной подготовки.
Новизна исследования выражается в следующем:
1. Разработаны методы, позволяющие проанализировать риски снижения качества на основе разработанной когнитивной карты, формализующей экспертные оценки.
2. На основе формализованных экспертных оценок создана база
Александр Иванович Митин,
д.пед.н., к. ф.-м. н., профессор Эл. почта: mitin_ai@mail.ru Московский городской психолого-педагогический университет (МГППУ) www.mgppu.ru Российская академия народного хозяйства и государственной службы при Президенте РФ (РАНХиГС) www.rane.ru
Alexander I. Mitin,
Doctor of Pedagogy, Ph. D. BC., Professor E-mail: mitin_ai@mail.ru Moscow State University of Psychology & Education (MSUPE) www.mgppu.ru The Russian Presidential Academy of National Economy and Public Administration (RANEPA) www.rane.ru
знаний (в виде совокупности продукционных правил), позволяющая формировать рекомендации по снижению рисков снижения качества и предложения по улучшению рисков снижения качества профессиональной подготовки.
3. Разработан и внедрен экспериментальный вариант подсистемы оценки рисков снижения качества профессиональной подготовки, входящей в информационно-аналитическую систему мониторинга качества профессиональной подготовки, который позволяет реализовать решение экспертно-аналитических задач оценки рисков снижения качества профессиональной подготовки и формирование рекомендаций для администрации вуза по уменьшению рисков снижения качества.
При принятии решений по управлению качеством профессиональной подготовки (как и образовательной деятельностью вуза в целом) возможно применение двух подходов. Первый подход предполагает (при множестве критериев, определяющих ситуацию) построение числовой функции, отражающей предпочтения руководства для конкретной задачи принятия решения. Второй подход основан на выявлении предпочтений одновременно с исследованием допустимого множества действий для отыскания эффективного решения. Совместное использование перечисленных подходов с методами нечёткой логики позволяет более эффективно проводить мониторинг качества профессиональной подготовки, характеризующийся как анализ слабо формализованных процессов, для которых свойственно отсутствие точной количественной информации. Качественный анализ сложной ситуации предусматривает определение тенденций протекающих процессов, их качественную оценку и выбор мер, способствующих развитию в соответствии с поставленными целями.
1. Разработка когнитивной модели оценки рисков снижения качества профессиональной подготовки
Метод анализа рисков, основанный на когнитивном подходе к моделированию и управлению, позволяет получить количественную оценку негативных последс-
твии, влияющих на качество профессиональной подготовки. Для построения когнитивной модели анализа рисков снижения качества профессиональной подготовки применяется когнитивная карта [4, 5], отражающая субъективные представления эксперта об исследуемой проблеме (ситуации), связанной с функционированием и развитием слабо формализованных процессов. Когнитивная карта представляет собой взвешенный орграф, вершины которого соответствуют концептам (существенным факторам), а дуги -связям между концептами.
В целях исследования причин несоответствия качества профессиональной подготовки установленным лицензионным (аккреди-тационным) требованиям, а также требованиям работодателей, следует сформировать множество сравниваемых концептов.
На основе данных стандартных мониторинговых процедур и личного опыта эксперты-аналитики формируют список концептов когнитивной карты (рис. 1) для исследования возможных причин несоответствия целям в области качества профессиональной подготовки: вх - количество абитуриентов; e2 - платежеспособность общества; e3 - качество учебных программ; e4 - довузовская подготовка; e5 - реклама и имидж вуза; e6 - базовый уровень знаний абитуриента; e7 - отчисления и переводы в другие вузы; e8 - уровень финансирования; e9 - количество НИР; e10 - трудоустройство выпускников; en - результаты ГЭК и защит выпускных квалификационных работ; e12 - карьера выпускников; e13 - обеспеченность соответствующей отрасли кадрами; e14 - качество профессиональной деятельности выпускников. Деление концептов на три группы проведено следующим образом: e1-e7 рассматриваются как факторы возникновения рисков, e8-e11 - базисные факторы, e12-e14 - целевые факторы.
В целях повышения наглядности концепты обозначены в виде цифр, которые соответствуют приведенной нумерации в наименовании.
Положительное влияние концептов представлено дугой в виде сплошной стрелки, отрицательное -дугой в виде пунктирной стрелки. Чем толще стрелка на рис. 1,
Татьяна Алексеевна Филичева, к.т.н.
Эл. почта:filta@yandex.ru Российская академия народного хозяйства и государственной службы при Президенте РФ (РАНХиГС) www.rane.ru
Tatyana A Filicheva,
PhD in Technical Sciences E-mail: filta@yandex.ru The Russian Presidential Academy of National Economy and Public Administration (RANEPA) www.rane.ru
тем сильнее влияние. Вес влияния указан числом со знаком вблизи стрелки.
Полученная от экспертов информация должна быть обработана на предмет устранения двусмысленностей и повторений, а также согласования используемой терминологии. В связи с этим следует привести описание каждого из выделенных экспертами концептов.
1. Количество абитуриентов. Общее число абитуриентов, поступивших в образовательное учреждение в текущем году.
2. Платежеспособность общества. Способность населения и организаций оплачивать образовательные услуги, а также заинтересованность организаций в выполнении НИР по соответствующим направлениям развития науки.
3. Качество учебных программ. Общее количество недоработок учебных программ, выявленное за отчетный период.
4. Довузовская подготовка. Качество дополнительных образовательных услуг, оказываемых абитуриентам в виде подготовительных курсов, определяемое как соотношение общего числа абитуриентов, обучавшихся на подготовительных курсах, к числу абитуриентов, поступивших в вуз после их успешного окончания.
5. Реклама и имидж вуза. Статус вуза в регионе и за его пределами, интенсивность рекламной деятельности, направленной на привлечение абитуриентов. Данный показатель является качественным
и определяется на основании анкетирования абитуриентов, выпускников, населения, работодателей.
6. Базовый уровень знаний абитуриента. Уровень знаний, полученный на стадиях начального, среднего и высшего образования; определяется на основе оценок ЕГЭ или внутреннего экзамена вуза в соответствии с правилами приема.
7. Отчисления и переводы в другие вузы. Число студентов, отчисленных и переведенных в другие вузы за отчетный период.
8. Уровень финансирования. Объем средств из бюджетных и внебюджетных источников, направленный на обеспечение образовательного процесса.
9. Количество НИР. Общее количество выполненных НИР на конец отчетного периода по источникам финансирования.
10. Трудоустройство выпускников. Процент выпускников вуза, трудоустроенных по его окончании, который определяется как число выпускников, устроившихся на работу после окончания вуза, отнесенное к общему числу выпускников вуза.
11. Результаты ГЭК и защита выпускных квалификационных работ. Качество подготовки специалистов, определенное средним баллом по вузу, на основании знаний, показанных при сдаче государственного междисциплинарного экзамена и защиты квалификационной работы.
12. Карьера выпускников. Общее число выпускников вуза, получивших продвижение по службе,
Рис. 1. Визуальное представление когнитивной карты оценки рисков снижения качества профессиональной подготовки
повышение заработной платы в течение 1-3 лет после окончания образовательного учреждения.
13. Обеспеченность соответствующей отрасли кадрами. Общее количество вакантных мест, выставляемых на конкурс замещения должностей в рассматриваемый период.
14. Качество профессиональной деятельности выпускников. Уровень качества профессиональной деятельности, оцениваемый по удовлетворенности общества данной деятельностью; определяется посредством проведения социологических опросов в регионе, а также отражается в виде отношения количества рекламаций от работодателей за предыдущий и последующий отчетные периоды.
При построении когнитивной карты экспертами должна оцениваться интенсивность влияния установленных связей между концептами, которая ранжируется по семибалльной шкале («очень низкое», «низкое», «ниже среднего», «среднее», «выше среднего», «высокое», «очень высокое»).
Общее состояние качества профессиональной подготовки, с учетом дискретности измерения, определяется набором значений всех концептов. Целевое состояние задается вектором значений множества целевых концептов, которые определяются на основе мнений экспертов. Задание весов связей, которое учитывает мнения нескольких экспертов при условии согласованности ответов, позволяет снизить субъективность экспертной оценки. Вес связи при оценке несколькими экспертами определяется как среднее арифметическое оценки силы 1-й связи j-м экспертом. Для проверки согласованности оценок экспертов используется метод ранговой корреляции. Коэффициент конкордации рассчитывается по формуле Кендалла. На этапе апробации данного метода был получен коэффициент согласованности вс = 0,7, что позволяет считать мнение экспертов в достаточной степени согласованным.
После формирования и анализа когнитивной модели оценки рисков снижения качества осуществляется моделирование динамики поведения выделенных экспертами концептов посредством внесения значения возмущения, зависящего от периода мониторинга значений выделенных
концептов. Так, если мониторинг осуществляется один раз в квартал при периоде исследования один год, то значение шага возмущения принимается равным 4. Далее по каждому из выделенных экспертами концептов вносятся начальные значения возмущений, зависящие от показателей, выбранных в качестве целевых на планируемый промежуток времени (один год), и их значений.
Следует отметить, что на каждый планируемый период могут быть выбраны разные целевые показатели в зависимости от стратегических целей образовательного учреждения, а также целевых значений измеряемых показателей. Числовое значение возмущения устанавливается в зависимости от планируемого целевого уровня и применяемой шкалы оценок влияния связей между концептами. В данном случае числовое значение возмущения взято в интервале от -1 до 1. Глубина расчета для данной когнитивной модели зависит от рассматриваемого периода оценки; например, если период исследования составляет один год, то глубина расчета равна 12. Глубина расчета связана с понятием модельного времени, под которым понимается время, являющееся имитацией, прообразом времени реальной системы. Для моделирующей системы модельное время - это переменная, значение которой в системе дискретно изменяется. Его протекание определяет моменты совершения определенных событий, продолжительность выполнения определенных действий. В предложенной модели понятие «глубина расчета» характе-
ризует протекание процесса и незначительно соотносится с реальным временем моделируемой системы. Кроме того, в модели не учитываются временные задержки при передаче воздействия между концептами и предполагается, что каждое воздействие происходит за единичное время.
При моделировании оценки рисков снижения качества профессиональной подготовки выбирается шаг возмущения 4 (мониторинг осуществляется один раз в квартал модельного времени, равного одному году), и возмущения по каждому из концептов определяются с учетом силы влияния на достижение поставленных целей.
Графическое отображение результатов моделирования представлено на рис. 2 (каждый из графиков показан соответствующим концепту цветом); имеется возможность вывести графическое отображение динамики поведения каждого концепта когнитивной модели в отдельности.
Расчет результатов моделирования позволяет получить табличное представление результатов (когнитивную матрицу) со всеми выделенными концептами и их поведением в исследуемый период. Устойчивое снижение значения весового коэффициента по концепту в исследуемый период рассматривается как риск снижения качества профессиональной подготовки и является основанием формирования рекомендаций администрации для принятия управленческих решений.
После разработки моделей и их анализа для определения пу-
Рис. 2. Графики результатов моделирования оценки рисков снижения качества профессиональной подготовки
тей снижения рисков и улучшения качества профессиональной подготовки выделяются наиболее проблемные концепты, имеющие неудовлетворительные качественные оценки или значения, не соответствующие целевым.
На основании анализа моделей при учете продукционных правил, которые формируются экспертами (например, ЕСЛИ <количество абитуриентов меньше установленных контрольных цифр> ТО <активизировать проведение рекламных мероприятий> ИЛИ <повысить информированность общества> ИЛИ <повысить имидж вуза> ИЛИ <снизить стоимость обучения>; ЕСЛИ <снизился имидж вуза> ТО <повысить рекламную деятельность> ИЛИ <увеличить количество социально значимых проектов> ИЛИ <повысить качество реализуемых программ> ИЛИ <увеличить число выполненных НИР>), определяются способы улучшения, совершенствования и оптимизации рассматриваемого процесса. Продукционные правила вносятся специалистами службы качества или аналитиками в совокупность продукционных правил, которая позволяет получать рекомендации для администрации при принятии управленческих решений.
2. Реализация подсистемы оценки рисков снижения качества профессиональной подготовки
Подсистема оценки рисков снижения качества профессиональной подготовки, включенная в состав информационно-аналитической системы мониторинга качества профессиональной подготовки (ИАС МК), реализована с помощью интеграции «Web-формы -Microsoft Access - Microsoft Excel -
\ВА-модуль». Подсистема обеспечивает удаленное взаимодействие экспертов в области качества (сбор мнения экспертов о влиянии концептов когнитивной карты) с целью определения весов концептов, позволяет с помощью когнитивной модели осуществить прогнозную оценку рисков снижения качества, сформировать рекомендации для лица, принимающего решения (ЛПР), по поводу снижения негативного влияния на поведение образовательной системы.
При реализации подсистемы оценки рисков снижения качества профессиональной подготовки группы пользователей характеризуются следующим образом.
Эксперты в предметной области - на основе знаний о предметной области выделяют основные факторы, влияющие на качество профессиональной подготовки, формируют список концептов когнитивной карты для исследования возможных причин снижения качества, а также устанавливают связи между ними. При установлении связей между факторами, влияющими на качество профессиональной подготовки, используется удаленный доступ, который позволяет повысить оперативность работы экспертов и привлечь внешних экспертов в области качества.
Служба качества - является организатором процесса сбора и анализа информации по оценке рисков снижения качества профессиональной подготовки и выполняет следующие функции:
- на подготовительном этапе формирует список концептов когнитивной карты для исследования возможных причин снижения качества профессиональной подготовки с последующим внесением в базу знаний подсистемы (с учетом мнения экспертов);
- на этапе построения и модификации совокупности продукционных правил для формирования рекомендаций ЛПР осуществляет импорт данных в базу знаний;
- координирует работу пользователей при работе с подсистемой по обновлению совокупности продукционных правил (совместно с аналитиками) для формирования рекомендаций для ЛПР;
- выполняет проверку согласованности мнения экспертов (метод ранговой корреляции) и при достаточной согласованности мнений экспертов осуществляет импорт данных по оценке связей между факторами, влияющими на качество профессиональной подготовки.
Аналитики - указывают значения возмущений по каждому из концептов когнитивной карты с учетом дискретности воздействий на концепты когнитивной модели по оценке рисков снижения качества и инициируют выполнение моделирования.
ЛПР - является заключительным звеном в процессе принятия решений по уменьшению рисков снижения качества предоставляемых образовательных услуг. Для ЛПР доступна информация по результатам прогноза поведения когнитивной модели, как в виде таблицы результатов с рекомендациями по уменьшению рисков снижения качества, так и в виде графиков поведения концептов когнитивной карты. Кроме того, ЛПР может воспользоваться комментариями и рекомендациями аналитиков с обоснованием поведения концептов, которые включены в группу факторов возникновения рисков и базисных факторов.
Метод анализа рисков, основанный на методе когнитивного моделирования, позволяет на основании мнения экспертов формировать рекомендации по снижению рисков и улучшению качества профессиональной подготовки.
Список литературы
1. Митин А.И., Филичева Т.А. Информационно-аналитическая система мониторинга качества профессиональной подготовки // Открытое образование. - 2013. - № 4.
2. КазаковИ.Е., Мальчиков С.В. Анализ стохастических систем в пространстве состояний. - М.: Наука, 1983. 384 с.
3. Костюкова Т.П., Лысенко И.А. Система управления рисками в образовательной деятельности - непременная часть менеджмента качества [Электронный ресурс] // Информационные технологии в образовании; III Международная научно-практическая конференция «Информационная среда вуза XXI века» 21-25 сентября 2009 г., г. Петрозаводск. Режим доступа: http://ito.edu.m/2009/PetrozavodsM/I-0-17.html (дата обращения 22.10.2012).
4. Силов В.Б. Принятие стратегических решений в нечёткой обстановке. - М.: ИНПРО-РЕС, 1995. - 228 с.
5. Федулов Ю.Г., Юсов А.Б., Матвеев А.А. Исследование социально-экономических и политических процессов с помощью когнитивных моделей: учебно-методическое пособие. - М.: РАГС, 2004. - 60 с.
