CC BY
57
Научно-технический вестник Брянского государственного университета, 2016, №1
УДК: 004.89: 004.9
ПРИМЕНЕНИЕ МЕТОДА КОГНИТИВНОГО МОДЕЛИРОВАНИЯ ПРИ ОЦЕНКЕ РИСКОВ СНИЖЕНИЯ КАЧЕСТВА ПРЕДОСТАВЛЯЕМЫХ ОБРАЗОВАТЕЛЬНЫХ
УСЛУГ
Т.А.Филичева
Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации, Брянский филиал
В статье описаны принципы использования метода когнитивного при моделировании оценки качества предоставляемых образовательных услуг и практическая реализация разработанных методов в рамках информационно-аналитической системы мониторинга качества предоставляемых образовательных услуг.
Ключевые слова: когнитивное моделирование, информационное обеспечение, система качества,
образовательная система, продукционная модель.
Современная теория сложных систем базируется на вероятностном описании процессов, в которые вовлечены объекты. Образовательная система как сложная система с программно-целевым управлением [1] характеризуется воздействием на ее объекты как различных случайных факторов со стороны внешней среды, так и возникающих внутри случайных возмущений [2]. Внешняя среда, в которой функционирует система, своим воздействием может вносить неопределенность, изменяя характер взаимодействия между объектами (или между составными частями рассматриваемого объекта), что влечет непредсказуемые изменения внутри объектов системы, которые могут отрицательно сказываться на развитии, создавая риски.
Учет рисков при анализе функционирования и развития системы в обобщенном варианте включает выполнение следующих процедур:
- идентификацию рисков - определение рисков, способных повлиять на достижение поставленных перед системой целей;
- оценку рисков - анализ качественных и количественных характеристик, условий и вероятности возникновения рисков с целью определения их влияния на достижение поставленных целей;
- реагирование на риски - определение процедур и методов по ослаблению отрицательных последствий рисковых событий;
- управление рисками - выбор подходов и методов по снижению рисков.
В образовательной деятельности значительному количеству рисков подвержены все ее участники [3], но роль руководства вуза является центральной в этой деятельности, и качество предоставляемых образовательных услуг напрямую зависит от правильности принятых им решений на всех этапах образовательного процесса.
Целью описываемого в статье исследования является разработка подсистемы оценки рисков снижения качества, включенной в информационно-аналитическую систему мониторинга качества предоставляемых образовательных услуг.
При принятии решений по управлению качеством предоставляемых образовательных услуг возможно применение двух подходов. Первый подход предполагает (при множестве критериев, определяющих ситуацию) построение числовой функции, отражающей предпочтения руководства для конкретной задачи принятия решения. Второй подход основан на выявлении предпочтений одновременно с исследованием допустимого множества действий для отыскания эффективного решения. Совместное использование перечисленных подходов с методами нечёткой логики позволяет более эффективно проводить мониторинг качества предоставляемых образовательных услуг, характеризующийся как анализ слабо формализованных процессов, для которых свойственно отсутствие точной количественной информации. Качественный анализ сложной ситуации предусматривает определение тенденций протекающих процессов, их качественную оценку и выбор мер, способствующих развитию в соответствии с поставленными целями.
74
Научно-технический вестник Брянского государственного университета, 2016, №1
Метод анализа рисков, основанный на когнитивном подходе к моделированию и управлению, позволяет получить количественную оценку негативных последствий, влияющих на качество предоставляемых образовательных услуг. Для построения когнитивной модели анализа рисков снижения качества, предоставляемых образовательных услуг, применяется когнитивная карта [4, 5], отражающая субъективные представления эксперта об исследуемой проблеме (ситуации), связанной с функционированием и развитием слабо формализованных процессов. Когнитивная карта представляет собой взвешенный орграф, вершины которого соответствуют концептам (существенным факторам), а дуги - связям между концептами.
В целях исследования причин несоответствия качества, предоставляемых образовательных услуг, установленным лицензионным (аккредитационным) требованиям, а также требованиям работодателей, следует сформировать множество сравниваемых концептов.
На основе данных стандартных мониторинговых процедур и личного опыта эксперты-аналитики формируют список концептов когнитивной карты, представленной на рис. 1, для исследования возможных причин несоответствия целям в области качества предоставляемых образовательных услуг: е1 - количество абитуриентов; е2 - платежеспособность общества; е3 - качество учебных программ; е4 - довузовская подготовка; е5 - реклама и имидж вуза; е6 -базовый уровень знаний абитуриента; е7 - отчисления и переводы в другие вузы; е8 - уровень финансирования; е9 - количество НИР; е10 - трудоустройство выпускников; ец - результаты ГЭК и защит выпускных квалификационных работ; е12 - карьера выпускников; е13 -обеспеченность соответствующей отрасли кадрами; е14 - качество профессиональной деятельности выпускников. Деление концептов на три группы проведено следующим образом: (е1 - е7) рассматриваются как факторы возникновения рисков, (е8 - е11) - базисные факторы, (е12 - е14) - целевые факторы.
Рис. 1. Визуальное представление когнитивной карты оценки рисков снижения качества
предоставляемых образовательных услуг
75
Научно-технический вестник Брянского государственного университета, 2016, №1
В целях повышения наглядности концепты обозначены в виде цифр, которые соответствуют приведенной нумерации в наименовании.
Положительное влияние концептов представлено дугой в виде сплошной красной стрелки, отрицательное - дугой в виде пунктирной синей стрелки. Чем толще стрелка на рисунке 1, тем сильнее влияние. Вес влияния указан числом со знаком вблизи стрелки.
Полученная от экспертов информация должна быть обработана на предмет устранения двусмысленностей и повторений, а также согласования используемой терминологии. В связи с этим следует привести описание каждого из выделенных экспертами концептов.
1. Количество абитуриентов. Общее число абитуриентов, поступивших в образовательное учреждение в текущем году.
2. Платежеспособность общества. Способность населения и организаций оплачивать образовательные услуги, а также заинтересованность организаций в выполнении НИР по соответствующим направлениям развития науки.
3. Качество учебных программ. Общее количество недоработок учебных программ, выявленное за отчетный период.
4. Довузовская подготовка. Качество дополнительных образовательных услуг, оказываемых абитуриентам в виде подготовительных курсов, определяемое как соотношение общего числа абитуриентов, обучавшихся на подготовительных курсах к числу абитуриентов, поступивших в вуз после их успешного окончания.
5. Реклама и имидж вуза. Статус вуза в регионе и за его пределами, интенсивность рекламной деятельности, направленной на привлечение абитуриентов. Данный показатель является качественным и определяется на основании анкетирования абитуриентов, выпускников, населения, работодателей.
6. Базовый уровень знаний абитуриента. Уровень знаний, полученный на стадиях начального, среднего и высшего образования; определяется на основе оценок ЕГЭ или внутреннего экзамена вуза в соответствии с правилами приема.
7. Отчисления и переводы в другие вузы. Число студентов, отчисленных и переведенных в другие вузы за отчетный период.
8. Уровень финансирования. Объем средств из бюджетных и внебюджетных источников, направленный на обеспечение образовательного процесса.
9. Количество НИР. Общее количество выполненных НИР на конец отчетного периода по источникам финансирования.
10. Трудоустройство выпускников. Процент выпускников вуза, трудоустроенных по его окончании, который определяется как число выпускников, устроившихся на работу после окончания вуза, отнесенное к общему числу выпускников вуза.
11. Результаты ГЭК и защит выпускных квалификационных работ. Качество подготовки специалистов, определенное средним баллом по вузу, на основании знаний, показанных при сдаче государственного междисциплинарного экзамена и защиты квалификационной работы.
12. Карьера выпускников. Общее число выпускников вуза, получивших продвижение по службе, повышение заработной платы в течение 1-3 лет после окончания образовательного учреждения.
13. Обеспеченность соответствующей отрасли кадрами. Общее количество вакантных мест, выставляемых на конкурс замещения должностей в рассматриваемый период.
14. Качество профессиональной деятельности выпускников. Уровень качества профессиональной деятельности, оцениваемый по удовлетворенности общества данной деятельностью; определяется посредством проведения социологических опросов в регионе, а также отражается в виде отношения количества рекламаций от работодателей за предыдущий и последующий отчетные периоды.
При построении когнитивной карты экспертами должна оцениваться интенсивность влияния установленных связей между концептами, которая ранжируется по семибалльной
76
__________________Научно-технический вестник Брянского государственного университета, 2016, №1
шкале («очень низкое», «низкое», «ниже среднего», «среднее», «выше среднего», «высокое», «очень высокое»).
Общее состояние качества предоставляемых образовательных услуг, с учетом дискретности измерения, определяется набором значений всех концептов. Целевое состояние задается вектором значений множества целевых концептов, которые определяются на основе мнений экспертов. Задание весов связей, которое учитывает мнения нескольких экспертов при условии согласованности ответов, позволяет снизить субъективность экспертной оценки. Вес связи при оценке несколькими экспертами определяется как среднее арифметическое оценки силы i-й связи j-м экспертом. Для проверки согласованности оценок экспертов используется метод ранговой корреляции. Коэффициент конкордации рассчитывается по формуле Кендалла. На этапе апробации данного метода был получен коэффициент согласованности Qc = 0,7, что позволяет считать мнение экспертов в достаточной степени согласованным.
После формирования и анализа когнитивной модели оценки рисков снижения качества осуществляется моделирование динамики поведения выделенных экспертами концептов посредством внесения значения возмущения, зависящим от периода мониторинга значений выделенных концептов. Так, если мониторинг осуществляется один раз в квартал при периоде исследования один год, то значение шага возмущения принимается равным 4. Далее по каждому из выделенных экспертами концептов вносятся начальные значения возмущений, зависящие от показателей, выбранных в качестве целевых на планируемый промежуток времени (один год), и их значений.
Следует отметить, что на каждый планируемый период могут быть выбраны разные целевые показатели в зависимости от стратегических целей образовательного учреждения, а также целевых значений измеряемых показателей. Числовое значение возмущения устанавливается в зависимости от планируемого целевого уровня и применяемой шкалы оценок влияния связей между концептами. В данном случае числовое значение возмущения взято в интервале от -1 до 1. Глубина расчета для данной когнитивной модели зависит от рассматриваемого периода оценки; например, если период исследования составляет один год, то глубина расчета равна 12. Глубина расчета связана с понятием модельного времени, под которым понимается время, являющееся имитацией, прообразом времени реальной системы. Для моделирующей системы модельное время - это переменная, значение которой в системе дискретно изменяется. Его протекание определяет моменты совершения определенных событий, продолжительность выполнения определенных действий. В предложенной модели понятие «глубина расчета» характеризует протекание процесса и незначительно соотносится с реальным временем моделируемой системы. Кроме того, в модели не учитываются временные задержки при передаче воздействия между концептами, и предполагается, что каждое воздействие происходит за единичное время.
При моделировании оценки рисков снижения качества, предоставляемых образовательных услуг выбирается шаг возмущения 4 (мониторинг осуществляется один раз в квартал модельного времени, равного одному году), и возмущения по каждому из концептов определяются с учетом силы влияния на достижение поставленных целей.
Графическое отображение результатов моделирования представлено на рис. 2, на котором каждому из графиков сопоставляется соответствующий концепту цвет; имеется возможность вывести графическое отображение динамики поведения каждого концепта когнитивной модели в отдельности.
Расчет результатов моделирования позволяет получить табличное представление результатов (когнитивную матрицу) со всеми выделенными концептами и их поведением в исследуемый период. Устойчивое снижение значения весового коэффициента по концепту в исследуемый период рассматривается как риск снижения качества предоставляемых образовательных услуг и является основанием формирования рекомендаций администрации для принятия управленческих решений.
77
Научно-технический вестник Брянского государственного университета, 2016, №1
Рис. 2. Графики результатов моделирования оценки рисков снижения качества предоставляемых образовательных услуг
После разработки моделей и их анализа для определения путей снижения рисков и улучшения качества предоставляемых образовательных услуг выделяются наиболее проблемные концепты, имеющие неудовлетворительные качественные оценки или значения, не соответствующие целевым.
На основании анализа моделей при учете продукционных правил, которые формируются экспертами (например, ЕСЛИ <количество абитуриентов меньше установленных контрольных цифр> ТО <активизировать проведение рекламных мероприятий> ИЛИ <повысить информированность общества> ИЛИ <повысить имидж вуза> ИЛИ <снизить стоимость обучения>; ЕСЛИ <снизился имидж вуза> ТО <повысить рекламную деятельность> ИЛИ <увеличить количество социально-значимых проектов> ИЛИ <повысить качество реализуемых программ> ИЛИ <увеличить число выполненных НИР>), определяются способы улучшения, совершенствования и оптимизации рассматриваемого процесса. Продукционные правила вносятся специалистами службы качества или аналитиками в совокупность продукционных правил, которая позволяет получать рекомендации для администрации при принятии управленческих решений.
Подсистема оценки рисков снижения качества предоставляемых образовательных услуг, включенная в состав информационно-аналитической системы мониторинга качества предоставляемых образовательных услуг (ИАС МК), реализована с помощью интеграции «Web-формы - Microsoft Access - Microsoft Excel - VBA-модуль». Подсистема обеспечивает удаленное взаимодействие экспертов в области качества (сбор мнения экспертов о влиянии концептов когнитивной карты) с целью определения весов концептов, позволяет с помощью когнитивной модели осуществить прогнозную оценку рисков снижения качества, сформировать рекомендации для лица, принимающего решения (ЛИР), по поводу снижения негативного влияния на поведение образовательной системы.
При реализации подсистемы оценки рисков снижения качества, предоставляемых образовательных услуг, группы пользователей характеризуются следующим образом:
Эксперты в предметной области - на основе знаний о предметной области выделяют основные факторы, влияющие на качество предоставляемых образовательных услуг, форми-
78
Научно-технический вестник Брянского государственного университета, 2016, №1
руют список концептов когнитивной карты для исследования возможных причин снижения качества, а также устанавливают связи между ними. При установлении связей между факторами, влияющими на качество предоставляемых образовательных услуг, используется удаленный доступ, который позволяет повысить оперативность работы экспертов и привлечь внешних экспертов в области качества.
Служба качества - является организатором процесса сбора и анализа информации по оценке рисков снижения качества предоставляемых образовательных услуг и выполняет следующие функции:
- на подготовительном этапе формирует список концептов когнитивной карты для исследования возможных причин снижения качества предоставляемых образовательных услуг с последующим внесением в базу знаний подсистемы (с учетом мнения экспертов);
- на этапе построения и модификации совокупности продукционных правил для формирования рекомендаций ЛПР осуществляет импорт данных в базу знаний;
- координирует работу пользователей при работе с подсистемой по обновлению совокупности продукционных правил (совместно с аналитиками) для формирования рекомендаций для ЛПР;
- выполняет проверку согласованности мнения экспертов (метод ранговой корреляции) и при достаточной согласованности мнений экспертов осуществляет импорт данных по оценке связей между факторами, влияющими на качество предоставляемых образовательных услуг.
Аналитики - указывают значения возмущений по каждому из концептов когнитивной карты с учетом дискретности воздействий на концепты когнитивной модели по оценке рисков снижения качества и инициируют выполнение моделирования.
ЛПР - является заключительным звеном в процессе принятия решений по уменьшению рисков снижения качества предоставляемых образовательных услуг. Для ЛПР доступна информация по результатам прогноза поведения когнитивной модели как в виде таблицы результатов с рекомендациями по уменьшению рисков снижения качества, так и в виде графиков поведения концептов когнитивной карты. Кроме того, ЛПР может воспользоваться комментариями и рекомендациями аналитиков с обоснованием поведения концептов, которые включены в группу факторов возникновения рисков и базисных факторов.
Метод анализа рисков, основанный на методе когнитивного моделирования, позволяет на основании мнения экспертов формировать рекомендации по снижению рисков и улучшению качества предоставляемых образовательных услуг.
Список литературы
1. Митин, А.И. Информационно-аналитический подход к мониторингу качества профессиональной подготовки / А.И. Митин, Т.А. Филичева. - М.-Берлин: Директ-Медиа, 2015. -65 с.
2. Казаков, И.Е. Анализ стохастических систем в пространстве состояний / И.Е. Казаков, С.В. Мальчиков. - М.: Наука, 1983. - 384 с.
3. Костюкова, Т.П. Система управления рисками в образовательной деятельности -непременная часть менеджмента качества / Т.П. Костюкова, И.А. Лысенко // Материалы III Международной научно-практической конференции «Информационная среда вуза XXI века» 21-25 сентября 2009 г., г. Петрозаводск. [Электронный ресурс]. - Режим доступа: http://ito.edu.rU/2009/Petrozavodsk/I/I-0-17.html.
4. Силов, В.Б. Принятие стратегических решений в нечёткой обстановке / В.Б. Силов. - М.: ИНПРО-РЕС, 1995. - 228 с.
5. Федулов, Ю.Г. Исследование социально-экономических и политических процессов с помощью когнитивных моделей / Ю.Г. Федулов, А.Б. Юсов, А.А. Матвеев. - М.: РАГС, 2004. - 60 с.
79
Научно-технический вестник Брянского государственного университета, 2016, №1
Сведения об авторе
Филичева Татьяна Алексеевна - кандидат технических наук, доцент кафедры математики и информационных технологий, ФГБОУ ВО «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации» Брянский филиал, filta@yandex. ru.
THE APPLICATION OF THE METHOD OF COGNITIVE MODELING IN RISK
ASSESSMENT REDUCING THE QUALITY OF EDUCATIONAL SERVICES
Т.А. Filicheva
The Russian Presidential Academy of National Economy and Public Administration, Bryansk filial
The article describes the principles of using the method of cognitive modeling in the evaluation of quality of educational services and the practical implementation of the developed methods in the framework of the information-analytical system of monitoring of quality of educational services.
Key words: cognitive modeling, information management, quality system, educational system, and production model.
References
1. Mitin A.I., Filicheva T.A. Informatsionno-analiticheskiy podkhod k monitoringu kachestva professionalnoy podgotovki [Information-analytical approach to monitoring the quality of professional preparation]. Moscow-Berlin, Izd-vo MGU, 2015. 65 p.
2. Kazakov I.E., Malchikov C.V. Analiz stokhasticheskikh system v prostranstve sostoyaniy [Analysis of stochastic systems in space of States]. Moscow, Nauka, 1983. 384 p.
3. Kostyukova T.P., Lysenko I.A. Risk management in educational activities is an indispensable part of quality management Information technologies in education. Materialy III Mezhdu-narodnoy nauchno-prakticheskoy konferentsii “Informatsionnaya sreda vuza XXI veka” from 21 to 25 September 2009, Petrozavodsk (Proceedings of III Int. scientific-practical conference "Information and emission-Yes University of the XXI century" from 21 to 25 September 2009, Petrozavodsk). Available at: http://ito.edu.ru/2009/Petrozavodsk7I/I-0-17.html.
4. Silov V.B. Prinyatie strategicheskikh resheniy v nechetkoy obstanovke [Strategic decision Making in fuzzy environment]. Moscow, INPRO-RES, 1995. 228 p.
5. Fedulov Yu.G., Yusov A.B., Matveev A.A. Issledovanie sotsialno-ekonomicheskikh I politicheskikh protsessov spomoshchyu kognitivnykh modeley [Study of socio-economic and political processes through cognitive models: textbook]. Moscow, RAGS, 2004. 60 p.
Author’ information
Tatiana A. Filicheva - Candidate of technical Sciences, associate Professor of chair of mathematics and information technology at The Russian Presidential Academy of National Economy and Public Administration, Bryansk filial, filta@yandex.ru.
80
