CC BY
19УДК 378.146
Управление рисками оценивания образовательных компетенций в высших учебных заведениях
Т. С. Ильина, А. И. Баранова, В. С. Канев
В статье с позиций имманентного образовательному процессу индетерминизма рассматриваются риски оценивания качества освоения образовательных программ студентами высшего учебного заведения. Приведены результаты исследования выделенных с помощью экспертов рисков. Определены факторы, которые могут привести к увеличению вероятности наступления рисков оценивания компетенций, а также последствия наступления этих рисков. Построена карта рисков и определены их категории. Учет выявленных рисков будет способствовать риск-устойчивому функционированию образовательного процесса вуза и принятию адекватных качественных решений.
Ключевые слова: риски, образовательная программа, компетенция, карта рисков, оценивание рисков, управление рисками, вуз.
1. Введение
При оценивании качества освоения образовательных программ студентами высшего учебного заведения актуальной видится проблема наиболее полного учёта факторов, снижающих объективность оценивания освоения знаний, умений, навыков. Их разнообразие довольно велико. Встаёт для разрешения проблема управления рисками. Это обусловлено ещё и тем, что любая целенаправленная деятельность в условиях жёсткой конкуренции, характерной для современной экономики, сопряжена с возможностью нежелательных потерь и неудачными исходами, т.е. связана с риском. В вузах также стоит задача определения характерных для неё рисков, вероятности их наступления и потенциального ущерба. Оценка и анализ рисков может помочь отследить степень ответственности и рискованности процедур и выбрать дальнейшую более эффективную стратегию образовательного процесса.
Внедрение стандартов нового поколения направлено на совершенствование системы образования, которая предполагает не только освоение студентами знаний и умений, но и их успешное включение в будущую профессиональную деятельность, становление их профессиональной самостоятельности, что требует от них овладения определенным спектром компетенций.
Таким образом, новые стандарты ориентируют образовательный процесс на достижение качественно новых целей и результатов - сформированности компетенций у выпускников вуза. В связи с этим проблема оценивания качества освоения образовательных программ становится одной из важнейших задач. Однако при этом необходимо учитывать те риски, которые могут сопутствовать процессу оценивания и оказывать неблагоприятное влияние на итоговые результаты.
2. Постановка задачи
Риск рассматривается как сочетание вероятности и последствий наступления неблагоприятных событий, как деятельность, связанная с преодолением неопределенности, как вероятность потерь какого-либо процесса или проекта [2, 4, 5, 7].
Наиболее полной представляется позиция А. П. Альгина, который видит риск как «деятельность, связанную с преодолением неопределенности в ситуации неизбежного выбора, в процессе которой имеется возможность количественно и качественно оценить вероятность достижения предполагаемого результата, неудачи и отклонения от цели» [1]. В данной работе авторы будут придерживаться данного определения.
Целью исследования является оценка рисков в процессе оценивания качества освоения образовательных программ студентами.
Для качественной оценки рисков наиболее распространенными являются статистические, аналитические методы, метод экспертных оценок, метод аналогов. Для анализа нежелательных последствий оценивания сформированности компетенций применяется экспертный метод, опирающийся именно на профессиональные знания самих экспертов, поскольку другие источники информации отсутствуют. И на основе полученных данных строится карта рисков как универсальный инструмент анализа риска любого типа.
Существенность представляет собой характеристику степени возможного ущерба от рискового события (финансовые потери, упущенные возможности, невыполнение поставленных целей и задач, например, несформированность компетенций у выпускников в соответствии с ФГОС ВО, и другое). Существенность для коммерческих субъектов измеряется в денежном выражении, однако если речь идёт не только о выполнении показателей коммерческой эффективности проекта, но и о достижении социального, макроэкономического, политического или образовательного эффекта, то денежный эквивалент как единственная мера существенности риска неприменим. В этом случае прибегают к экспертной оценке существенности, которая позволяет оценить степень влияния каждого вида риска на возможность достижения в ходе проекта коммерческих, макроэкономических, социальных, политических или образовательных целей.
Возможность риска определяет вероятность наступления рискового события. Она может оцениваться по-разному: при помощи статистических моделей, методов нечёткой логики, экспертных методов.
В данной работе представлено исследование, которое проводилось с помощью экспертных методов. Для достижения цели были поставлены и решены следующие задачи:
1. Выявление рисков оценивания качества освоения образовательных программ студентами высшего учебного заведения.
2. Определение факторов, которые могут привести к увеличению вероятности наступления рисков оценивания компетенций, и их последствия.
3. Определение категории рисков и построение карты рисков оценивания компетенций.
3. Карта рисков оценивания образовательных компетенций
Первым этапом построения карты рисков является идентификация рисков - процесс нахождения, составления перечня и описания элементов риска. Элементы риска могут включать в себя источники, события и их последствия.
Для сбора информации о рисках применяются различные подходы. Среди них наиболее распространены такие, как опрос экспертов, мозговой штурм, метод Дельфи, карточки Кроуфорда, метод номинальных групп и др.
В данной работе применялся метод опроса экспертов для идентификации и оценивания рисков оценивания компетенций. Для проведения исследования был привлечён 31 эксперт. В
группу вошли специалисты высокой квалификации, кандидаты технических, социологических, философских, политологических, филологических, педагогических наук из вузов разных городов России, обладающие практическим опытом работы в сфере высшего образования, что позволило им ответить на предложенные вопросы, не прибегая к дополнительной экспертизе.
На первом этапе экспертами выявлены факторы, которые могут привести к увеличению вероятности наступления рисков оценивания компетенций. Перечень выявленных факторов риска представлен в табл. 1.
Таблица 1. Факторы рисков
№ п/п Фактор риска
1 Потеря преемственности «школа-вуз»
2 Низкий пороговый уровень компетенций абитуриентов
3 Формализация учебного процесса
4 Недостаточное количество часов, отведённых на дисциплины
5 Потеря системности компетентностного подхода
6 Коррупционная составляющая
На втором этапе исследования экспертам предложили определить риски, связанные с оцениванием качества освоения образовательных программ студентами. В результате компетентные специалисты выделили 22 основных риска, которые отображены в табл. 2.
Таблица 2. Риски оценивания компетенций
№ п/п Наименование риска
1 Завышенная самооценка у студента
2 Неосознанное отношение студентов к формированию компетенций
3 Негативное влияние оценивания на психологическое состояние студента
4 Субъективное отношение к процедуре оценивания компетенций
5 Субъективность критериев оценивания сформированности компетенций
6 Предубеждение преподавателей к процедуре оценивания компетенций
7 Неверный выбор «ответственной» дисциплины за формирование компетенции
8 Отсутствие оцениваемых компетенций у экспертов
9 Привлечение специалистов с профильных предприятий к формированию компетенций
10 Низкая релевантность заданий
11 Низкая валидность результатов при оценивании кластера компетенций
12 Неэффективное использование времени на оценивание компетенций
13 Оценивание компетенции при отсутствии междисциплинарного взаимодействия
14 Отсутствие системного подхода при оценивании компетенции
15 Недостаточный учёт специфики вуза и узкоспециальных навыков
16 Неоднозначность интерпретирования результатов оценивания компетенций
17 Оценивание компетенций без учёта личностных качеств
18 Оценивание компетенции при отсутствии чётких дескрипторов для её оценки
19 Неоднозначность трактовки формулировки компетенции
20 Незапланированные расходы
21 Возникновение технических проблем
22 Бюрократизация образовательного процесса
Также в ходе опроса экспертами были выявлены последствия наступления рисков оценивания компетенций, которые представлены в табл. 3.
Таблица 3. Последствия наступления рисков
№ п/п Последствия рисков
1 Потеря системности образовательного процесса
2 Утрата узких дисциплин ввиду их отсутствия в стандарте
3 Снижение качества обучения
4 Утрата творческой составляющей учебного процесса
5 Ухудшение качественных показателей работы вуза (средняя оценка студента)
6 Несформированность компетенции
7 Невозможность формирования компетенции в рамках учебного процесса
8 Отсутствие обратной связи со студентами
9 Потеря доверия со стороны работодателя к университету в отношении качественной подготовки выпускников
10 Демотивация студента к обучению при низких результатах оценивания
На втором этапе построения карты рисков необходимо произвести анализ и оценку рисков, результатом которых является перечень количественно измеренных рисков и оценок их влияния, а также оценки вероятности достижения целей при текущем уровне рисков.
На сегодняшний день существует огромное количество различных методов анализа проектных рисков, наиболее распространёнными из которых являются: анализ чувствительности критериев эффективности, метод сценариев, метод экспертных оценок, деревья решений, имитационное моделирование. В данном случае наиболее подходящим является метод экспертных оценок, основанный на проведении опроса специалистов, которые, исходя из своих знаний, опыта и имеющейся информации, оценивают вероятность наступления риска и определяют влияние различных факторов на уровень риска.
Основным критерием выбора данного метода и его преимуществом является возможность получения количественных оценок в случаях, когда отсутствуют статистические сведения или показатель имеет качественную природу.
Руководствуясь выделенными ранее рисками, эксперты оценили их при помощи шкалы оценки вероятности наступления риска, представленной в табл. 4, и шкалы оценки существенности последствий от наступления риска, представленной в табл. 5. Границы интервалов оценок в этих таблицах определяются путём расчёта длин интервалов, который осуществляется по следующей формуле:
7 - 7
<7 _ ^max ^mm /i\
7 int--, (1)
n
где 7int - длина интервала оценок рисков, 7min и Zmax - соответственно минимальная и максимальная оценка, п - количество рангов.
Таблица 4. Шкала оценки вероятности наступления риска
Ранг Качественная интерпретация вероятности Количественная интерпретация вероятности, %
1 Появление риска маловероятно менее 25
2 Средняя вероятность появления риска [20-50)
3 Высокая вероятность появления риска [50-75)
4 Очень высокая вероятность появления риска более 75
Управление рисками оценивания образовательных компетенций в высших учебных заведениях 7 Таблица 5. Шкала оценки существенности последствий наступления риска
Ранг Последствия Тяжесть последствий, баллы
1 Незначительные и минимальные последствия [1; 1.75)
2 Допустимые последствия [1.75; 2.5)
3 Значительные последствия [2.5; 3.25)
4 Высокая степень существенности последствий [3.25; 4]
Исходя из формулы (1) длина интервалов для оценки существенности последствий будет равна 0.75, а длина интервалов для оценки вероятности наступления рисков равна 25. Данные, полученные на основе метода экспертных оценок, для каждого из рисков представлены в табл. 6. В этой таблице оценки экспертов рассчитываются как арифметическое среднее всех баллов, присвоенных каждому риску по каждой из шкал.
Оценка риска производится путем перемножения рангов вероятности наступления рискового события и существенности последствий от его наступления. На рис. 1 отображено ранжирование степени риска от вероятности возникновения и существенности последствий от реализации риска в виде карты рисков.
к
I
си с; с
У ;
го
I
л
ь
0
1
н к о о. си т
го о
80
50
20
4 8 12 16
3 (Т) ® 6 © ® © 9 12
2 4 (22 6 8
1 ф 2 (15) 3 4
5
Существенность последствий, баллы
Категории рисков, показанные на рисунке:
1-3 Риски социально-психологического характера
4-6 Риски, связанные с человеческим фактором
7-10 Организационно-технологические риски
11-19 Риски, связанные с реализацией компетентностного подхода
20 Финансовый риск
21-22 Остальные риски
Рис. 1. Карта рисков оценивания компетенций
Таблица 6. Экспертные оценки, присвоенные рискам
Риски Существенность Вероятность
последствий наступления риска
1. Завышенная самооценка у студента 1.7 1.7
2. Неосознанное отношение студентов к освоению 1.4 3.3
компетенций
3. Негативное воздействие процедуры оценивания на 1.9 1.7
психологическое состояние студента
4. Субъективное отношение к процедуре оценивания 2.3 3.0
компетенций
5. Субъективность критериев оценивания 2.3 3.3
сформированности компетенций
6. Предубеждение преподавателей к процедуре 2.2 3.0
оценивания компетенций
7. Выбор «ответственной» дисциплины за 1.9 1.7
формирование компетенции
8. Отсутствие оцениваемых компетенций у экспертов 3.0 2.3
9. Привлечение специалистов с профильных 1.6 2.6
предприятий к формированию компетенций
10. Низкая релевантность заданий 2.2 2.7
11. Низкая валидность результатов при оценивании 2.4 2.7
кластера компетенций
12. Неэффективное использование времени на 1.9 2.7
оценивание компетенций
13. Оценивание компетенции при отсутствии 2.3 3.3
междисциплинарного взаимодействия
14. Отсутствие системного подхода при оценивании 2.0 3.3
компетенций
15. Недостаточный учёт специфики вуза и 2.5 1.7
узкоспециальных навыков
16. Неоднозначность интерпретирования результатов, 2.3 2.3
полученных после оценивания компетенций
17. Оценивание компетенций без учёта личностных 1.9 2.3
качеств
18. Оценивание компетенции при отсутствии чётких 2.5 2.7
дескрипторов для её оценки
19. Неоднозначность трактовки формулировки 2.4 2.3
компетенции
20. Незапланированные расходы 1.7 2.0
21. Возникновение технических проблем 1.6 2.0
22. Бюрократизация образовательного процесса 3.3 2.0
Карта рисков, представленная на рис. 1, построена на основе данных таблиц 4-6. Утолщённая линия на карте рисков - граница толерантности к риску, разделяющая риски компании, нуждающиеся в оперативном реагировании на их появление, и риски, не требующие немедленного реагирования. Риски отображаются на карте в кружках с цифрами, указывающими номера рисков в табл. 2 и 6. Также на карте представлено ранжирование уровней риска в баллах:
— 16 баллов - критический уровень риска - требуются незамедлительные меры по предотвращению рисков, их уменьшению или минимизации потерь;
— 12 баллов - высокий уровень риска - применяются такие же меры по сокращению, что и у критических рисков;
— 6-9 баллов - средний уровень риска - риски не требуют мгновенных действий по их ликвидации, но необходимо проводить мероприятия по их устранению;
— 1-4 балла - низкий уровень риска - риски с малой вероятностью возникновения и небольшой существенностью последствий.
Исходя из карты видно, что риски оценивания компетенций, имеющие критический характер, отсутствуют. Однако за границей толерантности находится большое количество рисков: 4-6 риски, связанные с человеческим фактором, 8, 10, 11 риски, связанные с компетентностным подходом, 12-14 и 18 риски организационно-технологические, а также 22 - риск бюрократизации образовательного процесса. Эти риски требуют повышенного внимания и контроля, поскольку они могут переместиться в область высокого уровня. В связи с этим необходимо определить стратегию элиминирования рисков, подразумевающую доведение выявленных и оцененных рисков до приемлемого уровня (смещение их ниже границы терпимости), а также разработку комплекса мероприятий, направленных на предотвращение или минимизацию рисков и уменьшение последствий их наступления.
Остальные риски не являются предметом глубокого анализа и постоянного мониторинга, поскольку либо маловероятны, либо имеют незначительные последствия. Примечательно, что по оценкам экспертов таковыми являются все риски социально-психологического характера и финансовые риски. Наиболее значимым риском, имеющим самый высокий ранг, является риск оценивания компетенции при отсутствии чётких дескрипторов для её оценки. Это говорит о том, что данный риск должен быть приоритетным при разработке мер по воздействию на риски оценивания компетенций.
4. Управление рисками
На сегодняшний день все образовательные учреждения рассматриваются, может быть и не всегда верно, как непосредственные и полноправные субъекты рыночной экономики. Следовательно, их деятельности свойственны такие же характерные особенности, что и другим компаниям, представленным на рынке, а значит к ним предъявляются те же требования, что и к остальным участникам экономического пространства. Учитывая вышесказанное, вузам предстоит решать задачи адаптации, выживания и развития в действующих экономических условиях, а также образовательные организации должны отслеживать состояние рынка образовательных услуг и оценивать свое положение на этом рынке, учитывать требования, предъявляемые к выпускникам, и, соответственно, прогнозировать риски, проводить их оценку и разрабатывать варианты своего будущего поведения в зависимости от тяжести проявления рисковых событий.
Сфера высшего профессионального образования имеет свои характерные риски. Деятельность вуза должна соответствовать принятым стандартам, быть обеспечена необходимыми качественными ресурсами, начиная с учебно-методического комплекса, профессорско-преподавательского состава, контингента абитуриентов и заканчивая материально-техническим обеспечением, финансами и др. Важнейшим элементом оценки
образовательной организации является качество освоения образовательных программ студентами вуза, а именно, сформированность компетенций у студентов согласно ФГОС ВО.
Методы управления рисками могут включать: оценку рисков экспертами, имитационное моделирование, творческие методы (например, «мозговая атака»), контрольные списки источников рисков, определение (калькуляция) вероятностных потерь [3]. Использование данных методов и внедрение системы управления рисками в вузе позволит превентивно оценить будущие неудачи и потери и даст возможность найти наиболее благоприятные исходы в деятельности вуза, принимая адекватные решения. Таким образом, каждое учебное учреждение должно выработать наиболее подходящую систему управления рисками для достижения конкурентоспособности на рынке образовательных услуг.
5. Выводы
В данной работе были решены следующие задачи:
1. Экспертно выявлены 22 риска оценивания качества освоения образовательных программ студентами высшего учебного заведения. Риски, имеющие критический характер, отсутствуют. За границей толерантности, однако, оказались риски, связанные с человеческим фактором, с реализацией компетентностного подхода, а также организационно-технологические риски и риск бюрократизации образовательного процесса.
2. Определены 6 факторов, которые повышают вероятность наступления рисков оценивания компетенций и их последствия. Выделенные экспертами факторы показывают их взаимосвязь с системой образования в целом.
3. Определены категории рисков и построена карта рисков оценивания компетенций, которая показывает, какие риски требуют особого внимания при оценивании качества освоения образовательных программ студентами.
Итак, особенностью процесса оценивания качества освоения образовательных программ является наличие имманентного образовательному процессу индетерминизма, а значит, и определенных рисков. Невозможность безрискового ведения образовательной деятельности требует от субъектов образовательного процесса постоянного учёта возможных последствий принимаемых решений с точки зрения их воздействия на систему рисков, сопутствующих образовательной деятельности, и выработки в процессе управления этой деятельностью превентивных мер, направленных на предотвращение и снижение наиболее опасных рисков. Отсюда следует, что управление рисками в образовательной деятельности должно стать одним из стратегических направлений системы менеджмента в вузе. Стандарт ИСО 9001:2015 системы менеджмента качества включает в себя требование обязательного наличия в организации процедуры управления рисками [6]. Выявление, обработка рисков и реализация превентивных мер и возможностей, а также процесс воздействия на риски создают основу риск-устойчивого функционирования образовательной организации и принятия качественных решений, позволяющих повысить результативность ее деятельности и достичь поставленных целей, при этом самая важная задача при управления рисками -выбрать наиболее эффективные меры, которые помогут предотвратить имеющиеся риски или существенно снизить их негативное воздействие.
Литература
1. Альгин А. П. Риск и его роль в общественной жизни. М.: Мысль, 1989. 188с.
2. Атапина Н. В. Сравнительный анализ методов оценки рисков и подходов к организации риск-менеджмента // Молодой учёный. 2013. № 5. С. 235-243.
3. Варжалетян А. Г., Маркелова Н. В. Управление рисками образовательных проектов в сфере дополнительного профессионального образования // Вестник МГТУ им. Г. И. Носова. 2013. № 1. С. 108-111.
4. Громова Н. М., Громова Н. И. Основы экономического прогнозирования [Электронный ресурс].ЦКЬ: http://www.rae.ru/monographs/10-166 (дата обращения 19.11.16)
5. Канев В. С., Шевцова Ю. В. Основы моделирования и управления операционными рисками в электронной коммерции и телекоммуникациях: монография. М.: Горячая линия - Телеком, 2015. 278 с.
6. Национальный стандарт Российской Федерации системы менеджмента качества ГОСТ ИСО 9001-2015. [Электронный ресурс] URL: http://docs.cntd.ru/document/1200124394 (дата обращения 01.12.2016)
7. Чубарова О. И. Образовательный риск как экономическая категория, его сущность [Электронный ресурс]. URL: http://elib.altstu.ru/elib/books/Files/pv2005_01/pdf/199Chubaro va.pdf (дата обращения 15.12.16)
Статья поступила в редакцию 27.12.2016
Ильина Татьяна Сергеевна
зав. кафедрой иностранных и русского языков СибГУТИ (630102, Новосибирск, ул. Кирова, 86), тел. (383) 269-39-18, e-mail: tosibguti@mail.ru.
Баранова Анастасия Ивановна
магистрант кафедры математического моделирования бизнес-процессов СибГУТИ (630102, Новосибирск, ул. Кирова, 86), тел. (383) 269-82-78.
Канев Валерий Семёнович
д.т.н., доцент, зав. кафедрой математического моделирования бизнес-процессов СибГУТИ (630102, Новосибирск, ул. Кирова, 86), тел. (383) 269-82-77, e-mail: kanev@ngs.ru.
Risk management at educational competency assessment in higher educational establishments
T. Ilina, A. Baranova, V. Kanev
The paper focuses on the risks of assessing the quality of mastering educational programs by students from the immanent indeterminism viewpoint to the educational process. Experts assessments are provided. The factors leading to the increase of risk probability at competency assessment have been defined and the consequences of risk events have also been outlined. The risks have been categorized and a risk map has been compiled. Risk assessment will contribute to risk tolerant functioning framework of the educational process of the higher educational establishment and taking high quality solutions.
Keywords: risks, educational program, competency, risks map, risk assessment, risk management.
