CC BY
9УДК 378.14 : 004.891.2
Информационная технология экспертного оценивания параметров оптимизации структурного состава компетенций
А. Н. Полетайкин, Л. Ф. Данилова
Рассматривается разработка информационной технологии для получения групповых экспертных оценок параметров образовательных компетенций в рамках решения задачи конструирования компетенций оптимальной структуры для проектирования основных профессиональных образовательных программ. Построена модель оценивания компетентности экспертов в данной предметной области, исходя из их самооценки и объективных профессиональных характеристик. Разработана база данных и программное обеспечение для решения поставленной задачи.
Ключевые слова: параметры компетенций, оптимальная структура, экспертные оценки, научно-исследовательская компетентность, технология экспертного оценивания.
1. Введение
Повышение качества образования на протяжении долгого времени остается одной из актуальных и трудно решаемых проблем не только для России, но и для всего мирового сообщества. Решение этой проблемы связано с модернизацией содержания образования, оптимизацией способов и технологий организации образовательного процесса (ОП), а также определением целей и результатов образования. В качестве первостепенной составляющей выдвигается задача определения основных (ключевых) компетенций, которые в результате образования должны освоить молодые поколения. Соответственно цель образования стала соотноситься с формированием ключевых компетенций, что отмечено в текстах Стратегии модернизации содержания общего образования (2001 г.), Концепции модернизации российского образования на период до 2010 года, а также Концепции Федеральной целевой программы развития образования на 2016 - 2020 годы [1]. Возникает задача определения оптимального структурного состава компетенций на основе заданного набора трудовых функций, определяемых профессиональными стандартами. Трудовые функции (ТФ) включают в себя необходимые знания, умения и трудовые действия, которые должен освоить выпускник и которые рассматриваются в качестве структурных элементов образовательных компетенций. Число таких элементов в составе ТФ профессиональных стандартов, определенных федеральным государственным образовательным стандартом для направления, например, 09.03.03 «Прикладная информатика», составляет около тысячи, а число возможных системных связей, соответственно, около миллиона.
Вместе с тем авторским исследованием [2] определен исчерпывающий перечень более чем из 50 параметров, определяющих основные аспекты планирования, проектирования и реализации ОП в вузе, 15 из которых имеют непосредственное отношение к задаче конструирования компетенций и разработке основных профессиональных образовательных программ (ОПОП). При этом, как показано далее, эти параметры должны быть оценены различ-
ными экспертными оценками: числовыми, интервальными, вербально-числовыми, 5 параметров предполагают частные оценки отдельных элементов компетенций, а 2 из них - в отношении конструируемых компетенций. В общем и целом имеем размерность задачи восьмого порядка, что делает экспертное оценивание в ручном режиме весьма затруднительным.
Кроме того, в таких предметных областях, как сфера образования, характеризующихся высокой степенью неопределенности основных характеристик процессов и значительным субъективизмом их оценивания специалистами, связанным, к примеру, с преднамеренным или неосознанным манипулированием данными с целью максимального удовлетворения своих интересов, остро стоит проблема объективизации экспертного оценивания. Вопросам применения методов экспертных оценок в целом и экспертизы в сфере образования в частности посвящен ряд работ таких ученых, как Бурков В. Н., Новиков Д. А., Губанов Д. А., Райков А. Н., Караваев А. П., Камаев В. А., Белов В. М., Крохалева А. Б., Сибикина И. В. Большинство авторов сходятся в том, что объективизация результатных экспертных оценок оказывает существенное влияние на качество решения сверхзадачи и зачастую требует применения нетривиального аналитического аппарата, в частности, для объективного же оценивания компетентности привлекаемых к экспертизе специалистов - экспертов.
На основании изложенного выше можно заключить, что разработка и информатизация методики экспертного оценивания структурных параметров компетенций является актуальной задачей, решение которой позволит существенно минимизировать трудозатраты и повысить адекватность структур компетенций при проектировании ОПОП.
2. Анализ предметной области
Согласно проектам ФГОС ВО 3++ (см., например, [3]) в результате освоения программы бакалавриата у выпускника должны быть сформированы универсальные, общепрофессиональные и профессиональные компетенции, установленные программой бакалавриата. При этом организация самостоятельно устанавливает одну или несколько профессиональных компетенций, исходя из направленности (профиля) программы бакалавриата на основе профессиональных стандартов, соответствующих профессиональной деятельности выпускников (при наличии), а также, при необходимости, на основе анализа иных требований, предъявляемых к выпускникам. Из каждого выбранного профессионального стандарта выделяется одна или несколько обобщённых трудовых функций, причем каждая их них может быть выделена полностью или частично по составляющим ее ТФ.
Так, для направления подготовки 09.03.03 «Прикладная информатика» уровня бакалавриата имеет место набор из четырех профессиональных стандартов, включающий в себя пять обобщенных ТФ (табл. 1) и 104 ТФ. Каждая ТФ, в свою очередь, включает в себя множество знаний, умений и трудовых действий, которые в общем случае можно рассматривать как навыки, сводя таким образом структурный состав ТФ к общеизвестной категории «ЗУН», обозначающей знания, умения и навыки. В частности, для обобщенной ТФ «С» профессионального стандарта 06.022 «Системный аналитик» уровня бакалавриата определены 13 ТФ, перечень и численный состав ЗУН которых представлены в табл. 2.
Следует отметить, что в разных трудовых функциях часто имеют место дублирования формулировок ЗУН. Так, среди общей совокупности из 1989 ЗУН имеет место 604 уникальных ЗУН, из которых 131 повторяется 2 и более раз, 28 ЗУН имеют частоту появления более 0.3. При рассмотрении ЗУН как структурных элементов компетенций значение также имеют их взаимосвязи, общее число которых в рассматриваемом случае превышает 180 тысяч, из которых более 28 тысяч уникальных, из которых, в свою очередь, более 300 имеют частоту появления в 104 ТФ более 0.3.
Таблица 1. Структура профессиональных стандартов согласно ФГОС ВО 3++ [3] направления подготовки 09.03.03 «Прикладная информатика»
Профессиональный Число Число
стандарт Обобщенная трудовая функция ТФ ЗУН
Код Наименование
06.001 Программист С - Интеграция программных модулей и компонент и верификация выпусков программного продукта 2 30
Б - Разработка требований и проектирование программного обеспечения 3 40
06.015 Специалист по информационным системам С - Выполнение работ и управление работами по созданию (модификации) и сопровождению ИС, автоматизирующих задачи организационного управления и бизнес-процессы 56 1563
06.016 Руководитель проектов в области информационных технологий А - Управление проектами в области ИТ на основе полученных планов проектов в условиях, когда проект не выходит за пределы утвержденных параметров 30 236
06.022 Системный аналитик С - Концептуальное, функциональное и логическое проектирование систем среднего и крупного масштаба и сложности 13 120
Всего: 104 1989
Таблица 2. Трудовые функции профессионального стандарта 06.022 «Системный аналитик»
уровня бакалавриата
Код ТФ Наименование Число ЗУН
С/01.6 Планирование разработки или восстановления требований к системе 14
С/02.6 Анализ проблемной ситуации заинтересованных лиц 11
С/03.6 Разработка бизнес-требований к системе 17
С/04.6 Постановка целей создания системы 7
С/05.6 Разработка концепции системы 8
С/06.6 Разработка технического задания на систему 8
С/07.6 Организация оценки соответствия требованиям существующих систем и их аналогов 8
С/08.6 Представление концепции, технического задания и изменений в них заинтересованным лицам 6
С/09.6 Организация согласования требований к системе 6
С/10.6 Разработка шаблонов документов требований 9
С/11.6 Постановка задачи на разработку требований к подсистемам системы и контроль их качества 8
С/12.6 Сопровождение приемочных испытаний и ввода в эксплуатацию системы 8
С/13.6 Обработка запросов на изменение требований к системе 10
Всего: 120
3. Характеристики компонентов образовательных компетенций
В результате проведения исследования [4] авторы установили, что для адекватного представления компетенции и последующего оценивания ее сформированности необходимо для нее разработать связанную структуру элементов ЗУН. Принимая во внимание открытость данной модели и в соответствии с принципом внешнего дополнения, в ее структуре выделяются подмножества базовых и дополнительных ЗУН, непересекающиеся с подмножеством образующих ЗУН. Последние обладают двумя характерными свойствами (отличительными
признаками): 1) связаны с другими ЗУН хотя бы одной входящей внутренней связью, и 2) связаны с другими компетенциями ОПОП хотя бы одной исходящей внешней связью. Причем на противоположной стороне внешних связей (в их направлении, в структурах других компетенций) находятся копии образующих ЗУН в качестве базовых ЗУН по отношению к этим другим компетенциям. ЗУН, не являющиеся базовыми и образующими, называются дополнительными. Они обеспечивают освоение образующих ЗУН и связаны с ядром исходящими однонаправленными связями. На рис. 1а показана связанная структура типового кластера из четырех компетенций. На рис. 1б обобщенно представлена внутренняя структура (вертикальный срез) произвольной компетенции.
а) структура кластера компетенций б) вертикальный срез структуры компетенции
Рис. 1. Системное представление модели образовательных компетенций
На рис. 1б показаны 3 вида ЗУН и 4 вида связей. Образующие ЗУН ( ©а) образуют ядро компетенции. Базовые (©Р ) образуют основу для ядра, обеспечивают преемственность и открытость по отношению к надсистеме - компетентностной модели ОПОП. Дополнительные ЗУН ( ©у ) - это ЗУН, введенные в компетенцию для уточнения ее семантики либо выпавшие из ядра при удалении лишних связей.
Ядерные связи (£ а, как и образующие ЗУН, показаны сплошной жирной линией) устанавливают отношения между образующими ЗУН и могут иметь любую направленность, образуя 9 типов связей в сочетаниях трех типов ЗУН. Связи между периферийными и образующими ЗУН (£Ра и £уа , показаны пунктиром с точкой и с двумя точками соответственно) направлены к ядру. Внешние связи (£аР, показаны сплошной тонкой линией) обеспечивают связь ядер компетенций через базовые ЗУН, всегда однонаправлены от ядра к базовому ЗУН другой компетенции, который фактически является копией образующего ЗУН с другой стороны связи.
Данная структурная модель является базовой и может включать графы, связывающие разнородные компоненты, например, ЗУН и личностные качества. Если же говорить об оптимальной структуре компетенции, следует прежде всего определить критерий ее оптимальности и разработать соответствующий математический аппарат.
На основе проведенного выше предметного анализа сформулированы показатели, характеризующие ЗУН как компоненты компетенции (табл. 3). Здесь выделяются скалярные и структурные показатели. Скалярные показатели определяют ЗУН как таковые. Показатели 1 и 2 есть характеристики ЗУН как компоненты профессиональных стандартов, определяющие его профессиональную востребованность. Показатель 2 вычисляется статистически на вы-
борке ТФ и может трактоваться как востребованность ЗУН в профессиональной среде. Показатель 3 характеризует распределение ЗУН по трем типам, сочетание которых в составе компетенции должно быть относительно равномерным. Показатель 4 представляет трудоемкость учебной работы по освоению ЗУН и выражается в зачетных единицах трудоемкости (ЗЕТ). Показатель 5 характеризует ЗУН по степени соответствия принципам полезности для общества: этичность, ответственность, кооперация, взаимопомощь и работа, направленная на нравственное развитие, предполагает экспертное оценивание и введен для исследования полезности влияния данного культурообразующего аспекта на образовательный процесс.
Структурные показатели 6 - 8 определяют особенности компетенции. Показатель 6 определяет принадлежность ЗУН к одному из трех видов: 1) образующий, составляющих ядро компетенции, 2) базовый, обеспечивающий внешние связи, 3) дополнительный, уточняющий семантику компетенции. Показатель 7 измеряет, насколько ЗУН связан с другими, исходя из числа связей с ними.
Показатели 5 и 8 представляют собой качественные характеристики, определяющие целесообразность его включения в состав компетенции, и могут определяться посредством экспертного оценивания либо статистически при наличии ретроспективной информации по образовательному процессу.
Таблица 3. Характеристические показатели ЗУН, определяющие целесообразность их включения в структурный состав компетенции
№ Показатель Характеристика Источник Определение
Общие скалярные показатели (индифферентно компетенциям)
1 Профессиональная Отношения ЗУН типа «часть- Профстандарты Определение
ориентация целое» к компонентам профессиональных стандартов структурного включения
2 Профессиональная Частота появления ЗУН на множе- Профстандарты Статистические
частота стве ТФ вычисления
3 Тип Традиционная типизация ЗУН на множестве {знание, умение, навык} Профстандарты Определение структурного включения
4 Трудоемкость Количество часов на освоение ЗУН Педагогическая практика Экспертное оценивание
5 Полезность Степень соответствия ЗУН общекультурным принципам Экспертиза Экспертное оценивание
Частные структурные показатели (в отношении конкретной компетенции)
6 Вид Положение связи в структуре Структура Структурный
компетенции компетенции анализ
7 Степень связности Число связей с другими ЗУН Структура Структурный
(центральности) компетенции анализ
8 Степень влияния Влияние ЗУН на целостность и Экспертиза Экспертное
внешняя адекватность компетенции оценивание
Принимая во внимание необходимость установления системных направленных связей между отобранными ЗУН, более приоритетным представляется учет при отборе ЗУН характеристик связей и соответствующих им паросочетаний ЗУН (табл. 4.). Здесь параметры 1 и 2 имеют тот же смысл, что и в табл. 3, применительно к паросочетаниям ЗУН и также определяются отношением композиции. Параметр 3 характеризует 9 возможных типов связей с учетом их направленности и типов ЗУН, каждый их которых, очевидно, имеет разное экс-пертно определяемое системообразующее значение (так, очевидны связи типов Зна-ние^Умение и Умение^Навык и весьма сомнительны связи типа Навык^Знание).
Таблица 4. Характеристические показатели паросочетаний ЗУН, определяющие целесообразность их включения в структурный состав компетенции
№ Показатель Характеристика Источник Определение
Общие показатели (индифферентно компетенциям)
1 Профессиональная Отношения паросочетания ЗУН ти- Профстандарты Определение
ориентация па «часть-целое» к компонентам профстандартов структурного включения
2 Профессиональная Частота появления паросочетания Профстандарты Статистические
частота ЗУН на множестве ТФ Экспертиза вычисления Экспертное оценивание
3 Тип (системообра- Типизация связей на основе тради- Экспертиза Экспертное
зующее значение) ционной типизации ЗУН на множестве {знание, умение, навык} оценивание (однократное)
4 Степень близости Степень концептуальной близости ЗУН паросочетания Экспертиза Экспертное оценивание
5 Степень влияния Степень влияния исходящего ЗУН Экспертиза (однократное)
внутренняя на освоение входящего в паросоче-тании Лингвистический анализ
Частные показатели (в отношении конкретной компетенции)
6 Вид Положение связи в структуре ком- Структура Структурный
петенции: ядерная либо дополни- компетенции анализ
тельная
7 Степень влияния Степень влияния связи на целост- Экспертиза Экспертное
внешняя ность и адекватность компетенции оценивание Лингвистический анализ
Параметр 6 также определяется из структуры компетенции и может принимать 3 значения: ядерная связь, расположенная внутри ядра компетенции, и две дополнительные, образующие паросочетания ЗУН ядра с периферийными ЗУН.
Параметр 4 определяется семантическими свойствами ЗУН, для определения которых необходимо осуществлять экспертизу либо лингвистический анализ формулировок ЗУН. При этом наиболее семантически близкие, изоморфные в смысле близкого по смыслу отображения на семантическое поле компетенции ЗУН характеризуются высокими значениями данного показателя.
Показатели 5 и 7 выражают системные свойства паросочетания соответственно как «вещь в себе» и «вещь для нас». В последнем случае параметр 7, как и параметр 8 ЗУН, определяет целесообразность включения паросочетания в структуру компетенции. В силу требования как можно более тесной семантической взаимосвязи компетенции и ее структурных компонентов, при проведении экспертизы показателей системности также целесообразно осуществлять лингвистический анализ формулировок.
На основе рассмотренных характеристик компонентов компетенций сформированы 14 частных критериев оптимизации внутренней структуры компетенции (см. табл. 5). Здесь только первый критерий имеет логический тип данных. Остальные критерии принимают вещественные значения на интервале [0;1], большая часть из которых (кроме мощности, ширины и глубины) представляют собой средние арифметические величины на соответствующем множестве значений (для критериев, которые определяются экспертными оценками от 0 до 10 также с учетом нормирующего коэффициента 0.1). Также большинство критериев предполагают использование различных экспертных оценок, для получения которых разрабатывается процедура экспертного оценивания и реализуется с привлечением компетентных в данной предметной области специалистов - экспертов.
А. Н. Полетайкин, Л. Ф. Данилова Таблица 5. Критерии оптимизации внутренней структуры компетенции
№ п/п Показатель Интервал нормирования Экспертные оценки Оценивание Описание
ЗУН Связи
1. Профессиональная ориентация — - Да Да Множество (О)ТФ, табл. 1, табл. 3, 4 п.1
2. Коэффициент проф. направленности — - Да Да Табл. 3, 4 п.2
3. Коэффициент типизации - Да Да Да Табл. 3, 4 п.3
4. Трудоемкость Да Да Да Нет Табл. 3 п.4
5. Мощность Да Да Да Нет Общее число ЗУН
6. Коэффициент связности Да Да Оценивание на системном уровне Табл. 3 п.7
7. Коэффициент достижимости Да Да Вариативность формирования
8. Ширина Да Да Число базисов
9. Глубина Да - Макс. маршрут
10. Ядерность - - Да Да Табл. 3, 4 п.6
11. Коэффициент полезности - Да Да Нет Табл. 3 п.5
12. Коэффициент близости - Да Нет Да Табл. 4 п.4
13. Коэффициент внутренней системности — Да Нет Да Табл. 4 п.5
14. Коэффициент внешней системности - Да Да Да Табл. 3 п.8 Табл. 4 п.7
4. Организация экспертного оценивания частных критериев
Из табл. 5 видно, что для определения 10 из 14 критериев используются различные экспертные оценки. Описание этих оценок представлено в табл. 6. Данные оценки можно разделить на 3 группы:
1. Оценки параметров ЗУН (табл. 3) либо их паросочетаний (табл. 4). Представлены в выражениях критериев 3, 4, 11, 12, 13, 14. Во всех случаях, кроме критерия 4, это десятибалльные оценки вещественного типа.
2. Парные коэффициенты вещественного типа. Выражают значимость экспертных оценок группы 1 в отношении ЗУН и паросочетаний в выражениях критериев 3 и 14.
3. Границы интервалов а и Ь, на которых оцениваемые параметры принимают либо «идеальное» (критерии 4, 5, 8), либо «хорошее» (критерии 6, 7) значение. Вещественные числа в соответствующих параметрам единицах измерения.
Группа 1 представляет собой наиболее разнообразную группу по методам и частоте оценивания. Общие (с точки зрения формулировок) оценки значимости (подгруппа 1.1) получены посредством оценивания типов трех ЗУН и девяти типов их паросочетаний с выставлением соответствующих балльных (числовых) оценок. Частные оценки (подгруппа 1.2, за исключением трудоемкости Т) с целью минимизации несогласованности мнений оцениваются вербально-числовыми оценками по шкале из табл. 7, указывая качественную характеристику (столбцы 1 или 2) и числовую оценку от 0 до 10 баллов (разрешены дробные числа). Если числовая оценка не соответствует ее вербальному аналогу, оценка х^ уточняется как х,-
относительно центра числового интервала |хт;п; хтах ], образованного диапазонами, соответствующими указанным вербальному и числовому значениям:
х'. — хтш + хтах + 2 х1
Таблица 6. Экспертные оценки, используемые при конструировании компетенций
Обозначение Название ОДЗ № критерия из табл. 5 Примечание
Группа 1 - Оценки параметров ЗУН и их паросочетаний. Подгруппа 1.1 - Общие оценки
001 Тип ЗУН <Знать> [0; 10] 3
.еще 10 оценок для типов ЗУН и связей [0; 10] 3
Отзз Тип связи <Владеть-Владеть> [0; 10] 3
Группа 1 - Оценки параметров ЗУН и их паросочетаний. Подгруппа 1.2 - Частные оценки
Р0 Степень значимости <ЗУН> [0; 10] 2
Р2 Степень значимости <связь> [0; 10] 2
ТЧ Трудоемкость освоения <ЗУН> (0; 8640) 4
ии Степень полезности <ЗУН> [0; 10] 11
V* Степень близости ЗУН <связь> [0; 10] 12
Степень внутренного влияния ЗУН <связь> [0; 10] 13
00 0ч Степень внешнего влияния <ЗУН> [0; 10] 14 Актуальны для конкретной компетенции
0\ Степень внешнего влияния <связь> [0; 10] 14
Группа 2 - Парные коэффициенты значимости некоторых экспертных оценок группы 1
К 0 Коэффициент значимости ЗУН [0; 1] 3, 14 К 0 + К 2 = 1
К 2 Коэффициент значимости Связей [0; 1] 3, 14
Группа 3 - Интервальные оценки для нормирования параметров ЗУН и их паросочетаний
* ал Трудоемкость Знать <Идеальный тт> (0; Ь*1) 4
и* Ь*1 Трудоемкость Знать <Идеальный тах> (а*1; 8640) 4
.еще 4 оценки для Уметь и Владеть. 4
* а*1 Число ЗУН Знать <Идеальный тт> (0; Ь*1) 5
и* Ь*1 Число ЗУН Знать <Идеальный тах> > а*1 5
.еще 4 оценки для Уметь и Владеть . 5
* Число дисциплин <Идеальный тт> (0; Ь*) 8
и* К Число дисциплин <Идеальный тах> * > а 8
а? Коэффициент связности <Хороший тт> (0; Ь?) 6
Ь? Коэффициент связности <Хороший тах> > а? 6
4 Коэффициент достижимости <Хороший тт> (0; Ь? ) 7
ь? Коэффициент достижимости <Хороший тах> > а? 7
Таблица 7. Универсальная шкала вербально-числовых экспертных оценок
Вербальное значение качества Обозначение Диапазон числовых значений
Очень низкое (плохое) VL [0,0 ; 1,5)
Низкое (плохое) L [1,5 ; 3,0)
Ниже среднего (умеренное) BA [3,0 ; 4,5)
Среднее(умеренное) A [4,5 ; 5,5]
Выше среднего (умеренное) AA (5,5 ; 7,0]
Высокое (хорошее) H (7,0 ; 8,5]
Очень высокое (хорошее) VH (8,5 ; 10,0]
Говоря о частоте оценивания, следует выделить оценки внешней системности паросоче-таний (критерий 14), которые актуальны по отношению к элементам в структуре конкретных компетенций. Поэтому эти оценки должны получаться на этапе реализации процедуры конструирования каждой компетенции. Остальные оценки группы 1 формируются однократно на этапе разработки модели и при необходимости могут в дальнейшем корректироваться.
Группа 2 представлена двумя парами коэффициентов значимости ЗУН и их связей. Для оценивания каждой пары экспертам была предложена графическая шкала (рис. 2), на которой необходимо разграничить 2 сектора значимости. Числовые значения коэффициентов определялись по величине секторов относительно фиксированной величины шкалы.
К 0 = 1/4
К £ = 3/4
Рис. 2. Частный случай экспертного оценивания коэффициентов значимости на графической шкале
Группа 3 содержит интервалы «идеальных» либо «хороших» значений, для получения которых использовались интервальные оценки. Экспертам предлагалось указать соответствующую область значений для определенного параметра в соответствующих единицах: академических часах (трудоемкость), штуках (мощность, ширина) либо в безразмерных величинах (коэффициенты связности и достижимости). Границы интервалов разрешалось оценивать вещественными числовыми оценками.
Механизм экспертного оценивания. В качестве экспертов были привлечены научно-педагогические сотрудники (далее - эксперты-НПС) из СибГУТИ и из других вузов России, каждому из которых была предложена анкета № 1, рабочая часть которой содержит задания
0 Е 0 £
по однократному экспертному оцениванию величин Q0 , Qт, К , К (типизация); ащ , Ьщ (трудоемкость); а8, Ъ8 (мощность); aw, ЪМ! (ширина). Для однократного оценивания границ интервалов «хороших» значений чисто математических характеристик - коэффициентов связности и достижимости (а8, Ъ8, аг, Ъг) - была разработана анкета № 2. В качестве экспертов выступили сотрудники СибГУТИ, специалисты в области информатики и математики. Всего к экспертизе было привлечено 16 экспертов.
Экспертные оценки Т, и, V, I эксперты-НПС оценивали в интерактивном взаимодействии с программной системой. Как уже отмечалось выше, текущие оценки внешней систем-0 £
ности О и О должны оперативно оцениваться в процессе конструирования компетенций, для чего также привлекаются эксперты-НПС.
Все экспертные оценки, полученные от множества экспертов, в том числе уточненные в соответствии с (1 ), усредняются простейшей групповой оценкой:
п
£ Ч]
х,
У
хг = ^-, (2)
1 п
у=1
где п - количество экспертов, задействованных в оценивании 1-й характеристики критериев; ху - оценки (в т.ч. уточненные) 1-й характеристикиу'-м экспертом, скорректированные на весовые
показатели компетентности экспертов Чу е [0,1].
Оценивание компетентности экспертов осуществлялось методом самооценки, исходя из профессиональных характеристик экспертов, а также степени их знакомства с предметом оценивания. Аналогичное исследование представлено в монографии [5], где эффективное решение данной задачи достигается за счет применения комплексной методики, включаю-
щей нечеткие методы и энтропийный подход. Для реализации этого подхода в анкету эксперта №1 включена предварительная часть, в которой эксперту предлагается указать свой пол, педагогический стаж в годах, ученую степень и ученое звание (при наличии), число всех публикаций за последние 5 лет, а также осуществить самооценку по 10-балльной шкале степени владения компетентностным подходом к проектированию ОПОП и степени знакомства с задачей формирования структуры компетенции.
В развитие указанной методики набор указанных профессиональных характеристик НПС сформирован на основе исследований к.псих.н. О. В. Ракитиной, которая на протяжении 10 лет занималась вопросами формирования научно-исследовательской компетентности (НИК) у преподавателей вузов, аспирантов и студентов. В своем исследовании [6] выборки из 59 НПС (13 профессоров, 27 доцентов, 13 старших преподавателей, 6 ассистентов, 13 докторов наук, 37 кандидатов наук, 9 преподавателей без ученой степени) автор подводит некоторые итоги, согласно которым:
- преподаватели вуза характеризуются высоким уровнем развития НИК (77.52 % - 82.8 %);
- высокой степени интегрированности структура НИК достигает только у преподавателей, имеющих ученую степень;
- одной из существенных характеристик НИК является публикационная активность;
- уровень развития НИК преподавателей, имеющих ученую степень, выше, чем у тех, кто степени не имеет;
- работа над кандидатской диссертацией создает гораздо менее благоприятные условия для развития НИК по сравнению с работой над докторской диссертацией;
- преподаватели-мужчины склонны оценивать свой уровень кругозора и эрудиции в предметной области исследований существенно выше, чем женщины-преподаватели;
- преподаватели-женщины отмечают большую степень самостоятельности в отслеживании личностных изменений и коррекции собственной профессиональной и научной позиции;
- уровень развития компетенций в области самоконтроля повышается с возрастом и со стажем работы в качестве преподавателя.
На основе приведенных данных разработан априорный коэффициент профессиональной компетентности НПС КП :
КП = ° + Р + 5 + Д + Я , КП е[0,09;1,00] (3)
100 1 1
где О - оценка по гендерному признаку (мужчина - 9, женщина - 15), Р - число публикаций, £ - стаж в годах, Б - оценка по ученой степени (отсутствует - 0, кандидат наук - 15, доктор наук - 30), Я - оценка по ученому званию (отсутствует - 0, доцент - 15, профессор - 30).
В случае если значение КП превышает 1, его значение устанавливается равным 1.
Комплексная оценка весового показателя компетентности у'-го эксперта ч- определяется по
трем коэффициентам, характеризующим: 1) профессиональные качества эксперта К^ = КП (3),
2) знакомство эксперта с компетентностным подходом к проектированию ОПОП К2 . = 02 /10, и
3) знакомство эксперта с задачей формирования структуры компетенции К3 . = 0з/10, где О2
и 0з - соответствующие самооценки экспертов по 10-балльной шкале. Комплексная оценка компетентности эксперта с учетом коэффициентов сравнительной весомости С, определяемых апостериорно, но априорно принятых равными 1 , в этом случае:
С1 • К1 / + С2 •К2 / + С3 • К3 /
Ч/ =-1-1--. (4)
1 С + С2 + Сз и
5. Разработка и исследование информационной технологии
В процессе создания информационной технологии была разработана реляционная база данных (БД) для структурирования и хранения данных о предметной области, промежуточных и итоговых оценок. БД представлена в IV нормальной форме и включает 30 связанных таблиц, 12 из которых - справочники. Также разработана программная система, которая взаимодействует с БД посредством SQL-запросов и выполняет такие функции:
1. Учет данных о направлениях профессиональной подготовки, включая компетенции и виды профессиональной деятельности (на основе ФГОС).
Структурирование данных о профессиональной ориентации подготовки (переподготовки), включая трудовые функции, их компоненты и связи между ними (на основе профессиональных стандартов).
Параметризация компонентов ТФ как потенциальных компонентов компетенций. Расчет компетентности экспертов на основе их профессиональных характеристик. Экспертное оценивание параметров оптимизации структурного состава компетенций. На рис. 3 представлена карта связи (одной из уникальных связей на множестве 956 ЗУН) двух элементов типа Действие и Умение. В правой верхней ее части локализован инструмент для расчета параметра «Профессиональная частота». Возможет расчет по выбранным ОТФ (список допускает множественный выбор). В левой верхней части представлены групповые экспертные оценки подгруппы 1.1 (табл. 6), инструмент для их расчета рассмотрен ниже. В нижней части формы показан список ТФ, к которым относится данная связь.
2.
3.
4.
5.
Рис. 3. Карта связи, содержащая групповые экспертные оценки параметров связи и связываемых ЗУН
Также в карте связи (рис. 3) показаны параметры прямой и обратной связи (в центре), а также параметры связываемых ЗУН (слева и справа). Значения параметров представляют собой групповые оценки, рассчитанные по формуле (2) с учетом компетентности (4). Расчет всех параметров, за исключением параметра «Профессиональная частота», осуществляется в форме «Экспертные оценки» (рис. 4а), в верхней части которой задаются значения параметров для расчета НИК. Значения НИК и итоговой компетентности экспертов наряду с их профессиональными характеристиками представлены в центральной части формы.
" Оценка по тендерному признаку Корректирующие коэффициенты т Оценка по ученой степени ~
Мужчина: | 9 Публикации:| 1,00 Кандидат: 15
Женщина: | 15 Пед. стаж: | 1,00 Доктор: 30
Сумма баллов: |
Оценки по ученому званию
Доцент: Профессор: С.н.с.:
Коэффициенты сравн. весомости Проф. качества: | 1ДЮ Степень знакомства: | 1,00 Степень владения:
1,00
| Педстаж | Уч_степень | Уч_звание | Публикации | Степень_владения | Степень_знакомства | НИК~
Расчитать компетентность
Компетентность
Эксперт
Пол
Эксперт 1 Эксперт 4 Эксперт 3 Эксперт 10 Эксперт 6 Эксперт 8 Эксперт Э Эксперт 2
^.^ППГУТ С
Запись: .и | < | Г
►I !►*! из ю
Мужской Женский Женский Мужской Женский Мужской Женский Мужской
12,5 Кандидат наук 40,0 Нет 5,0 Кандидат наук 18,0 Доктор наук 22,0 Кандидат наук 7,0 Кандидат наук 5,0 Нет 8,0 Нет
Т> П к'ишипи ищи
Нет
Нет^ Нет^
Доцент Нет^ Нет^ Нет^
Нет
Л П.1 1ЛМТ
91 6| 22 21 20 33 4 10
9 10| 9| 7
9 1,000
9 0,610 "
9 0,570
7 0,930
0.720
0,270 л ппп
0,933 0,837 0,790 0,777 0,773 0,747 0,713 0,657 П| сээ!
А
Новые оценки от эксперта
\
Расчитать усредненные оценки
Оценки типизации Интервальные оценки | Коэффициенты значимости | Частные оценки ЗУН | Частные оценки связи |
Параметр Оценка Параметр Оценка Параметр Оценка
Трудоемкость Знать сИдеальный птп> 72 ► Число ЗУН Знать сИдеальный тт> 1 Коэффициент связности сХороший пмп>
Трудоемкость Знать <Идеальный тах> 108 Число ЗУН Знать сИдеальный тах> 2 Коэффициент связности сХороший тах>
Трудоемкость Уметь <Идеальный тт> 108 Число ЗУН Уметь сИдеальный пгмп> 1 Коэффициент достижимости сХороший тт>
Трудоемкость Уметь <Идеальный тах> 144 Число ЗУН Уметь сИдеальный тах> 2 ► Коэффициент достижимости сХороший шах:
Трудоемкость Владеть сИдеальный тт> 180 Число ЗУН Владеть сИдеальный тт> 2
Трудоемкость Владеть сИдеальный тах> 396 — Число ЗУН Владеть сИдеальный тах> 3
Число дисциплин сИдеальный тах> 8
а). Основная форма и страница интервальных экспертных оценок (группа 3, табл. 6)
Оценки типизации | Интервальные оценки | Коэффициенты значимости Частные оценки ЗУН | Частные оценки связи |_
Оценки типизации | Интервальные оценки | Коэффициенты значимости | Частные оценки ЗУН Частные оценки связи |
Параметр Числовая оценка | Вербальная оценка Уточненная оценка
► Степень значимости <связь> 7.6 Выше среднего (умеренное) 7,25
Степень близости ЗУН <связь> 8,Б Выше среднего (умеренное) 7,75
Степень внутреннего влияния ЗУН <связь> 6 Среднее (умеренное) 5,88
б). Страницы частных экспертных оценок ЗУН 3990 и связи 55557 (подгруппа 1.2, табл. 6) Рис. 4. Форма для расчета компетентности экспертов и групповых экспертных оценок
Собственно экспертные оценки представлены в нижней части формы. На рис. 4а показана вкладка с интервальными оценками (оценок коэффициентов нет, так как они вне компетенции экспертов-НПС). Рис. 4б демонстрирует страницу частных оценок, при этом оценка степени полезности уточнена по формуле (1), как и все оценки связи.
6. Заключение
В результате проведенного исследования разработана информационная технология, включающая новую научно обоснованную модель группового экспертного оценивания. В отличие от существующих подобных моделей данная модель, в силу особенностей предметной области, включает алгоритм расчета научно-исследовательской компетентности на основе профессиональных характеристик экспертов. Данный показатель в совокупности с данными самооценки экспертов определяет их компетентность в предмете экспертизы.
Проведение полномасштабных исследований данной технологии, в частности, уточнения параметров расчета компетентности экспертов, возможно только в процессе решения сверхзадачи - конструирования компетенций с заданными параметрами и с оптимальной структурой, что является предметом дальнейших исследований.
Также продолжающиеся исследования предполагают дальнейшее развитие процедуры автоматизированной экспертизы проектируемой структуры компетенций в интерактивном режиме за счет разработки базы знаний, накапливающей опыт экспертов в оценивании для его последующего применения, и входящей в структуру экспертной системы поддержки принятия решений, предварительная архитектура которой представлена в статье [2].
Литература
1. Концепции Федеральной целевой программы развития образования на 2016 - 2020 годы. Утв. расп. Правительства РФ от 29 декабря 2014 г. № 2765-р. [Электронный ресурс] : http://government.ru/media/files/mlorxfXbbCk.pdf (дата обращения: 17.05.17).
2. Полетайкин А. Н., Ильина Т. С. Информационная система управления образовательным процессом в высшей школе // Вестник СибГУТИ. 2016. № 2. С. 38-50.
3. Федеральный государственный образовательный стандарт высшего образования по направлению подготовки 09.03.03 Прикладная информатика (уровень бакалавриат). Проект. [Электронный ресурс]: regulation.gov.ru. 2017 г. 21 с.
4. Полетайкин А. Н., Ильина Т. С., Белоус С. А. Системный подход к моделированию и количественному измерению образовательных компетенций // Обработка информации и мат. моделирование: материалы Рос. науч.-техн. конф. Новосибирск, 2016. С. 275-284.
5. Крохалева А. Б., Белов В. М. Технология формирования показателей профессиональной готовности специалистов на современном рынке труда / монография. М.: Горячая линия -Телеком, 2017. 152 с.
6. Ракитина О. В. Научно-исследовательская компетентность преподавателей высшей школы: методы диагностики, результаты исследования // Высшая школа на современном этапе: проблемы преподавания и обучения: материалы региональной науч.-мет. конф., 2014. С.125-130.
Статья поступила в редакцию 11.07.2017; переработанный вариант - 25.10.2017.
Полетайкин Алексей Николаевич
к.т.н., доцент кафедры математического моделирования бизнес-процессов СибГУТИ
(630102, Новосибирск, ул. Кирова, д. 86), тел. (383) 269-83-91, e-mail:
alex.poletaykin@gmail.com.
Данилова Любовь Филипповна
старший преподаватель кафедры математического моделирования бизнес-процессов СибГУТИ (630102, Новосибирск, ул. Кирова, 86), тел. (383) 269-83-91, e-mail: lubermolenko@yandex.ru.
Information technology for expert assessment of competency structure optimization parameters
A. N. Poletaykin, L. P. Danilova
This paper deals with the information technology for educational competency parameter assessment by an expert panel to structure competencies of optimal structure for developing professional degree programs. Experts' competency assessment based on their self-esteem and objective professional characteristics has been modelled. The data base and software for meeting this challenge have been developed.
Keywords: competency parameters, optimal structure, expert assessment, scientific-research competency, technology of expert assessment.
