ПОДГОТОВКА КЛАССИФИКАЦИОННЫХ ДАННЫХ ДЛЯ КОНСТРУИРОВАНИЯ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 378.14 : 004.891.2

Подготовка классификационных данных для конструирования профессиональных компетенций

А. Н. Полетайкин, Т. С. Ильина, Л. Ф. Данилова

В статье решается задача подготовки данных для конструирования внутренней структуры и оценивания сформированности образовательных компетенций. Компетенция рассматривается как параметризированная структура знаний, умений и навыков. Формирование параметризирующих данных осуществляется посредством многоаспектной классификации потенциальных элементов компетенций в их соотнесении с компонентами образовательной программы: объектами и задачами профессиональной деятельности, учебными дисциплинами, контрольными заданиями.

Ключевые слова: конструирование компетенций, оценивание компетенций, подготовка данных, параметризация, многоаспектная классификация, нечеткая классификация.

1. Введение

Сегодня в вузах России подготовка нормативной документации по основным профессиональным образовательным программам (ОПОП) требует разработки большого количества документов, основными из которых являются рабочие учебные программы (РПД) и фонд оценочных средств (ФОС). Содержание документов в составе ОПОП основано на компетенциях, формированию и оцениванию которых в последние годы в России уделяется все больше внимания как в образовательной среде (см., например, федеральный закон №122-ФЗ от 02.052015 г. [1], метод. рекомендации Минобрнауки РФ №№ ДЛ-1/05вн и ДЛ-2/05вн от 22.01.2015 г. [2, 3]), так и в науке (см., например, работы Буркова В. Н., Губанова Д. А., Райкова А. Н., Брумштейна Ю. М., Белова В. М., Крохалевой А. Б., Вешневой И. В., Зимы Е. А., Лебедева О. Е., Миньковой С. В., Рудинского И. Д. и др.). Лучшие практики применения компетентностного подхода представлены в работах Челышковой М. Б., Звонникова В. И., Масленникова А. Н., Богословского В. А., Караваевой Е. В., Байденко В. И., Селезневой Н. А., Зимней И. А. и др. В СибГУТИ в рамках компетентностного подхода исследованы вопросы профессиональной готовности специалистов [4]. Особенно актуальными эта вопросы видятся в свете ввода в действие федеральных государственных образовательных стандартов высшего образования (ФГОС ВО) версии 3++. Эти стандарты в числе прочего предполагают [5] «...самостоятельное установление профессиональных компетенций, исходя из направленности (профиля) ОПОП, на основе профессиональных стандартов, соответствующих профессиональной деятельности выпускников, а также, при необходимости, на основе анализа иных требований, предъявляемых к выпускникам». В числе таких требований, в частности, может быть соответствие структурного состава компетенций содержимому профстан-дартов, удовлетворение ограничениям по трудоемкости и этапности формирования компетенций, степени их проверяемости и объективности оценивания и т.д. В любом случае в фокусе внимания оказывается внутренняя структура отдельных профессиональных компетенций, оптимальность которой становится ключевым фактором в решении таких важных задач

вуза, как построение компетентностных моделей для ОПОП и разработка соответствующей нормативной документации (РПД, ФОС и пр.).

2. Постановка задачи

То, что при анализе образовательной компетенции, обобщающей действия выпускника при решении круга профессиональных задач и систематизирующей результаты деятельности обучения к решению этих задач, следует рассматривать не просто состав указанных действий и результатов, а их связанную структуру, соотнесенную с объектами и задачами профессиональной деятельности, убедительно доказали авторы в своих исследованиях [6, 7]. Так, было показано, что рациональное построение внутренней структуры компетенций позволяет более объективно осуществлять оценивание их сформированности именно за счет системного представления, позволяющего применять для оценивания методы информационного и системного анализа, в частности, энтропийный подход [6]. Также установлено, что для адекватного оценивания сформированности компетенции необходимо для нее разработать связанную структуру результатов обучения (знаний, умений, навыков - ЗУН) и проверяющих их контрольных заданий (КЗ), включающую связи ЗУН друг с другом и с КЗ. Модель М такой структуры выглядит следующим образом:

М = (©, ©Д ц-), ((т*, ©Д Ъи)}, g1 е С, £2 е с, (1)

где ©I и © - - пара связанных ЗУН (г ^ у), Ъ- - ориентированная связь от ©г к © -, Т* - КЗ в привязке к ЗУН ©/, Ъ^ - ориентированная однонаправленная связь от Т* к ©/, g - двухвершинные графы с одним ребром, G - множество элементов g, образующее структурную модель компетенции. Программная система, реализующая данную модель, рассмотрена и исследована в [8]. Входящий в ее состав конструктор компетенций позволяет ввести в систему компетенции и учебные дисциплины (УД) в привязке к направлению подготовки, ввести элементы ЗУН и КЗ в привязке к УД, сформировать состав ЗУН для заданной компетенции, установить связи между ЗУН и привязать к ним проверяющие их КЗ. В свете последних требований ФГОС ВО 3++ к профессиональной ориентированности компетенций в систему также добавлены функции ведения базы данных профессиональных стандартов [9] и структурирования компетенций элементами трудовых функций (ТФ), входящих в эти стандарты.

Вместе с тем построение такой структуры ручным способом требует значительных трудозатрат. К примеру, разработка структур десяти компетенций при помощи данной информационной технологии, ввиду значительной размерности множеств ЗУН согласно РПД дисциплин, покрывающих эти компетенции (см. табл. 1), потребовала в общей сложности 3.5 ч интенсивной работы преподавателя, имеющего опыт работы с данной системой.

Таблица 1. Характеристики размерности задачи конструирования компетенций

Название учебной дисциплины Объем, ч/з.е. Количество

V- >1= компетенций ЗУН КЗ

Объектно-ориентированный анализ и программирование (КР) 180/5 3 34 39

Теория систем и системный анализ 108/3 3 12 16

Базы данных (КР) 180/5 3 20 20

Проектирование информационных систем 180/5 5 22 36

Проектный практикум (КП) 180/5 4 22 30

Итого: 828/23 18 110 141

* Указано распределение компетенций по учебным дисциплинам, общее число компетенций - 10.

Однако даже если не принимать во внимание разовые временные затраты, остаются вопросы о рациональности и адекватности построенных структур. При ближайшем рассмотрении [9] было выявлено 8 показателей, характеризующих ЗУН и определяющих целесообразность их включения в структурный состав компетенции. На момент написания данной статьи это число возросло до 11. Большинство из них численно определяется исходя из принадлежности ЗУН к каким-либо агрегатам (например, УД или ТФ) либо соотнесения их с элементами каких-либо множеств (например, КЗ). Среди этих показателей есть такие, которые не предполагают традиционной иерархической классификации принадлежности. Например, показатель «Значимость», характеризующий степень общей значимости ЗУН в предметной области в их соотнесении с множеством признаков классификации, определяемых исходя из ФГОС и РПД, на которые ориентированы ЗУН. Разнообразие классификационных признаков (КП), а также тип их отношений к объектам классификации (ОК, в качестве которых выступают ЗУН) «многие-ко-многим» делает труднореализуемым применение традиционных статистических методов вычисления средних значений вхождений ЗУН в класс того или иного КП. Поэтому в данной ситуации целесообразно применять многоаспектную систему классификации со свойственной ей системой операций над классифицируемыми данными.

3. Дискретная классификация ЗУН 3.1. Фасетная система классификации ЗУН

Одним из типов многоаспектной системы классификации (МСК) является фасетная система, использующая в качестве основания классификации параллельно несколько независимых признаков (аспектов). Ее сущность состоит в систематизации ОК, в результате которой исходное множество объектов делится многократно и независимо (параллельно) по фасетам. Значения фасетов располагаются в виде перечисления (списка, односвязного или многосвязного) признаков ОК. При необходимости создания специальной выборки данных (в терминах МСК - классификационной группировки) для решения конкретной задачи осуществляется выборка необходимых признаков из фасета и их объединение в заданной последовательности. Позитивный опыт применения автором МСК данного типа для оптимального планирования поставок компьютерной техники [ 10] позволяет выдвинуть гипотезу о целесообразности ее применения в поставленной выше задаче.

Фасетная система классификации характеризуется формулой структуры кода, заданной фасетной таблицей (табл. 2), включающей фиксированный набор признаков, упорядоченный по определенному критерию. Такой способ записи удобен, когда объекты характеризуются неодинаковым набором признаков и различным их числом.

Таблица 2. Фасетная таблица многоаспектной классификационной системы

Признаки классификации

Фасеты

Ф1

Ф2

Фз

Ф«

Признак 1

Признак 2

Классификационные группировки объектов классификации

Признак т

XI

На пересечении строк и столбцов фасетной таблицы устанавливаются наборы значений г-го признака по ]-му фасету. Внутри фасета значения признаков (фактические и кодовые) могут перечисляться по некоторому порядку или образовывать сложную иерархическую структуру, если существует соподчиненность выделенных признаков. При определении требуемых характеристик какого-либо объекта берутся только необходимые признаки.

В нашем случае под объектами классификации будем понимать ЗУН как потенциальные элементы компетенций. В качестве фасетов МСК примем следующие: Ф1 - трудовые функции, Ф2 - объекты профессиональной деятельности, Фз - задачи профессиональной деятельности, Ф4 - компетенции, Ф5 - учебные дисциплины, Фб - контрольные задания. Признаки классификации формируются в виде тэгов на основе текстовых данных фасетных групп. Тэг представляет собой ссылку на элемент фасетной группы (например, для фасета Ф1 это конкретная ТФ), а также двухуровневую иерархию строк, корень которой - ключевое слово (корректная формулировка, например, тестирование), может быть словосочетанием (например, разработка приложений), а листья - образцы (строковые литералы для поиска по базе данных; как правило, это основа слова либо комбинация основ слов, в данных примерах: тестир, разраб*прил, возможны аббревиатуры). Модель классов рассмотренной МСК показана на рис. 1.

Фасеты

^Номер: Long ^>Имя : String

1 t 1 п

Фасетные группы

^Номер элемента : Long ^Формулировка : String

ЗУН

'л'-Номер : Long <%>Тип : Byte

^Формулировка : String

1

1..П

Образцы для поиска

^Ключевое слово :Тэги-

^Литерал: String 1 п

1

Тэги

Классификационные группировки

^/Базовый элемент : Фасетные групг.. ^Ключевое слово : String

-^Ключевое слово:Тэги

1 ■■п ^Объект классификации : ЗУН Рис. 1. Модель классов UML фасетной системы классификации ЗУН

Очевидно, что любая классификационная группировка (КГ) в такой системе классификации представляет собой множество множеств соотношений КП-ОК (в нашем случае Тэг-ЗУН), где мощность супермножества соответствует числу фасетов. Мощность же внутреннего множества на каждой фасетной группе различна и определяется числом соотношений КП-ОК. На рис. 1 это множество множеств представлено сущностью «Классификационные группировки».

3.2. Формализация частного критерия «Значимость компетенции»

В терминах рассмотренной выше МСК можно определить критерий значимости 1-й компетенции как среднюю степень классификации входящих в нее ЗУН по фасетным группам Ф1 - Ф5:

1 5 1®'1 / \

Si degk 1©у ), Si ^ max

l^ilk=1 j=1

(2)

где 0г- - множество ЗУН, входящих в состав 1-й компетенции, а - его у-й элемент,

£ ) - степень классификации у-го ЗУН 1-й компетенции по к-й фасетной группе. Чем

выше степень классификации отдельного ЗУН по фасетам Ф1 - Ф5, тем он значимее в данной предметной области.

Что касается незадействованного фасета Фб, то очевидно, что формулировки контрольных заданий, проверяющих ЗУН, зачастую напрямую вытекают из формулировок самих ЗУН, что делает их семантически сильно зависимыми. Поэтому определять соотношения КЗ и ЗУН посредством соответствующей классификационной группировки представляется не-

целесообразным. Вместе с тем по логике структурной модели (1) соотношение КЗ и ЗУН может быть формализовано в виде критерия проверяемости.

3.3. Формализация частного критерия «Проверяемость компетенции»

Проверяемость 1-й компетенции С имеет математический смысл, аналогичный критерию значимости, вычисляется как отношение суммы степеней проверяемости ЗУН т(©/) на множестве контрольных заданий Тг к количеству ЗУН в компетенции и характеризует

насыщенность компетенции связями КЗ-ЗУН. По аналогии с (2) средняя степень проверяемости ЗУН 1-й компетенции:

С1 = Т^ X Т(г/ ), С ^ так . (3)

Г П/=1

Данный критерий характеризует степень проверяемости множества ЗУН множеством КЗ (тип отношения - «многие-ко-многим»). Данное соотношение определяется в ФОС и изначально не предполагает какой-либо классификации, а сводится к соотнесению элементов одного множества с элементами другого множества. Между тем данное соотношение напрямую связано с задачей оценивания сформированности компетенций.

4. Технология дискретного оценивания ЗУН

Технология установления связей между ЗУН и КЗ, а также вычисления оценок ЗУН на основании этих связей, реализована в информационной системе [8] и подробно рассмотрена в НИР [9]. Задания дифференцируются на 7 типов и в зависимости от типа ориентированы на определенные типы ЗУН и разрешенные виды оценок КЗ (табл. 3).

Таблица 3. Типы контрольных заданий в системе оценивания компетенций

№ п/п Тип задания Тип ЗУН н Разрешенные оценки

З У Н 10-балльные Дихотомические

1 Простое закрытое Знать + Нет Да

2 Простое открытое Знать + Да Да

3 Простое закрытое Уметь + Нет Да

4 Простое открытое Уметь + Да Да

5 Простое открытое Владеть + Да Да

6 Комплексное Знать-Уметь + + Да Нет

7 Комплексное Уметь-Владеть + + Да Нет

Технология оценивания начинается с ввода первичных оценок. Для КЗ закрытого типа (типы 1 и 3 в табл. 3) могут быть введены номера ответов соответствующих тестовых заданий. Для КЗ типов 2 и 4-7 могут быть введены 10-балльные оценки. КЗ любого типа предполагает прямой ввод дихотомических оценок (0 - неверно, 1 - верно). Введенные таким образом исходные данные подвергаются обработке следующим образом:

1. Рассчитываются дихотомические оценки КЗ. В случае если для КЗ закрытого типа введен номер правильного ответа, вычисление производится путем сопоставления номера ответа с правильными номерами по справочнику КЗ. В случае если для /-го КЗ введена 10-балльная оценка Ог-, вычисление производится исходя из заданного порогового уровня П:

Го, если О < П

Чт п\п ' П е (0,10). (4)

11, если ОI > П

2. Оценка j-го ЗУН Oj определяется в масштабе 10-балльной шкалы по формуле (5) на основе дихотомических оценок КЗ Dj исходя из соотнесения i-х КЗ и j-х ЗУН, nj - число КЗ, определенных для j-го ЗУН (nj g N):

10 nj

O = - ZD. (5)

nj i=1

Такая технология оценивания, основанная на дискретной системе классификации, хотя и заявлена в [6-9] как повышающая объективность процедуры оценивания, все же не идеальна. Несмотря на то, что дальнейшие вычисления оценок сформированности компетенций в рамках энтропийного подхода [6] носят вероятностный характер (рассчитываемые энтропийные оценки отражают меру неопределенности относительно сформированности компетенций как системы связанных ЗУН), налицо детерминизм исходных данных и тесно с ним связанный субъективизм их формирования. В то же время в педагогической практике далеко не всегда можно однозначно утверждать о полном соответствии конкретной пары результата обучения и проверочного задания. В большинстве случаев при соотнесении проверяемых знаний, умений и тем более навыков у эксперта возникает некоторая степень неуверенности, которая при детерминированном подходе гасится субъективным восприятием ее недостаточности, в результате чего и устанавливается связь. В противном случае - нет, что нарушает фундаментальный философский принцип связанности всего со всем. Соответственно, точность оценок ЗУН, которые могут быть получены в таких условиях с применением описанного выше аппарата, представляется весьма сомнительной. В связи с этим была выдвинута гипотеза о том, что неопределенность в соответствии ЗУН и КЗ может быть устранена при помощи аппарата нечетких множеств и технологии нечеткой классификации. Таким образом, возникает задача формирования взвешенной системы связей в условиях неопределенности, которая просто решается методами нечеткой классификации и экспертного оценивания.

5. Нечеткая классификация ЗУН

Нечеткая классификация ЗУН как компонентов компетенций в их соотнесении с различными аспектами ОП открывает широкие возможности для объективизации оценивания сформированности компетенций у обучающихся. Рассмотрим один из аспектов нечеткой классификации ЗУН в их соотнесении с КЗ.

5.1. Принципы нечеткого и экспертного оценивания в условиях неопределенности

При оценивании тех или иных параметров, процессов и решений в условиях неопределенности часто приходится полагаться на субъективные мнения компетентных в данной предметной области специалистов - экспертов. Отсутствие необходимой информации и четкого знания о ситуации - одна из причин, заставляющих системных аналитиков прибегать к методам и моделям экспертного оценивания.

Наиболее полезные данные получены специалистами при анализе нечеткой неопределенности, где основной особенностью является необходимость расчетов при наличии нечетко заданных параметров или неточной технологической информации. В такой ситуации с неопределенностью оперируют методами теории нечетких множеств без привлечения классического аппарата теории вероятностей. В каждом конкретном случае степень точности решения может быть согласована с требованиями задачи и точностью имеющихся данных посредством нечетких экспертных оценок. Подобная гибкость составляет одну из важных особенностей данного метода.

При глубоком исследовании объекта выявляется множество источников неопределенности, при этом ряд параметров par невозможно измерить точно, и тогда в его оценке неизбеж-

но появляется субъективный компонент, который выражается нечеткими оценками типа «высокий», «наиболее допустимый», «очень ожидаемый», «скорее всего», «маловероятно», «не слишком» и т.п. Функция принадлежности flpar) задает количественную меру неопределенности относительно данных параметров на единичном интервале. Например, на рис. 2 представлена функция принадлежности (ФП) нечеткого множества «Оценка e по 10-балльной шкале», полученная на основании экспертных оценок. На рисунке видно, что балл от 0 до 1 оценивается экспертами как безусловно низкий, в диапазоне от 4 до 6 баллов - как безусловно средний, а от 9 и выше - как безусловно высокий. В остальных промежутках эксперты проявляют неуверенность в своей классификации, и структура этой неуверенности передается ломаным графиком ФП.

Рис. 2. График функции принадлежности нечеткого множества «Оценка е по 10-балльной шкале»

Подобное нечеткое множество может выступать и как нечеткая переменная, выражающая нечеткое значение 10-балльной оценки на четком множестве лингвистических термов ТЬ = {<Ь, Низкий>, <А, Средний>, <Н, Высокий>}, тройкой значений соответственно L, A, ^ лежащих в диапазоне от 0 до 1. Например, оценке 5 баллов соответствует тройка значений {0; 1; 0}, а оценке 7.5 балла соответствует тройка {0; 0.25; 0.625}, и т.д. Дихотомические оценки обозначают крайние случаи верно/неверно, поэтому их нечеткие эквиваленты соответственно равны {0; 0; 1} и {1; 0; 0}.

Данная переменная, в свою очередь, может являться элементом бинарного нечеткого отношения (БНО), которое строится на базе двух базисных множеств, например, множества контрольных заданий Т и множества лингвистических термов ТЬ. Полученное таким образом БНО От образует декартово произведение базовых множеств, при этом элементами БНО выступает множество кортежей. В нашем случае может быть сформировано БНО нечетких оценок контрольных заданий ОТ = , , /от(г/ , ^} Здесь Т1 е Т и е ТЬ - элементы четких множеств, /от , ^ - ФП БНО, которая определяется как отображение /От : Т, ТЬ ^ [0,1]. Фактически это матрица размером |Т| х 3, элементами которой выступают нечеткие оценки, выражаемые функцией /от , в виде троек действительных чисел единичного отрезка. Для повышения точности множество ТЬ может быть расширено до 5 или 7 элементов, что также увеличит трудоемкость процедуры формирования БНО и решения сверхзадачи нечеткого оценивания ЗУН. Исследование [8] показало, что множества трех уровней A, Щ достаточно для адекватного решения подобных задач.

5.2. Нечеткая классификация ЗУН на основе бинарных нечетких отношений

Нечеткая классификация ЗУН по множеству КЗ предполагает установление нечеткого соответствия между множествами ЗУН и КЗ посредством выставления экспертной оценки

степени уверенности в том факте, что соответствующее КЗ проверяет соответствующий ЗУН. Степень уверенности - целое число в интервале [0; 100], где 100 - полная уверенность в соответствии, 0 - полная неуверенность в соответствии. Оценки ставятся вручную на множестве сочетаний ЗУН-КЗ, которое представляет собой декартово произведение соответствующих четких множеств 0 и Т . Целесообразно для выбранного элемента ЗУН формировать полный список КЗ с полем для оценки (учитывая ограниченную область значений, вместо поля предлагать список целых чисел от 0 до 100). Вместе с тем эксперту при оценивании трудно определить точное значение (скорее всего, ему на ум будут приходить круглые числа, а требуется высокая точность). Поэтому целесообразно рядом с полем со списком разместить движок, при перемещении которого значение в поле будет плавно меняться между 0 и 100 с шагом 1. Такая графическая шкала позволит выставлять более точные числовые экспертные оценки, впоследствии масштабируемые в единичный отрезок. Таким образом, формируется

БНО М©т = ,,, Ммш (©/ ,,} (табл. 4). В терминах классификационного анализа функция принадлежности Имш е [0,1] - оценка степени уверенности эксперта в отнесении ОК ©, е © к КП т, е Т .

Таблица 4. Структура бинарного нечеткого отношения нечеткой классификации ЗУН

Объекты классификации (ЗУН) Признаки классификации (контрольные задания)

т1 т2 т3 тт

©1

' 4

©2 Нечеткие оценки Ммот е [0,1] степени уверенности эксперта в отнесении ©у к т -

©п

п г т п

Методика экспертного оценивания параметров оптимизации структурного состава компетенций совсем недавно отработана авторами в статье [11]. В отличие от существующих подобных моделей экспертного оценивания она включает алгоритм расчета научно-исследовательской компетентности на основе профессиональных характеристик экспертов, в роли которых выступают научно-педагогические сотрудники вуза (эксперты-НПС). Данный показатель в совокупности с данными самооценки экспертов в части знакомства с компетент-ностным подходом к проектированию ОПОП и с задачей формирования структуры компетенции определяет их компетентность в предмете экспертизы.

Данная методика может быть применена в задаче нечеткой классификации ЗУН с поправкой на подбор экспертов-НПС, компетентных в области применения данных ЗУН. В связи с этим в алгоритм расчета компетентности экспертов может быть включен также показатель самооценки экспертов в части их знакомства с этой областью применения.

6. Технология нечеткого оценивания ЗУН

Рассмотренные в разделе 5 БНО могут быть использованы для решения задачи оценивания ЗУН в условиях нечеткой неопределенности, которая, как было показано в разделе 4, имеет место при соотнесении ЗУН с их проверяющими контрольными заданиями.

Для получения оценок ЗУН на основе нечеткого отношения М©т уместно применить операцию композиции БНО. Данная бинарная операция не дистрибутивна и предполагает наличие левого (Л) и правого (П) операндов, в роли которых выступают согласованные по

размеру БНО. Результатом операции является некоторое результатное БНО, функция принадлежности которого определяется по формуле /дхп = maxjmin /лц> /П ¡к }}-

arg j J J

Композиция max-min для решения задачи оценивания ЗУН будет выглядеть следующим образом:

О0= M©x®Ox, (6)

/О© , tj)}= max{mm\/iM@x (©,-, j, /Ox{Tj, tk)}}- (7)

Tj еХ

Левое БНО M©x - условно-постоянное (содержит экспертные оценки), выражает нечеткую классификационную группировку ЗУН ©/ е0 по контрольным заданиям тj е Х (см.

табл. 4). Правое БНО - переменное, содержит фаззифицированные (приведенные к нечеткой форме) оценки КЗ тj е Х тройками оценок уровня выраженности tk е TL.

Результатом операции композиции (6) является БНО О© размером |©| х 3, каждая строка

которого выражает нечеткую характеристику трех уровней выраженности оценки соответствующего ЗУН. Четкая оценка /-го ЗУН образуется посредством выполнения операции де-фаззификации методом центра тяжести для одноточечных множеств:

п

ю©-. • ь-

О = ^-, (8)

10©.-

-=1 .

где 0©гу - элемент БНО 0©, выражаемый ФП Мо0 , —} по формуле (7), Ь- - четкое

значение соответствующего элемента базисного множества оценок ТЕ, определяемое на основе ФП «Нечеткая оценка е по 10-балльной шкале», график которой показан на рис. 2.

7. Контрольный эксперимент

В качестве экспериментальных данных для исследования разработанной модели нечеткой классификации рассмотрим практический пример оценивания ЗУН по дисциплине «Теория систем и системный анализ» (табл. 1) направления подготовки «Прикладная информатика» на основе дискретной классификации ЗУН, представленный в отчете [9]. Для данной дисциплины введены 12 ЗУН (табл. 5), которые отнесены к профессиональной компетенции ПК-1 «Способность проводить обследование организаций, выявлять информационные потребности пользователей, формировать требования к информационным системам», а также 16 КЗ (табл. 6). При соотнесении данных наборов было получено 80 сочетаний КЗ-ЗУН. В табл. 5 и 6 представлены числа соотношений по отдельным элементам. Сама матрица смежности, задающая указанные соотношения, представлена в табл. 7, где элементы, выделенные полужирным, соответствуют установленным связям КЗ-ЗУН.

Таблица 5. Состав ЗУН дисциплины «Теория систем и системный анализ»

Шифр Формулировка Число КЗ

З.1 Основные понятия системного анализа 4

З.2 Основные модели систем 7

з.з Методы декомпозиции и агрегирования 5

З.4 Принципы системного анализа 10

У.1 Обосновать выбор функциональной структуры информационной системы 6

У.2 Формулировать цели и задачи исследования сложных систем 8

У.3 Обрабатывать и анализировать исходную информацию 9

У.4 Организовать работы с научно-технической документацией 3

У.5 Разрабатывать планы и программы проведения научных исследований и технических разработок 5

Н.1 Системного анализа в области обеспечения информационной безопасности 9

Н.2 Сбора и обработки научно-технической информации 9

Н.3 Планирования научных исследований и технических разработок 5

Таблица 6. Состав КЗ по дисциплине «Теория систем и системный анализ»

№ пп Тип Формулировка Число ЗУН

1 Простое закрытое Знать Система - это 5

2 Простое закрытое Знать Системный анализ - это 4

3 Простое закрытое Знать Принцип декомпозиции предназначен для 4

4 Простое закрытое Знать Модель относится к системе, как 3

5 Простое закрытое Знать Декомпозиция и агрегирование относятся друг к другу как 7

6 Простое закрытое Знать К основным моделям, описывающим систему, не относятся 5

7 Простое закрытое Уметь Под функциональной структурой ИС понимается 4

8 Простое закрытое Уметь Целью исследования системы не является 5

9 Простое закрытое Уметь План проведения исследования включает 4

10 Простое открытое Знать Выполнить декомпозицию бизнес-процесса 4

11 Простое открытое Знать Построить функциональную модель системы 4

12 Простое открытое Уметь Разработать функциональную структуру ИС 5

13 Простое открытое Уметь Сформулировать цель и задачи анализа существующей ИС 5

14 Простое открытое Владеть Осуществить системный анализ предметной области 7

15 Простое открытое Владеть Систематизировать полученную информацию о предметной области 7

16 Простое открытое Владеть Спланировать проведение научного исследования с целью создания ИС 7

Для нечеткого оценивания ЗУН разработана нечеткая КГ в виде БНО М(левый операнд в (6) - размером 12 х 16). В табл. 7 представлено итоговое БНО по типу структуры классификационной матрицы, показанной в табл. 4. Оценки степени уверенности дали 3 эксперта с оценками компетентности 0.93, 0.71 и 0.66. Полужирным выделены 80 сочетаний, которые имели место при соотнесении наборов ЗУН и КЗ дискретным способом. То есть в дискретном варианте табл. 7 представляет собой матрицу смежности, где на месте выделенных значений располагаются единицы, задавая 80 связей между ЗУН и КЗ. Некоторые единичные случаи демонстрируют явно низкие оценки (напр., сочетания КЗ 8 и 11 с У.3, в первом случае - явная ошибка НПС, формирующего матрицу смежности). В то же время среднее значение по выделенным оценкам составляет 0.86, что говорит об относительно высокой корреляции мнений первого НПС и экспертной группы, осуществляющей нечеткую классификацию.

Таблица 7. Нечеткая классификация ЗУН в виде бинарного нечеткого отношения

\КЗ ЗУН\ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

З.1 1.00 1.00 0.70 0.65 0.91 0.74 0.81 0.89 0.58 0.66 0.74 1.00 0.83 1.00 0.60 0.38

З.2 0.57 0.33 0.54 1.00 0.97 1.00 0.77 0.92 0.74 0.88 0.91 0.98 0.95 0.45 0.59 1.00

З.З 0.51 0.59 1.00 0.24 1.00 0.93 0.75 0.64 0.24 0.94 0.85 1.00 0.23 0.96 0.82 0.15

З.4 0.94 1.00 0.98 0.94 0.88 0.65 0.68 0.71 0.60 0.95 0.95 0.94 0.85 1.00 0.98 0.54

У.1 0.35 0.41 0.54 0.47 0.97 0.44 1.00 0.82 0.24 0.90 0.92 0.94 0.90 0.70 0.84 0.88

У.2 0.88 0.74 0.68 0.64 0.92 0.81 0.90 0.85 0.25 0.89 0.96 0.84 0.95 0.91 0.97 0.78

У.3 0.12 0.54 0.78 0.34 0.82 0.53 0.28 0.25 0.64 0.50 0.45 0.48 0.44 0.59 0.92 0.63

У.4 0.14 0.28 0.07 0.11 0.56 0.68 0.65 0.45 1.00 0.45 0.41 0.25 0.47 0.80 0.95 1.00

У.5 0.64 0.75 0.25 0.80 0.58 0.89 0.34 0.49 1.00 0.42 0.72 0.44 0.26 0.76 0.90 1.00

Н.1 0.80 0.85 0.20 0.14 0.64 0.71 0.59 0.54 0.60 0.64 0.64 0.64 0.71 1.00 0.98 0.80

Н.2 0.75 0.80 0.85 0.48 0.60 0.56 0.75 0.82 0.93 0.71 0.38 0.35 0.60 0.70 0.70 0.88

Н.3 0.25 0.95 0.78 0.75 0.64 0.50 0.80 1.00 1.00 0.54 0.48 0.50 0.32 0.57 0.81 1.00

В табл. 8 представлены первичные оценки контрольных заданий (столбец О^ и соответствующие им тройки значений лингвистических термов (Ь, А, Н) уровня для трех испытуемых - студентов третьего курса направления подготовки «Прикладная информатика», различающихся общим уровнем успеваемости по предыдущему семестру, в котором изучалась данная учебная дисциплина:

- Испытуемый 1, средний балл 4.83;

- Испытуемый 2, средний балл 4.17;

- Испытуемый 3, средний балл 3.67.

Первичные оценки Ot субъективно выставлены НПС на основе результатов группового испытания, включающего 9 тестовых заданий и 7 практических задач, краткие формулировки которых представлены в табл. 6 (порядок нумерации в табл. 8 сохранен). Испытание проводилось в стенах университета в дневное время в спокойной обстановке без участия третьих лиц. Длительность испытания составляла 2 академических часа.

Фаззифицированные значения оценок (Ь, А, Н) рассчитаны по графику ФП «Нечеткая оценка по 10-балльной шкале» (см. рис. 2). Множества нечетких оценок по всем КЗ для трех испытуемых образуют соответственно три матрицы БНО О- (правый операнд в (6) - размером 16 х 3).

Таблица 8. Первичные оценки контрольных заданий и их фаззифицированные эквиваленты

КЗ № п/п Испытуемый 1. Ср. балл 4.83 Испытуемый 2. Ср. балл 4.17 Испытуемый 3. Ср. балл 3.67

Ot Ь А Н От Ь А Н От Ь А Н

1 1 0 0 1 1 0 0 1 1 0 0 1

2 1 0 0 1 1 0 0 1 0 1 0 0

3 1 0 0 1 0 1 0 0 1 0 0 1

4 1 0 0 1 1 0 0 1 1 0 0 1

5 1 0 0 1 0 1 0 0 0 1 0 0

6 1 0 0 1 1 0 0 1 1 0 0 1

7 1 0 0 1 1 0 0 1 1 0 0 1

8 1 0 0 1 1 0 0 1 0 1 0 0

9 1 0 0 1 1 0 0 1 0 1 0 0

10 8.5 0 0 0.825 8.0 0 0 0.750 7.5 0 0.250 0.625

11 9.5 0 0 1 7.5 0 0.250 0.625 6.0 0 1 0.250

12 9.0 0 0 1 7.5 0 0.250 0.625 7.0 0 0.500 0.500

13 8.0 0 0 0.750 9.0 0 0 1 6.5 0 0.750 0.325

14 9.5 0 0 1 8.0 0 0 0.750 3.5 0.325 0.750 0

15 8.5 0 0 0.825 7.5 0 0.250 0.625 6.5 0 0.750 0.325

16 8.0 0 0 0.750 7.0 0 0.500 0.500 5.5 0 1 0.125

Результаты оценивания ЗУН дискретным и нечетким способами представлены в табл. 9 для этих же трех испытуемых.

Столбец О_D содержит оценки, рассчитанные дискретным способом на основе первичных оценок из столбца Oт табл. 8 в соответствии с распределением ЗУН по множеству КЗ согласно матрице смежности (выделенные полужирным значения в табл. 7). Балльные оценки заданий 10 - 16 преобразованы в дихотомические по формуле (4) с учетом порогового уровня, указанного в подзаголовке табл. 9. Собственно оценки ЗУН рассчитаны по формуле (5) на множестве всех 16-ти заданий. Все расчеты дискретным способом выполнены посредством программной системы, рассмотренной в [8].

Таблица 9. Результаты оценивания ЗУН на основе дискретной и нечеткой классификации

Шифр ЗУН Испытуемый 1 Уровень «Отлично» Испытуемый 2 Уровень «Очень хорошо» Испытуемый 3 Уровень «Удовлетворительно»

О D L A H О F AO О D L A H О F AO О D L A H О F AO

З.1 10.0 0.00 0.00 1.00 10.0 0.00 7.50 0.91 0.38 1.00 5.63 1.87 5.00 1.00 0.75 1.00 5.00 0.00

З.2 7.14 0.00 0.00 1.00 10.0 2.86 5.71 0.97 0.50 1.00 5.42 0.30 5.71 0.97 1.00 1.00 5.31 0.40

З.З 10.0 0.00 0.00 1.00 10.0 0.00 4.00 1.00 0.25 0.93 4.37 0.37 6.00 1.00 0.85 1.00 5.00 1.00

З.4 9.00 0.00 0.00 1.00 10.0 1.00 6.00 0.98 0.50 1.00 5.39 0.61 7.00 1.00 0.95 0.98 4.70 2.30

У.1 6.67 0.00 0.00 1.00 10.0 3.33 5.00 0.97 0.50 1.00 5.42 0.42 6.67 0.97 0.92 1.00 5.32 1.34

У.2 7.50 0.00 0.00 0.96 8.84 1.34 6.25 0.92 0.50 0.95 5.08 1.17 5.00 0.92 0.96 0.90 4.96 0.04

У.3 10.0 0.00 0.00 0.83 8.30 1.70 4.44 0.82 0.50 0.64 4.57 0.13 6.67 0.82 0.75 0.78 4.92 1.75

У.4 6.67 0.00 0.00 1.00 10.0 3.33 3.33 0.56 0.50 1.00 6.46 3.13 3.33 1.00 1.00 0.68 4.14 0.81

У.5 8.00 0.00 0.00 1.00 10.0 2.00 4.00 0.58 0.50 1.00 6.42 2.42 6.00 1.00 1.00 0.89 4.53 1.47

Н.1 8.89 0.00 0.00 1.00 10.0 1.11 7.78 0.64 0.50 0.85 5.5 2.28 5.56 0.85 0.80 0.80 4.90 0.66

Н.2 8.89 0.00 0.00 0.93 8.72 0.17 6.67 0.85 0.50 0.93 5.2 1.46 6.67 0.93 0.88 0.85 4.84 1.83

Н.3 8.00 0.00 0.00 1.00 10.0 2.00 6.00 0.78 0.50 1.00 5.92 0.08 2.00 1.00 1.00 0.80 4.36 2.36

Среднее 8.40 9.66 1.57 5.56 5.45 1.18 5.47 4.83 1.16

Все остальные расчеты в табл. 9 выполнены посредством табличного процессора MS Excel. Столбцы L, A, H содержат элементы результатного в (6) БНО О©, значения которых

рассчитаны по формуле (7) и образуют нечеткие оценки соответствующих ЗУН. Дефаззифи-цированные значения нечетких оценок ЗУН рассчитаны по формуле (8) и представлены в столбце O_F. Столбец AO содержит разность оценок, полученных дискретным и нечетким способами.

В целом из табл. 9 видна корреляция оценок O_D и O_F и примерное соответствие среднего балла по всем ЗУН. Средняя относительная разность оценок не превышает 10-12 %, что недалеко от уровня предельно допустимой погрешности в 10 %. Характерно, что расчет оценок на основе нечеткой классификации ЗУН не требует избирательного задания порогового уровня оценивания, как это предполагает дискретный способ, что существенно упрощает методику и делает ее более гибкой.

Также следует заметить, что дальнейший расчет сформированности компетенции ПК-1, состав которой образуют данные 12 ЗУН, у всех троих испытуемых показал ее несформиро-ванность при расчете ЗУН дискретным способом на том же пороговом уровне, в то время как при расчете сформированности компетенции на основе нечеткой классификации ЗУН компетенция оказывается сформированной у испытуемого 1 - на высоком уровне, у испытуемого 2 - на среднем. Обратная ситуация получилась у испытуемого 3 со средним баллом ниже четырех, где на этом же пороговом уровне «Удовлетворительно» компетенция оказалась не-сформирована на обоих наборах оценок. Лишь задав дополнительный пороговый уровень «Элементарный», разрешающий оценки ниже 5 баллов, удалось добиться сформированности компетенции на основе оценок ЗУН, полученных нечетким способом.

8. Заключение

В статье решена актуальная задача подготовки данных для конструирования оптимальных структур профессиональных компетенций. Полученные классификационные данные используются для расчета двух частных критериев качества состава компетенции.

Кроме того, побочным эффектом классификации ЗУН по признаку их отнесения к проверяющим контрольным заданиям оказалась возможность применения этих данных для улучшения методики оценивания сформированности компетенций. И хотя контрольные расчеты проводились без учета связей ЗУН, учет которых может дать более отчетливую картину, в общем можно утверждать о наличии корректной и гибкой методики подготовки данных, обладающей научной новизной, которая заключается в расширении сферы применения классификационного анализа для конструирования профессиональных компетенций с оптимальной структурой.

Вместе с тем методика оценивания сформированности компетенций на основе нечеткой классификации ЗУН требует более тщательного исследования и калибровки в соотнесении с верифицированными данными успеваемости испытуемых, что не вписывается в рамки данного исследования, задача которого, поставленная в разделе 2, решена в полной мере. Выдвинутые гипотезы о целесообразности применения многоаспектной системы классификации для конструирования профессиональных компетенций и о возможности погашения неопределенности в соответствии ЗУН и КЗ при помощи нечеткой классификации нашли косвенное подтверждение на основе полученных результатов. Для прямого их подтверждения необходимо продолжать исследования в части встраивания разработанных критериев в оптимизационную модель и более широко изучить технологию оценивания сформированности компетенций, особенно в отношении точности оценивания. Полученные же решения позволяют приблизиться к созданию заявленной в статье [11] оптимизационной модели, прототип которой рассмотрен в отчете [9], а также повысить объективность и гибкость процедуры оценивания сформированности компетенций.

Литература

1. О внесении изменений в трудовой кодекс Российской Федерации и статьи 11 и 73 федерального закона «Об образовании в РФ» - Федеральный закон № 122-ФЗ от 02.05.2015 г.

2. Методические рекомендации по разработке ООП и ДПП с учетом соответствующих профессиональных стандартов, от 22 января 2015 г. № ДЛ-1/05вн. [Электронный ресурс]. URL: www.docs.cntd.ru/document/420264612 (дата обращения 21.12.2017 г.).

3. Рекомендации по актуализации действующих ФГОС ВО с учетом принимаемых профессиональных стандартов. Рекомендации Минобрнауки России от 22 января 2015 г. № ДЛ-2/05вн. [Электронный ресурс]. URL: www.consultant.ru/document/cons_do c_LAW_175196/ (дата обращения 24.12.2017 г.).

4. Крохалева А. Б., Белов В. М. Технология формирования показателей профессиональной готовности специалистов на современном рынке труда: монография. М.: Горячая линия -Телеком, 2017. 152 с.

5. Федеральный государственный образовательный стандарт высшего образования по направлению подготовки 09.03.03 Прикладная информатика. 20 с. [Электронный ресурс]. URL: http://fgosvo.ru/fgosvo/downloads/14 8 0/?f=%2Fuploadfiles%2FF GOS+VO+3%2B%2B%2FBak%2F090303_B_3_17102017.pdf (дата доступа 17.01.2018 г.).

6. Ильина Т. С., Полетайкин А. Н. Энтропийный подход к оцениванию сформированности образовательных компетенций // Труды XXIX Междунар. науч. конф. «Математические методы в технике и технологиях». 2016. Т. 8. С. 137-141.

7. Il'ina T., Kanev V., Polietaikin A. Neoclassical Approach to Objectivization of Competency Assessment // 2017 International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), 18-22 Sep. 2017, Novosibirsk, Russia. P. 72-76.

8. Ильина Т. С., Полетайкин А. Н. Информационная технология системного оценивания образовательных компетенций // Труды XIII международной научно-технической конференции «Актуальные проблемы электронного приборостроения». 2016. Т. 9. С. 172-177.

9. Модельно-инструментальный комплекс для поддержки принятия решений в риск-устойчивом управлении образовательной деятельностью в вузе / Отчёт о НИР (заключительный) / рук. д.т.н. Канев В.С., исп. к.т.н. Полетайкин А.Н., к.т.н. Шевцова Ю.В., к.т.н. Ильина Т.С., Данилова Л.Ф., Захаров Н.Ю. Новосибирск, 2017. 145 с.

10. Спорыхин В. Я., Полетайкин А. Н. Построение классификатора устройств компьютерной техники // Научные работы Донецкого государственного технического университета. Серия: Вычислительная техника и автоматизация, выпуск 15 (130). 2008. С. 128-135.

11. Полетайкин А. Н., Данилова Л. Ф. Информационная технология экспертного оценивания параметров оптимизации структурного состава компетенций // Вестник СибГУТИ. 2017. № 4. С. 84-96.

Статья поступила в редакцию 31.01.2018; переработанный вариант - 21.02.2018.

Полетайкин Алексей Николаевич

к.т.н., доцент, доцент кафедры информационных технологий Кубанского государственного университета (350033, Краснодар, ул. Ставропольская, 149), тел. (861) 219-95-77, e-mail:

alex.poletaykin@gmail.com.

Ильина Татьяна Сергеевна

к.т.н., заведующая кафедрой иностранных и русского языков Сибирского государственного университета телекоммуникаций и информатики (630102, Новосибирск, ул. Кирова, 86) тел. (383) 269-39-18, e-mail: tosibguti@mail.ru.

Данилова Любовь Филипповна

ст. преподаватель кафедры математического моделирования бизнес-процессов СибГУТИ (630102, Новосибирск, ул. Кирова, 86), тел. (383) 269-83-91, e-mail:

lubermolenko@yandex.ru.

Classification data for constructing professional competences A. N. Poletaykin, T. S. Ilina, L. Ph. Danilova

The issue of data origination for constructing the internal structure of competences and their assessment has been solved. The competence is considered to be a parameterized structure of knowledge, skills and proficiency. Generation of parameterizing data has been performed through multivariable classification of competence candidate components to be correlated with the ones of the professional degree programs: objects and tasks of professional activity, academic courses, testing assignments.

Keywords: constructing competences, competence assessment, data origination, parameterization, multivariable classification, fuzzy classification.