CC BY
205
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ
УДК [004.81:159.9] :378
И. М. Ажмухамедов
НЕЧЕТКАЯ КОГНИТИВНАЯ МОДЕЛЬ ОЦЕНКИ КОМПЕТЕНЦИЙ СПЕЦИАЛИСТА
Введение
Определение уровня компетентности специалиста является в настоящее время одной из важных задач при подготовке и отборе кадров.
Так, например, разработка Федеральных государственных образовательных стандартов (ФГОС) третьего поколения основывается на компетентностном подходе, который предполагает наличие в таких стандартах формулировок, отражающих способности выпускников высшего учебного заведения применять знания, умения и личностные качества для успешной деятельности в определенной области.
Не менее важной является оценка уровня компетентности специалиста при приеме на работу или назначении на определенную должность, поскольку оптимальный подбор кадров способствует высокой отдаче каждого сотрудника и позволяет обеспечить конечный успех предприятия в целом [1].
Постановка и решение задачи
Необходимо разработать методику оценки уровня компетентности (ОУК) специалиста, позволяющую использовать ее при управлении образовательным процессом и при подборе персонала.
Данная задача может быть наиболее эффективно решена путем использования технологий тестового контроля, когда испытуемому предлагается выполнить заранее подготовленные задания различной степени сложности. Результаты выполнения оцениваются группой экспертов.
Однако при этом процедура оценки обладает специфическими особенностями, основными из которых являются:
1. Неполнота, субъективность и неопределенность информации. Субъективность выражается в том, что эксперты обладают своими стереотипами, симпатиями, предпочтениями, которые иногда могут идти вразрез с целями тестирования. Неопределённость проявляется в неточных формулировках требований типа «уверенное владение», «умение анализировать», «обладание навыками», допускающими трактовку в очень широких пределах.
2. Многокритериальность задачи, связанная с необходимостью учета большого числа частных показателей.
3. Наличие как количественных, так и качественных показателей, которые необходимо учитывать при решении задачи оценки уровня компетенции.
4. Невозможность применения классических методов оптимизации.
Таким образом, несмотря на ряд достоинств, метод тестирования не лишен недостатков: процедура оценки результатов является слабоформализованной.
Для решения широкого круга задач, связанных с моделированием плохо формализованных процессов, их прогнозированием и поддержкой принятия решений часто используются нечеткие когнитивные модели. Неоспоримыми их достоинствами по сравнению с другими методами являются возможность формализации численно неизмеримых факторов и возможность использования неполной, нечеткой и даже противоречивой информации [2].
Построим методику тестовой комплексной оценки уровня компетентности, основанную на применении когнитивного моделирования, теории нечетких множеств и отношениях предпочтения между различными критериями.
При решении многокритериальных задач часто используются различные методы свертки критериев в один обобщенный (интегральный) критерий. К таким методам построения комплексного критерия относятся аддитивная и мультипликативная свертки.
Аддитивный критерий, являясь наиболее простым, в то же время, из-за возможности неограниченной компенсации значений одних критериев за счет других, нечувствителен к крайним значениям слагаемых. Значение же мультипликативного критерия, в отличие от аддитивного, резко уменьшается при малых значениях отдельных критериев, что позволяет исключить нежелательные варианты при принятии решения.
Таким образом, для задач, где все оцениваемые параметры критично значимы, взаимосвязаны и взаимозависимы, наиболее целесообразным представляется применение мультипликативной свертки векторного критерия:
где К - частные критерии; 8 - некоторым образом определенные веса, приписываемые каждому частному критерию К/.
В случае, когда значение каждого отдельного параметра не является критично значимым и допускается компенсация влияния параметров друг на друга, может быть применена аддитивная свертка:
Оценки 8 могут быть получены экспертным путем. В случаях, когда эксперт затрудняется дать непосредственные численные оценки, могут оказаться более предпочтительными различные ранговые методы, при реализации которых требуется лишь упорядочить критерии.
Может быть использован, например, метод нестрогого ранжирования. В соответствии с этим методом экспертом производится нумерация всех критериев по возрастанию степени их важности. Допускается, что эксперту не удастся различить между собой некоторые критерии. В этом случае при ранжировании он помещает их рядом в произвольном порядке. Затем про-ранжированные критерии последовательно нумеруются. Оценка (ранг) критерия определяется его номером.
Если на одном месте находятся несколько неразличимых между собой критериев, то обычно оценка каждого из них принимается равной среднему арифметическому их новых номеров. Однако представляется целесообразным несколько модифицировать такой метод оценки, приняв за ранг каждого из неразличимых критериев номер всей группы как целого объекта в упорядочении [3].
Например, пусть критерии Р (/ = 1, ... 5) упорядочены экспертом следующим образом:
Поскольку критерии 1 и 3 неразличимы и оба занимают вторую позицию, то сумма номеров равна: 1 + 2 + 2 + 3 + 4 = 12. Соответственно, вес критерия Р4 составляет 1/12, критериев Р1 и Р3 - по 2/12, критерия Р5 - 3/12, Р2 - 4/12. Сумма весов равна единице.
Найденные таким образом оценки представляют собой обобщение системы весов Фиш-берна [4] на случай смешанного распределения предпочтений, когда наряду с предпочтениями в систему входят и отношения безразличия.
Полученный результат согласуется с хорошо известным в теории принятия решений фактом: системе возрастающего предпочтения альтернатив наилучшим образом отвечает система увеличивающихся по правилу арифметической прогрессии весов.
Влияние оценок различных факторов на комплексный (интегральный) показатель компетентности может быть представлено в виде ориентированного графа О, имеющего одну корневую вершину и не содержащего петель и горизонтальных ребер в пределах одного уровня иерархии:
где {^г} - множество вершин графа (факторов или концептов в терминологии нечеткой когнитивной модели (НКМ)); {Ду} - множество дуг, соединяющих /-ю иу-ю вершины; К0 - корневая вершина, отвечающая комплексному критерию компетентности.
(1)
(2)
Р4; (Р1, Р3); Р5; Р2
При этом дуги расположены так, что началу дуги соответствует вершина нижнего уровня иерархии (ранга), а концу дуги - вершина ранга, на единицу меньшего. Значения факторов могут быть заданы лингвистическими значениями.
Для дальнейшего построения методики ОУК на данный граф необходимо наложить полученную изложенным выше методом нестрогого ранжирования систему отношений предпочтения Е одних параметров над другими по степени их влияния на заданный элемент следующего уровня иерархии:
Е = {^ (е) е е (>; «)}.
При построении НКМ оценки компетентности на нижнем уровне необходимо расположить критерии оценки сложности тестовых заданий и критерии оценки результатов выполнения тестов.
На уровень выше - концепты, отражающие оценку сложности тестов и результатов их выполнения, рассчитанные на основе значений критериев нижнего уровня с учетом их весов влияния согласно формулам (1) и (2).
С целью повышения корректности оценки необходимо предложить испытуемому тесты различного уровня сложности (среднего, выше среднего, высокого).
На следующем уровне иерархии располагаются вершины, отражающие общую оценку выполнения конкретного теста, рассчитанную как «произведение» сложности теста на результат его выполнения. Операция «произведение» в случае лингвистических значений определяется с помощью принципа расширения обычных (четких) математических функций на нечеткие числа, предложенного Л. Заде [5].
Следующий уровень содержит оценки отдельных компетенций испытуемого, найденные как максимум соответствующих общих оценок, полученных на предыдущем уровне.
И, наконец, на верхнем уровне может быть при необходимости получена комплексная оценка компетентности испытуемого на основе аддитивной или мультипликативной свертки, согласно формулам (1) и (2).
Чтобы рассчитать комплексную оценку компетентности, необходимо произвести агрегирование данных, собранных в рамках иерархии О по направлению дуг графа.
Для представления значений факторов в НКМ введем в рассмотрение набор качественных оценок:
Ь = {Низкая (Н), Ниже среднего (НС), Средняя (С), Выше среднего (ВС), Высокая (В)},
и сформируем лингвистическую переменную «Уровень фактора» с терм-множеством значений Ь.
В качестве семейства функций принадлежности может выступать стандартный пятиуровневый 01-классификатор, где функции принадлежности - трапециевидные нечеткие числа:
Н (0; 0; 0,15; 0,25); НС (0,15; 0,25; 0,35; 0,45); С (0,35; 0,45; 0,55; 0,65);
ВС (0,55; 0,65; 0,75; 0,85); В (0,75; 0,85; 1; 1). (3)
Стандартный классификатор осуществляет проекцию нечеткого лингвистического описания на 01-носитель, при этом делает это непротиворечивым способом, симметрично располагая узлы классификации (0,1; 0,3; 0,5; 0,7; 0,9) [6].
Таким образом, в качестве математической модели оценки компетентности испытуемого может быть принят кортеж <О, Ь, Е >, в котором при переходе с одного уровня на другой применяются различные виды сверток векторного критерия.
Пройдя последовательно снизу вверх по всем уровням иерархии О и применяя описанные выше соотношения, мы не только можем путем комплексного агрегирования данных выработать суждение о качественном уровне показателя на каждой ступени иерархии, но и оценить степень обоснованности данного суждения. Для этого необходимо:
1. Поставить в соответствие лингвистическим значениям концептов иерархии О нечеткие числа согласно формуле (3).
2. Методом нестрогого ранжирования каждой дуге графа Д/у сопоставить некоторый вес 8/, отражающий влияние /-го концепта нау-й. При этом Б/у представляют собой модифицированные веса Фишберна. В некоторых случаях веса могут быть заданы экспертом непосредственно.
3. Применить аддитивную и мультипликативную свертки согласно формулам (1) и (2). При этом операции над нечеткими числами проводятся с использованием а-сечений [5].
4. Лингвистически распознать полученный результат. Для этого необходимо задаться мерой уровня распознавания, т. е. ввести так называемый индекс схожести (ИС) [7]. Индекс схожести О может быть найден на основе хемингова или евклидова расстояний между нечетким числом, характеризующим результат, и числами эталонного терм-множества (3), например, следующим образом:
о (1+ Р)
П = -^, (4)
Р =Р^, (5)
Гіп гоиґ
где роиГ представляет собой площадь нечеткого трапециевидного числа, характеризующего результат, лежащую вне эталонного числа, а ріп - площадь, лежащую внутри этого же эталонного
числа. Определенный таким образом ИС, изменяясь в диапазоне от 0 до 1, будет характеризо-
вать близость найденной свертки к тому или иному числу эталонного терм-множества.
5. На основе полученных значений принять или отклонить гипотезу о приемлемости уровня компетенции испытуемого и выработать, при необходимости, управляющие воздействия.
Расчетный пример
Пусть Т/ - тест, позволяющий проверить уровень владения некоторой компетенцией К'. Предположим, что общая сложность теста зависит от сложности трех составляющих, входящих в тест: к1, к2 и к3.
Например, если Т/ - тест, предназначенный для выявления уровня компетенции Ку = «Владение компьютером», то в качестве к1, к2 и к3 могут выступать «Умение работать с офисными программами», «Знание основ функционирования аппаратной части компьютера» и «Соблюдение правил информационной безопасности». Причем вклад этих составляющих в оценку уровня сложности теста Т может быть различным. Это различие учитывается с помощью заданных экспертами весов, соответствующих каждому из к.
Оценка сложности теста Д получается после применения аддитивной свертки согласно формуле (2).
Результат выполнения теста Я определяется с помощью мультипликативной свертки (1) частных критериев успешности выполнения, взятых с соответствующими априорно заданными весами. В качестве частных критериев могут, например, выступать: г1 - правильность выполнения заданий теста; г2 - полнота выполнения заданий; г3 - скорость выполнения.
Веса, используемые при оценке сложности теста и определении результата его выполнения, могут быть непосредственно заданы экспертами, либо могут быть получены как веса Фиш-берна в результате нестрогого ранжирования согласно описанной выше методике.
Общая оценка выполнения теста Q вычисляется как произведение сложности теста на результат его выполнения.
После прохождения испытуемым всего множества тестов, предназначенных для оценки уровня данной компетенции Ку, оценка ее уровня Ц находится как максимальное значение общих оценок выполнения тестов множества.
Далее, если это необходимо, компетенции могут быть объединены с помощью мультипликативной свертки (1) в комплексный (интегральный) показатель компетентности.
При этом значения параметров соответствуют набору качественных оценок Ь с семейством функций принадлежности (3).
Для проведения вычислений с нечеткими числами был специально разработан программный продукт, позволяющий производить арифметические операции над нормированными нечеткими числами и определять степени принадлежности полученного результата к эталонному значению трех- пяти- и семиуровневого классификатора.
В таблице приведены исходные данные и результаты расчетов для определения уровня некоторой компетенции К1.
Исходные данные и результаты расчетов для К1
Kj Ti кДвес) кг/(вес) *э/(вес) D(O) гДвес) Гг/(вес) Гз/(вес) Я(о) Q
К Т НС/(1/5) С/(2/5) С/(2/5) С(0,81) В/(0,7) ВС/(0,2) В/(0,1) В(0,79) С(0,72) ВС(0,83)
Т2 НС/(1/5) НС/(2/5) С/(2/5) НС(0,61) В/(0,7) В/(0,2) В/(0,1) В(0,79) НС(0,84)
Т3 ВС/(1/5) В/(2/5) В/(2/5) В(0,80) ВС/(0,7) ВС/(0,2) В/(0,1) ВС(0,91) ВС(0,83)
Таким образом, в результате тестового контроля для компетенции К1 получена оценка «Выше среднего» со степенью принадлежности 0,83.
Предположим, что для К2 и К3 аналогичным образом получены оценки «Выше среднего» и «Средняя». Причем эксперты при ранжировании расположили Kj в определенной последовательности: (Кь К2); К3. Тогда веса Фишберна для К1 и К2 равны по 1/4, а для К3 вес составляет 2/4. После применения мультипликативной свертки (1) комплексный (интегральный) уровень компетентности испытуемого можно оценить как «Средний» со степенью принадлежности 0,56 (степень принадлежности к оценке «Выше среднего» составляет 0,44).
Несмотря на то, что две компетенции из трех имеют уровень «Выше среднего», комплексный уровень компетентности лишь «Средний», поскольку влияние третьей компетенции на интегральную оценку выше.
Заключение
Предложенная методика оценки уровня компетенции испытуемого на базе нечеткой когнитивной модели может быть положена в основу работы компьютерной программы, позволяющей рассчитывать комплексный (интегральный) показатель компетентности. При этом лицо, принимающее решение, может варьировать веса дуг, связывающих концепты НКМ, с целью подготовки или подбора специалиста под конкретные задачи.
Методика может быть использована не только при управлении образовательным процессом, она может применяться кадровыми службами для более обоснованного и целенаправленного подбора персонала.
СПИСОК ЛИТЕРАТУРЫ
1. Скороход С. В. Применение нечётких чисел для оценки квалификации персонала // Изв. ТРТУ. Темат. вып. «Интеллектуальные САПР». - Таганрог: Изд-во ТРТУ, 2005. - № 3 (47). - С. 214-216.
2. Максимов В. И., Корноушенко Е. К. Аналитические основы применения когнитивного подхода при решении слабоструктурированных задач // Тр. ИПУ РАН. - М., 1999. - Т. 2. - С. 95-109.
3. Ажмухамедов И. М. Математическая модель комплексной безопасности компьютерных систем и сетей на основе экспертных суждений // Инфокоммуникационные технологии. - 2009. -Т. 7, № 4. - С. 103-107.
4. Фишберн П. Теория полезности для принятия решений. - М.: Наука, 1978. - 155 с.
5. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений - М.: Мир, 1976. - 165 с.
6. Каи/шапп A., Gupta M. Introduction to Fuzzy Arithmetic: Theory and Applications. - Van Nostrand Reinhold, 1991. - 161 p.
7. Проталинский О. М. Применение методов искусственного интеллекта при автоматизации технологических процессов. - Астрахань: Изд-во АГТУ, 2004. - 184 с.
Статья поступила в редакцию 15.04.2011
FUZZY COGNITIVE MODEL OF EVALUATION OF SPECIALIST COMPETENCIES
I. M. Azhmukhamedov
The method of evaluation of competence based on fuzzy cognitive model that can be useful not only in determining the competence level of graduates of higher educational institutions, but also when selecting candidates by recruitment agencies and personnel management services.
Key words: competences, competence level, fuzzy cognitive model,
Fishbern’s weight, vector test compression.
