CC BY
76
Посилання на статтю____________________________________________________________
Рач В.А. Контекстно-личностное оценивание компетентности проектных менеджеров с использованием теории нечетких множеств / В.А. Рач, О.В. Бірюков // Управління проектами та розвиток виробництва: Зб.наук.пр. - Луганськ: вид-во СНУ ім. В.Даля, 2009. - № 1(29). - С. 151-169._________________________________________________
УДК 005.8:005.336.2
В.А. Рач, О.В. Бирюков
КОНТЕКСТНО-ЛИЧНОСТНОЕ ОЦЕНИВАНИЕ КОМПЕТЕНТНОСТИ ПРОЕКТНЫХ МЕНЕДЖЕРОВ С ИСПОЛЬЗОВАНИЕМ ТЕОРИИ НЕЧЕТКИХ МНОЖЕСТВ
Предложен подход расчета наиболее типичных оценок таксономии, перевода их в нечеткие множества и расчета на их основе обобщенного показателя компетентности. Рис. 4, табл. 14, ист. 14.
Ключевые слова: таксономия, функция принадлежности, элементы
компетенции, компетентность, проектный менеджер.
В.А. Рач, О.В. Бірюков
КОНТЕКСТНО-ОСОБИСТІСНЕ ОЦІНЮВАННЯ КОМПЕТЕНТНОСТІ ПРОЕКТНИХ МЕНЕДЖЕРІВ З ВИКОРИСТАННЯМ ТЕОРІЇ НЕЧІТКИХ МНОЖИН
Запропоновано підхід до розрахунку найтиповіших оцінок таксономії, переведення їх в нечіткі множини і розрахунку на їх основі узагальненого показника рівня компетентності проектних менеджерів.
V^. Rach, O.V. Biryukov
CONTEXT-PERSONALITY EVALUATION OF THE PROJECT MANAGER’S COMPETENCE USING FUZZY SETS THEORY
Approach to calculation most typical taxonomy marks and their further transformation in fuzzy sets in order to calculate integrative index of the project manager's competence level.
Постановка проблемы в общем виде и ее связь с важными научными или практическими заданиями. Традиционно любая оценка, включая оценку деятельности человека, производится с использованием таких понятий как «хорошо», «удовлетворительно», «неудовлетворительно» и т.п.[1] По своей сущности это нечеткие понятия, которые у каждого эксперта имеют своё количественное отображение. Такая же ситуация существует при оценке компетентности проектных менеджеров. В связи с этим при решении вопросов их оценки, целесообразно применять теорию нечетких множеств.
Анализ последних исследований и выделение нерешенной части общей проблемы. Из анализа источников доступных в сети Internet [2-4] можно сделать вывод, что аппарат теории нечетких множеств широко используется для формализации процессов подбора персонала, его аттестации, оценки компетентности. Особенно он эффективен в условиях присутствия субъективных оценок экспертов и неопределенности вызванной неточными или некорректными формулировками требований к персоналу и описанию его компетенций.
“Управління проектами та розвиток виробництва”, 2009, № 1(29) 1
Если рассмотреть какие сегодня существуют требования к оценке компетентности проектного менеджера, то согласно 1СВ v.3.0 [5] и NCB иА v.3.0 [6], компетентность оценивается экспертами по шкале от 0 до 10 баллов. При этом каждому бальному значению шкалы соответствует нечеткое описание степени компетентности и вводятся границы изменения средних оценок (таксономия) для каждого сертификационного уровня в рамках модели 4^^ 1РМА. В работах [7-8] предложено использовать для оценки компетентности метод контекстно-личностного оценивания основанный на проверке знаний в элементах компетенций с позиций «знать» и «применять». Однако при этом в оценке степени компетентности используются четкие значения баллов по принятой шкале таксономии. После этого с полученными по отдельным элементам баллами выполняются традиционные операции сложения, вычитания, деления. А это является осознанным уходом от неоднозначности которая заложена авторами 1СВ и NCB в оценочных шкалах, что может привести к ложным суждениям о компетентности конкретного проектного менеджера. Поэтому актуальной является задача применения теории нечетких множеств для определения компетентности проектных менеджеров.
Формирование целей статьи (постановка задания).В данной статье предпринята попытка сформулировать и обосновать один из подходов применения теории нечетких множеств к определению компетентности проектных менеджеров.
Изложение основного материала исследования. Рассмотрим более подробно подход изложенный в 1СВ v.3.0 и NCB иА v.3.0 сосредоточив свое основное внимание на шкале оценки [6 стр. 40-41] и методике её использования. Крайние значения шкалы - 0 баллов (отсутствие компетентности) и 10 баллов (абсолютная компетентность) используются на практике очень редко. Фактически при оценке знаний и опыта асессор (эксперт) определяет приблизительный уровень компетентности: низкий (1-3 баллов), средний (4-6) баллов, высокий (7-9) баллов. Далее эта предварительная оценка может уточняться: (1-низкий; 2-средний; 3-высокий) низкий уровень компетентности; (4-низкий; 5-средний; 6-высокий) средний уровень компетентности; (7-низкий; 8-средний; 9-высокий) высокий уровень компетентности. Однако, в этом подходе есть определенный недостаток - уточнение производится в рамках первоначально (приблизительно) определенного уровня (низкого, среднего, высокого), и не уточняются принципы возможного перехода от одного уровня к другому. Например, если асессор при первой предварительной оценке выставил низкую из высоких оценок - 7 баллов, то при детализации (уточнении) возможны варианты еще двух оценок в 6 баллов (высокая из средних оценок) и 8 баллов (средняя из высоких оценок). Эта ситуация осложняется тем что, таксономия рекомендованных оценок по элементам знаний для различных сертификационных уровней зачастую принимает граничные значения баллов. Практические примеры, приведенные в [5-6,9] показывают, что эксперты могут выставлять и промежуточные баллы, детализированные до десятых и сотых единиц от целого.
На рис.1 приведено распределение таксономии оценок знаний по уровням сертификации согласно NCB иА v.3.0.
Данное распределение имеет определенное отличие по структуре от распределения оценок в 1СВ. Так авторы ^СВ иА) ввели еще одно направление компетенции - дополнительные компетенции. Однако в рамках технических, поведенческих и контекстуальных элементов компетенций таксономия оценок обозначенных в NCB иА v.3.0 и 1СВ v.3.0 полностью совпадает [5-6]. Логика заложенная авторами 1СВ v.3.0 в распределение оценок таксономии (рис.1,
табл.1) понятна - с возрастанием сертификационного уровня возрастают требования к знаниям элементов компетенций и изменяется степень их важности для успешного управления проектами на практике. Но при фактическом сравнении шкалы оценивания и таксономии элементов видно, что для успешного прохождения сертификации на уровень D достаточно получить основную массу оценок в интервале 2, 3, 4 баллов, что согласно шкале оценивания говорит о низком и среднем уровне компетентности. В подобном случае целесообразнее было бы вводить разграничения низкого, среднего и высокого уровня компетентности внутри предлагаемого диапазона таксономии.
Рис. 1. Распределение таксономии оценок знаний по уровням сертификации согласно
ЫОВ УА у.3.0
Таблица 1
Диапазоны изменения баллов таксономии и их средние значения согласно NCB иА
v.3.0
Направления компетенций по элементам
Технические | Поведенческие | Контекстуальные | Дополнительные
Сертификационные уровни
О О ВАйОВАйОВАйОВА
Диапазон изменения баллов таксономии
NCB 4-6 |5-6 |6-7 |7-8 |3-4 |4-5 |5-7 |6-8 |2-4 |3-5 |5-7 |6-8 |2-3 |4-5 |5-7 |7-8
Средние значения баллов оценок таксономии
NCB 4,85 15,6 |6,8 17,65 |3,53 |4,73 |6,06 |7,06 |3,18 |4,18 |5,72 |6,91 |2,83 |4,5 |6,16 |7,5
Возможный диапазон изменения баллов таксономии по сертификационным уровням согласно NCB иА v.3.0 представлен в табл.2., там же указаны рекомендуемые авторами [9] пределы изменения баллов таксономии.
Отличие в диапазонах изменения таксономии построенных на основании [56] и на основании [9], может быть вызвано тем, что авторы [9] указали возможные (рекомендованные) баллы таксономии которые могут быть использованы сертификационными отделениями Национальных ассоциаций при разработке и использовании Национальных стандартов оценки компетентности проектных менеджеров. Учет национальных и культурных отличий
осуществляется с помощью добавления специфических национальных элементов компетенций и содержания к 1СВ, что в свою очередь может отразиться на используемых диапазонах таксономии.
Таблица 2
Сравнение диапазонов изменения значений таксономии
Информационные источники Сертификационные уровни
й С В А
1СВ у.3.0 / ЫСВ иА у.3.0 2,0-6,0 3,0-6,0 5,0-7,0 6,0-8,0
1СВ согласно [9] 2,5-6,0 3,0-6,5 4,5-8,0 5,5-9,5
Следует так же отметить, что в [9 стр. 276 рис.6 ] речь ведется об изменениях диапазонов средних баллов таксономии для каждого уровня 1РМА, то есть фактические оценки выставляемые асессорами могут отличаться от диапазонов приведенных в табл.2. Отклонение фактических оценок от рекомендуемых средних не должно быть значительным, в противном случае нарушается логика разграничения таксономии по уровням сертификации. В связи с этим, нами предлагается подход определения диапазона наиболее типичных баллов таксономии для каждого элемента компетенции. Логика подобного подхода базируется на анализе границ изменения средних баллов таксономии элементов по сертификационным уровням.
Рассмотрим пример на основе оценок таксономии для элементов контекстуальной компетенции табл.3. Средние баллы таксономии элемента 3.01 «Проектно-ориентированное управление» изменяются от сертификационного уровня D до уровня А следующим образом: 4-5-7-8 баллов. Разница между оценкой уровня D и С равна 1 баллу. Среднее значение оценки между этими уровнями равно 4,5 баллам, что является верхней границей наиболее типичных оценок для уровня D и нижней границей наиболее типичных оценок для уровня С. При средней оценке уровня D в 4 балла и верхней границе в 4,5 балла, нижняя граница будет равняться 3,5 баллам. Разница между оценкой уровня С и В равна 2 баллам. Среднее значение оценки между этими уровнями равно 6 баллам, что является верхней границей оценок для уровня С и нижней границей для уровня В. Таким образом граница наиболее типичных оценок для уровня С равна 4,5- 6,0 баллам соответственно, при этом средняя оценка равна 5 баллам и она является модой распределения оценок для данного уровня. Аналогично проводятся расчеты границ таксономии для других сертификационных уровней, при этом верхняя граница наиболее типичных оценок для уровня А будет определяться нижней границей и средним значением. Результаты подобных расчетов сведены в табл.4, таким же способом велся расчет для технических, поведенческих и дополнительных элементов компетенций.
Таблица 3
Таксономия средних оценок для элементов контекстуальной компетенции
3. Контекстуальные компетенции Сертификационные уровни
й | С | В 1 А
3.01 Проектно-ориентированное управление 4 5 7 8
3.02 Программно-ориентированное управление 2 3 5 7
3.03 Портфельно-ориентированное управление 2 4 6 8
3.04 Осуществление 3П 4 5 6 7
3.05 Постоянная организация 4 5 6 7
Продолжение таблицы 3
3.06 Предпринимательская деятельность 3 5 7 8
3.07 Системы, продукты и технология 3 4 5 7
3.08 Управление персоналом 3 4 5 6
3.09 Здоровье, безопасность, охрана труда и окружающая среда 4 4 6 6
3.10 Финансы 3 4 5 6
3.11 Юридические аспекты 3 3 5 6
Таблица 4
Предлагаемые диапазоны наиболее типичных оценок элементов компетенций рекомендуемых экспертам при оценивании
3. Контекстуальные компетенции Р С В А
Ттіп йю Тта х йкі Ттіп Скі Ттах Скі Ттіп Ькі Ттах Ькі Ттіп акі Ттах акі
3.01 Проектноориентированное управление 3,5 4,5 4,5 6 6 7,5 7,5 8,5
3.02 Программноориентированное управление 1,5 2,5 2,5 4 4 6 6 8
3.03 Портфельноориентированное управление 1 3 3 5 5 7 7 9
3.04 Осуществление 3П 3,5 4,5 4,5 5,5 5,5 6,5 6,5 7,5
3.05 Постоянная организация 3,5 4,5 4,5 5,5 5,5 6,5 6,5 7,5
3.06 Предпринимательская деятельность 2 4 4 6 6 7,5 7,5 8,5
3.07 Системы, продукты и технология 2,5 3,5 3,5 4,5 4,5 6 6 8
3.08 Управление персоналом 2,5 3,5 3,5 4,5 4,5 5,5 5,5 6,5
3.09 Здоровье, безопасность, охрана труда и окружающая среда 3 5 3 5 5 7 5 7
3.10 Финансы 2,5 3,5 3,5 4,5 4,5 5,5 5,5 6,5
3.11 Юридические аспекты 2 4 2 4 4 5,5 5,5 6,5
Приведенные значения в таблице 4 и 5 являются наиболее типичными и могут соответствовать двум наиболее распространенным оценкам деятельности («удовлетворительно» и «хорошо») которые используются на практике. В случаях необходимости, что случается довольно редко, эксперты могут ставить оценки ниже («неудовлетворительно») или выше («отлично») от обозначенных оценок в таблице 4 и 5. Если знания ниже чем удовлетворительные и не
соответствуют требованиям для сертификационного уровня й то оценка может принимать значения от 0 до dki. Если выше требуемых, то оценка может
превышать Тmax dki, однако при этом, так же целесообразно использование ограничения в виде Тmax dki +0,1Тmax dki, в противном случае логика разграничения сертификационных уровней по баллам таксономии, заложенная в 1СВ v.3.0 будет существенна нарушена. Если рассмотреть вариант выставления оценки свыше Ттахак|, на примере таблицы 4, то получим для элемента компетенции 3.03 следующий расчет: 9+0,1*9=9,9 балла, то есть соблюдается принцип того, что минимальная (или приближенная к ней) оценка - 0 баллов (отсутствие компетентности) и максимальная - 10 баллов (абсолютная компетентность) будет используются на практике очень редко.
Таблица 5
Сравнение диапазонов изменения наиболее типичных оценок таксономии
Направления компетенций Сертификационные уровни
Р С В А
Технические 3,0-6,5 4,0-6,5 5,5-8,0 6,0-8,5
Поведенческие 2,0-5,5 3,5-6,0 4,5-8,0 5,5-9,0
Контекстуальные 1,0-5,0 2,0-6,0 4,0-7,5 5,0-9,0
Дополнительные 1,0-4,0 3,5-6,0 4,5-7,5 6,0-9,0
Предлагаемый диапазон в целом для уровня 1,0-6,5 2,0-6,5 4,0-8,0 5,0-9,0
Предлагаемый диапазон таксономии в 1СВ, согласно источнику [9] 2,5-6,0 3-6,5,0 4,5-8,0 5,5-9,5
Как видно из табл.5 полученные интервалы изменения таксономии практически соответствуют рекомендованным в [9]. Для более детального анализа проведем расчет и сравнение средних показателей баллов таксономии (табл.6).
Таблица 6
Сравнение средних баллов таксономии согласно NCB иА v.3.0 и средних баллов наиболее типичных оценок таксономии по направлениям компетенций и сертификационным уровням
Направления компетенций по элементам
Технические Поведенческие Контекстуальные Дополнительные
Сертификационные уровни
О С В А О С В А О С В А О С В А
Хс 4,85 5,60 6,80 7,65 3,53 4,73 6,07 7,07 3,18 4,18 5,73 6,91 2,83 4,50 6,16 7,50
Хсп 4,85 5,61 6,78 7,65 3,53 4,77 6,07 7,13 3,18 4,23 5,68 6,91 2,88 4,54 6,08 7,50
А,% 0,00 0,22 -0,37 0,00 0,00 0,70 0,00 0,94 0,00 1,09 3,79 0,00 1,47 0,93 ,35 0,00
Примечание:
Хс - среднее значение таксономии по сертификационным уровням согласно данным NCB иА
у.Э.О;
Хст - среднее значение наиболее типичных оценок таксономии полученное при использовании предлагаемого подхода;
Д% - отклонение между средними значениями.
Расчет среднего значения таксономии производился с использованием данных табл. 3 и 4 по формулам (1а и 1б)
^ейк
п
(1а)
1=1
Ё Ттіп Ё Ттах
йк
і=1____________________=1
хСйк =----------------------------------------------------------------------------П- -П-■ (1б)
Как видно из табл.6 отклонение средних значений таксономии колеблется от 0 до /1,5%/, что вполне приемлемо, то есть структура распределения оценок в указанных диапазонах изменилась не значительно.
Установленные диапазоны наиболее типичных оценок свидетельствуют о существовании возможности нечеткого толкования уровня компетентности проектных менеджеров. Это является основанием целесообразности применения теории нечетких множеств для задач оценки компетентности. Для этого обоснуем подход к выбору вида и построению функции принадлежности. Учитывая, что с увеличением суммы набранных баллов компетентность оценивается как более высокая, целесообразно функцию принадлежности, в диапазоне её значений ^(0;1), представить в виде наклонной прямой. Построение функции в этом случае можно произвести по двум характерным (опорным) точкам. Для обоснования значений функции в этих точках произведем анализ различных методов и шкал оценки компетентности с последующим их приведением (в случае необходимости) к диапазону (0,1). Так согласно источнику [10] для оценки компетентности персонала (степени его знаний) экспертам рекомендовано использовать следующие оценочные коэффициенты: степень знания очень высокая >0,9; высокая >0,7; средняя >0,5 и т.д. В подходах к оценке знаний в Европейской высшей школе используется шкала ECTS [11], способы разбиения которой по 12 бальной и 100 бальной шкале приведены в табл.7.
Таблица 7
Рекомендованные зоны применения лингвистических переменных для различных
подходов к оцениванию
Европейская шкала ЕСTS Национальная 100 бальная шкала Национальная 12 бальная шкала
Лингвис- тическая переменная Границы зон в интервале [1-0] Лингвис- тическая переменная Границы зон в интервале [1-0] Лингвис- тическая переменная Границы зон в интервале [1-0]
А 1,00-0,90 отлично 1,00-0,90 отлично 1,00-0,83
В 0,90-0,65
хорошо 0,89-0,75 хорошо 0,75-0,58
С 0,65-0,35
О 0,35-0,10 удовлетво- рительно 0,74-0,60 удовлетво- рительно 0,50-0,33
Е 0,10-0,00
РХ неудовлет- ворительно 0,59-0,35 неудовлет- ворительно 0,25-0,08
р - 0,34-0,01 0
С учетом рассмотренных шкал, предлагается введение соответствующих лингвистических оценок компетентности проектных менеджеров и использование разбиения шкалы функции принадлежности как указано в табл.8.
Таблица 8
Пороговые значения функции принадлежности
Лингвистическая переменная Значения функции принадлежности рат
Очень высокая компетентность 1,00-0,85
Высокая компетентность 0,85-0,65
Средняя компетентность 0,65-0,35
Низкая компетентность 0,35-0,15
Некомпетентность 0,15-0,00
Для построения опорных точек присвоим для значений £Ттт и £Ттах (табл.4). значения функции принадлежности равные 0,15 и 0,85 соответственно. В этом случае эксперты используя диапазон наиболее типичных оценок могут выставлять баллы соответствующие уровню «высокой», «средней» и «низкой» компетентности. Для определения границ между этими значениями лингвистических переменных (в виде суммы баллов по направлениям компетенций) воспользуемся методами интерполяции и экстраполяции. Применяя для моделирования линейную функцию, построенную на основании двух опорных точек (табл.9)., определяем еще ряд пороговых точек (согласно требованиям табл.8) соответствующих значениям функции принадлежности ^бТ равной 0; 0,35; 0,65;1.
Функция принадлежности должна быть определена и на интервалах оценок, которые выходят за границы типичных оценок таксономии. Так как граничными значениями функции принадлежности ^бТ является 0 и 1, то форма функции принадлежности в этом случае примет вид прямой кусочно-линейной функции. Расчет величин «хвостов» принимающих значения функции равное 0 и 1, производим из теоретически максимально и минимально возможного суммарного балла, который могут поставить асессоры при оценивании направлений компетенции на том или ином сертификационном уровне. Как упоминалось выше, теоретически допустима оценка элементов компетенций равная 1,1Ттах, именно этой величиной будет определяться величина «верхнего хвоста» функции принадлежности равного по своему значению 1. Нижняя часть функции принадлежности, принимающая всегда значение равное 0, строится по всей оси Х от точки пересечения функции с этой осью и до 0.
Таблица 9
Опорные точки функции принадлежности по сертификационным уровням 1РМА для элементов контекстуальных компетенций
р С В А
Ттіп Ью Ттах Ью Ттіп Скі Ттах Скі Ттіп Ькі Ттах Ькі Ттіп акі Ттах акі
I 27,5 42,5 38,5 54,5 54,5 70,5 68,5 83,5
Мбт 0,15 0,85 0,15 0,85 0,15 0,85 0,15 0,85
У= -1,1333+0,0467Х -1,5344+0,0438Х -2,2344+0,0437Х -3,0467+0,0467Х
Пример построения функции принадлежности изображен на рис. 2.
Г / ш о. ё п 5
/ /
і і/
Т Г
! / /
/
1
г ] /
/
/
/
/ /
1 і А
г т /
і 1
1 1
7 Т Г /
/ / /
1 і
0,0 1С ,0 2С ,0 3С ,0 40 ,0 50 ,0 60 ,0 70 ,0 80 ,0 90 ,0 10 сумма б
-♦-функция принадлежности соотвествующая уровню D -■—функция принадлежности соотвествующая уровню С -й- функция принадлежности соотвествующая уровню В -©— функция принадлежности соотвествующая уровню А
Рис.2. Функции принадлежности для оценки компетентности по элементам контекстуальной компетенции
Таблица 10
Значения показателей для построения функции принадлежности на примере контекстуальных элементов компетенции
!Т о Нбт о ІТ С Нбт с ІТ В Нбт в ІТ А Нбт А
0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
24,30 0,00 35,10 0,00 51,20 0,00 65,30 0,00
27,50 0,15 38,50 0,15 54,50 0,15 68,50 0,15
31,70 0,35 43,00 0,35 59,20 0,35 72,80 0,35
38,20 0,65 49,90 0,65 66,00 0,65 79,20 0,65
42,50 0,85 54,50 0,85 70,50 0,85 83,47 0,85
45,69 1,00 57,85 1,00 74,00 1,00 86,68 1,00
46,75 1,00 59,95 1,00 77,55 1,00 91,85 1,00
Примечание: £Т -сумма возможных баллов таксономии для различных сертификационных уровней 1РМА.
Аналогичным способом строятся функции принадлежности для технических, поведенческих и контекстуальных элементов компетенций. Исследование полученных функций принадлежности показало, что существует определенный скачок в баллах между сертификационным уровнем С и уровнями В, А. Это вполне обоснованно, так как знания и навыки для прохождения на уровень В и А необходимы принципиально другого характера чем требовались на уровне й и
С. Ведь одним из критериев разграничения сертификационных уровней, наряду с опытом работы в проектах и занимаемыми должностями (выполняемыми
функциями), является междисциплинарность, масштабность и сложность управления программами и проектами. С этой точки зрения, для уровней В и А необходимы знания об управлении проектами функциональной и системной сложности, в отличии от уровней й и С где требуются знания и навыки управления проектами ограниченной сложности. Логично так же то, что при получении оценок соответствующих зоне средней и высокой компетентности, для одного из сертификационных уровней (функция принадлежности в диапазоне 0,35-0,85), это соответствует верхней границе наиболее типичных оценок таксономии, то для последующего сертификационного уровня это количество баллов будет соответствовать зоне некомпетентности или низкой компетентности.
Как указывалось в [8] при определении компетентности важным фактором является время принятия решений. Для построения функции принадлежности необходимо вести учет времени затраченного на нахождение правильных ответов на вопросы, касающиеся профессиональной сферы, и учет времени потраченного на вопросы бытового характера. Функция строится индивидуально для каждого проектного менеджера, по четырем направлениям компетенции, и учитывает его личностные особенности во времени принятия решений. На наш взгляд, может быть введено три опорные точки для построения функции принадлежности. Первая точка - минимальное время принятия решения для бытовых ситуаций ^и(1), следующей опорной точкой будет являться медиана ^и(0,5), которая рассчитывается на основании распределения фактически потраченного времени на нахождение исключительно правильных ответов по направлениям компетенции. Третья опорная точка находится как максимальное фактическое время, потраченное на нахождение правильного ответа по направлениям компетенции ^и(0,15). Выбор первой опорной точки функции распределения основан на том, что время принятия решений в бытовых ситуациях является базой сравнения для времени по вопросам из профессиональной сферы. Как показывает анализ данных собранных авторами статьи, с помощью программного продукта РМСЦ чем ближе время правильных ответов на профессиональные вопросы приближается к времени ответа на вопросы из бытовой сферы, тем более компетентным может считаться проектный менеджер. Очень редко, не более чем 0,005% случаев тестирования, время ответа на профессиональные вопросы было не значительно меньше времени ответов на вопросы из бытовой сферы, где каждый из нас считается наиболее компетентным. Это говорит о том, что в ряде вопросов касающихся профессиональной сферы есть люди, достигшие высокой компетентности и ставшие профессионалами в этих направлениях. Поэтому при построении функции принадлежности введем «хвост» на интервале времени от 0 до минимального бытового- ^ вт на котором ^и(1). Вторая точка определялась на основании значений медианы, так как фактическое распределение времени при правильных ответах, для каждого проектного менеджера было индивидуальным, и имело в ряде случаев существенные отличия от нормального распределения. Третья точка показывает максимальное время, потраченное на определение правильного ответа в вопросах из профессиональной сферы, то есть не смотря на какие то затруднения (что отразилось на времени принятия решения) правильный ответ был найден. В этом случае, не логично присваивать ^и(0), поэтому на наш взгляд значение (0,15) является оптимальным, и в смысловом эквиваленте показывает нижний уровень высокой компетентности.
Из рис.3 видно, что верхняя часть функции принадлежности ^и(0,5;1). задает более «жесткие» условия, а нижняя - «мягкие» с точки зрения диапазона изменения времени принятия решения.
дополнительные компетенции
\
\
\
т
1
1
к
1
\
;
вре мя пр ин яти я ре иен ий
Рис.3. Функции принадлежности для направлений компетенций по времени принятия решения, построенные на основании проведенного тестирования для конкретного
проектного менеджера
Для расчета обобщенного показателя для каждого из направлений компетенций можно использовать два подхода. Первый, заключается в фиксации значений функции принадлежности для каждого элемента компетенций с последующим нахождением среднего значения. Второй способ-расширение шкалы (по оси времени) путем умножения значений по оси Х, соответствующих значениям опорных точек ^и(0,15;0,5;1), на количество правильных ответов. Затем необходимо провести сравнение полученных значений с суммой времени полученной на основании сложения фактического времени потраченного на получение правильных ответов, с последующим определением фактического Второй способ более корректен, особенно при большой кривизне функций принадлежности. Так расчет для функций принадлежности, изображенных на рис. 3, дал следующие результаты: по
первому способу ^01 техн. _ 0,519; М01 повед. _ °,535; ^01 конт. _ 0,575; М01 допол. _°,64В, п° второму способу |^01 техн. _ 0,471; М01 повед. _ °,489; ^01 конт. _ 0,478; М01 допол. _°,594.
Свертка показателей ^бТ, (функции принадлежности определенной по сумме баллов таксономии выставленной экспертами) и (функции принадлежности определенной по фактическому времени принятия правильных решений) может быть осуществлена на основе ниже приведенного выражения.
нк ~ А ' МбТ + А ' №ог > (2)
где — обобщенное значение функции принадлежности по отдельно
2 нк
взятому направлению компетенции; А и А весовые коэффициенты.
Весовые коэффициенты А и А являются коэффициентами второго приближения и рассчитываются на основании коэффициентов первого
приближения А и А учитывающих соотношение полученных правильных
ответов во время тестирования к общему количеству заданных вопросов.
А N ав
Исходя из соотношений: А+А = 1; =—прав где - количество
4 42 А N прав
прав
2
правильных ответов на вопросы по направлению компетенции, - общее
количество вопросов по направлению компетенции, получаем -
^прав
1 **2
А=--------тг----; А = 1 — \ . Принимая А=А и А = 1 — А можно
(1 ^ прав)
N
2
произвести окончательные расчеты. Если /лбт > /иы, значение Л^нк рассчитанное по формуле (2) является окончательным. А если [лбт < /иы, то
рассчитанное значение проверяется на выполнение условия /л^ < {/лбт\
верхней 2 нк ЛбТ ^зоны .
В случае его не выполнения ж приравнивается верхнему значению зоны в
которую он входит (зона средней компетентности, высокой и т.д) смотри рис.2, табл.8. таким образом предложенный подход позволяет учесть еще один важный критерий основанный на личностных характеристиках, при определении степени компетентности проектного менеджера.
Дальнейшие исследования будем проводить по методике описанной в [12]. Для удобства изобразим процесс оценки компетентности, в виде схемы изображенной на рис.4.
Одним из важных вопросов, рассматриваемых в [12], является вопрос выбора весовых коэффициентов для факторов, оказывающих влияние на конечный показатель. Заметим, что как показано в [8], в требованиях NCB иА v.3.0 допущена определенная неточность в определении весовых коэффициентов важности направлений компетенций на различных сертификационных уровнях, так как сумма предлагаемых коэффициентов превышала 1. В табл. 11, в виде примера, приведены скорректированные значения коэффициентов, которые на наш взгляд, могут быть использованы при оценивании.
Однако в реальных проектах, в зависимости от их специфики, важность направлений компетенций может быть существенно изменена. При этом вопросы корректировки весовых коэффициентов могут вызвать определенные затруднения, в этом случае для экспертной оценки возможно использование лингвистической шкалы относительной важности табл.12.
Рис.4. Причинно-следственная диаграмма (структурная взаимосвязь факторов определяющих конечный результат - показатель компетентности)
Таблица 11
Процентное соотношение баллов по направлениям компетенций
Направление компетенции А В С й
Технические 0,16 0,3 0,5 0,584
Поведенческие 0,25 0,2 0,15 0,132
Контекстуальные 0,25 0,2 0,15 0,132
Дополнительные 0,34 0,3 0,2 0,151
Таблица 12
Лингвистические оценки относительной важности
Качественная оценка Количественная оценка
Строго эквивалентны (одинаково значимы) 1
Слабо предпочтительнее 3
Несколько предпочтительнее 5
Значительно предпочтительнее 7
Строго предпочтительнее 9
Промежуточные значения важности 2,4,6,8
С помощью подобной шкалы можно исследовать влияние отдельно взятых элементов компетенций, через расчет рангов (коэффициентов предпочтительности). В [12] для решения подобных задач, рекомендуют использовать матрицы парных сравнений при этом упоминается, что элементы матриц не точны из-за того что отражают субъективное мнение эксперта и в этом случае собственный вектор матрицы W можно вычислить как вектор минимизирующий функционал:
П П .у П П П
я = 2 2К —^тіп; я = 2 2(аа ~аі)2 ^™п>2 а= П(3)
і=і ;=і а] і=і ;=і і=і
Эффективным методом решения задачи минимизации многих переменных, в том числе при наличии ограничений является метод неопределенных
множителей Логранжа. Тогда исходная задача оптимизации сводится к задаче
безусловной минимизации функции Лагранжа
^ = ^~ + 2 Л = 0 ■ 1 =Ь-,п; = gk(х) = 0, I = 1,...,к. (4)
дх. дх. 1 дх. дЛ.
Для задачи (3) функция Логранжа примет вид:
П П П
ь = 2 2(аа -а1)2 +Л(2а -п) . (5)
1=1 1=1 1=1
Условия оптимальности:
^ = 0; дЬ = 2 а - п = 0. (6)
даг дЛ 2 '
Получаем систему уравнений:
Г
(а21 + а31 + .. + аП1 + (П - 1))а1 - (а21 + а12)а2 - (а31 + а13)аэ - .. - (ап1 + а1п )ап +Л = 0
- (а12 + а21)а1 + (а22 + а32 + .. + (П - 1))а2 - (а32 + а2з)а3 - " - (ап2 + а2п )а п +Л = 0
<
- (а1п + °п1)а1 - (а2п + °п2)а2 - .. - (0(п-1)п + °п(п-1))ап-1 + Ць + °2п + " + (П - 1))ап +Л = 0
а +а2 +а3 + а =п .
Решением данной системы являются искомые коэффициенты относительной важности частных критериев а{ и множитель Логранжа Л.
Данный метод, по мнению его авторов, обладает достаточно высокой точностью расчета и может быть легко автоматизирован.
Вместе с тем, в [13] доказывается, что при применении метода анализа иерархий существует множество способов вычислений приоритетов из обратносимметричной матрицы парных сравнений, А = {аг>}, и только один из
них - наиболее корректный, а значит и наиболее правильный. Решение заключается в нахождении собственного вектора из уравнения АЖ = пЖ ; в случае если суждения не согласованы - АЖ1 = Л^Ж1, где Л^х -максимальное собственное значение матрицы. Решение приведенного уравнения получается путем возведения матрицы А в достаточно высокие степени с последующим суммированием строк и нормализацией (деление суммы каждой строки на сумму всех элементов матрицы), в результате чего
получается вектор приоритетов Ж1. Процесс заканчивается, когда разность между компонентами векторов приоритетов, полученных для к-й и (к+1) степени
матрицы А становится меньше заданной точности. Данные расчеты довольно трудоемки, особенно при наличии большого количества учитываемых факторов, в связи с этим рекомендуется использование специализированных программных продуктов [13], которые дают приемлемую точность и максимально снижают ошибки вычислений. Существуют и более простые способы вычисления приближенных значений приоритетов. Так называемый «приближенный метод Саати» заключается в отыскании значений вектора рангов, как среднегеометрических величин каждой строки матрицы парных сравнений. Результат рассчитанный этим способом, совпадает с главным собственным вектором матриц с размерностью п < 4. Как видно из экспертных суждений приведенных в [12-13] не один из методов нахождения приоритетов не обладает полным преимуществом по сравнению с остальными. Поэтому воспользуемся наиболее простым в практическом использовании методом (с позиции постановки задачи при оценивании рассматривается 4 фактора, п=4), который описан ниже
ш =
Па^ ; і = 1, п. (7)
У
1=1
Полученные с помощью формулы (7) значения собственного вектора нормализуются делением на сумму средних геометрических
П
аг =шг /2щ . (8)
I=1
Информативным показателем достоверности определения рангов является индекс согласованности матриц парных сравнений, который рассчитывается на основе оценки максимальной величины собственного значения матрицы, Л .
Он так же может быть определен несколькими способами. Один из приближенных методов расчета заключается в суммировании каждого столбца матрицы парных сравнений, затем сумма первого столбца умножается на величину первой компоненты нормализованного вектора рангов, сумма второго столбца, на вторую компоненту и т.д. Затем полученные числа суммируются,
таким образом определяется значение Л .
Индекс согласованности рассчитывается по формуле:
ИС=( Лтх -п)/(п-1), (9)
где п - размерности матриц парных сравнений.
Для обратносимметричной матрицы всегда Л^, > п .
На основе индекса согласованности рассчитывается показатель отношения согласованности:
ОС=ИС/СС, (10)
где СС - значение согласованности случайной матрицы того же порядка (для п=4, СС=0,9).
п
п
Средние значения согласованности для случайных матриц разного порядка указаны в [12-13], там же указывается что на основе обобщения опыта решения большого количества многокритериальных задач, для того что бы парные сравнения можно было считать согласованными, величина ОС должна быть менее 10%, в ряде исключительных случаев приемлемой величиной можно считать ОС до 20%. Если ОС выходит за указанные пределы, то необходимо пересмотреть задачу и проверить выдвинутые суждения.
Рассмотрим пример определения коэффициентов важности для направлений компетенций согласно требований сертификационного уровня й. Матрица парных сравнений, составленная на основе опроса мнений экспертов принимает вид:
компетенции
технические
поведенческие
контекстуальные
дополнительные
технические
1
0,2
0,2
0,333
поведенческие контекстуальные дополнительные
Решая согласно формулам (7-10), получаем компоненты собственного вектора (в виде столбца) равные W=(2,943; 0,668; 0,668; 0,759), в
нормализованном виде W=(0,584;0,132; 0,132; 0,151). Максимальная величина собственного значения матрицы, Яциа =4,039; индекс согласованности ИС =0,013;
показатель отношения согласованности ОС=1,46% что в пределах допустимых значений.
Аналогичным образом можно получить весовые коэффициенты для направлений компетенций на сертификационных уровнях С,В,А. Значения полученные на основании расчета обратносимметричных матриц парных сравнений будут максимально приближенными к значениям приведенным в табл.11, при условии выставлении экспертами баллов с промежуточными значениями (табл.12) или дробными значениями, как показано в [14].
Матрица парных сравнений для определения коэффициентов важности направлений компетенций согласно требований сертификационного уровня С.
компетенции
технические
поведенческие
контекстуальные
дополнительные
технические поведенческие контекстуальные дополнительные 13 3 3
0,33 1 1 0,67
0,33 1 1 0,67
0,33 1,5 1,5 1
Матрица парных сравнений для определения коэффициентов важности направлений компетенций согласно требований сертификационного уровня В.
компетенции
технические
поведенческие
контекстуальные
дополнительные
технические поведенческие контекстуальные дополнительные
1
0,67
0,67
1
1.5 1,00 1,00
1.5
1.5 1,00 1,00
1.5
1
0,67
0,67
1
Матрица парных сравнений для определения коэффициентов важности направлений компетенций согласно требований сертификационного уровня А.
технические 1 0,67 0,67 0,5
поведенческие 1,5 1 1 0,67
контекстуальные 1,5 1 1 0,67
дополнительные 2 1,5 1,5 1
Таблица 13
Расчет показателей достоверности (согласованности) определения рангов
(весовых коэффициентов)
Сертификационные уровни IPMA Показатели достоверности определения рангов
Лпиx ИС СС %
D 4,04 0,013 0,015 1,46
C 4,03 0,008 0,009 0,93
B 4,00 0,000 0,000 0,00
A 4,00 0,001 0,001 0,07
Из данных табл. 13 следует, что предлагаемые в табл.11 весовые коэффициенты обоснованы и соответствуют критериям согласованности.
На основании построенных функций принадлежности, матриц парных сравнений и рассчитанных на их основе рангов, согласно методики изложенной в [12], можно произвести свертку и получить глобальные критерии оценки компетентности.
Предположим следующие значения функций принадлежности сформированные по результатам прохождения сертификации для двух проектных менеджеров А и В (таблица 14). Произведем свертку частных критериев и расчет глобальных критериев с помощью аддитивного и минимаксного показателей (11-12).
Таблица 14
Расчет частных и глобальных критериев оценки компетентности
Направле- ние компетен- ций А В
ITd Ь « D О (ранг) Dimin D2adit ITd ^ „ D О (ранг) Di min D2 adit
Технические 103,9 0,7 0,584 0,812 0,409 103 0,68 0,584 0,798 0,397
Поведен- ческие 59,7 0,75 0,132 0,963 0,099 61 0,79 0,132 0,969 0,104
Контекст- туальные 35,9 0,54 0,132 0,922 0,071 34 0,45 0,132 0,900 0,059
Дополни- тельные 17,25 0,5 0,151 0,901 0,076 17,9 0,54 0,151 0,911 0,082
m
D2adit = Zj®i^dj - аддитивный показатель; (11)
j=i
DiAnin = min {ц°15^2°2....^°" } - минимаксный показатель (min-критерий). (12)
По данным табл.14 и на основании формул (11-12) глобальные критерии компетентности будут равны D1A min =0,812; D1B min =0,798; D2A adit = 0,655; D2B adit =
0,642 откуда следует, что наиболее компетентен проектный менеджер А.
Согласно предложенным в табл.8 градациям, и опираясь на расчеты минимаксного показателя, можно сделать вывод о том, что оба проектных менеджера обладают высокой компетентностью. Однако расчет аддитивного показателя показывает, что проектного менеджера А можно считать высоко компетентным, а менеджера В обладающим средней компетентностью. В [12] авторы отдают предпочтение именно минимаксному показателю при выполнении сверток.
Целесообразно использовать оба подхода, при этом фиксировать возможные противоречия в изменении приоритетности по полученным результатам расчетов. В подобных случаях необходимы дополнительные исследования и использование более точных методов расчета, например метода Саати.
Выводы по данному исследованию. На основании проведенных исследований можно сделать следующие выводы.
1. Существующая система таксономии при оценки компетентности проектных менеджеров базируется на нечетких суждениях.
2. Разработана система определения граничных значений количественных оценок элементов компетенции, которая позволила применить теорию нечетких множеств путем построения функций принадлежности. Это дало возможность применить лингвистические переменные типа «очень высокая компетентность», «высокая компетентность», «средняя компетентность» и т.д. не зависимо от уровня сертификации.
3. Разработан подход к построению функции принадлежности для параметра «время принятия решений» при ответе на правильные вопросы. Проведенные исследования показали, что такая функция имеет кусочно-ломанный ниспадающий характер с переломом в точке =0,5
4. Предложен способ определения весовых коэффициентов при определении обобщенного значения функции принадлежности. Данный способ позволил учесть, не только время затраченное на правил ответы, но и соотношение количества правильных ответов к общему количеству опросов по оцениваемому направлению компетенции.
5. Определены наиболее объективные весовые коэффициенты между направлениями компетенций полученные путем применения метода Саати. Показано, что результаты свертки по аддитивному методу и минимаксному дают различные результаты, которые могут отличаться значительно. Поэтому исходя из экспертного определения компетентности проектного менеджера и рассчитанной компетентности по результатам тестирования установлено, что наиболее достоверные данные дает минимаксный метод
Перспективы дальнейших исследований в данном направлении. Дальнейшие исследования целесообразно проводить в направлении экспериментальной проверки предложенных подходов.
ЛИТЕРАТУРА
1. Методы оценки персонала [Электронный ресурс]/ П. Малиновский. Режим доступа: http://www.Management.com.ua.
2. Берестнева О.Г. Системные исследования и информационные технологии оценки компетентности студентов: автореф. дис. на соискание науч. степени док. техн. наук: спец. 05.13.01 «Системный анализ, управление, и обработка информации» / О.Г.. Берестнева.-Томск, 2007. - 41с.
3. Применение нечеткого подхода для оценки и подбора персонала [Электронный ресурс]/ С.В Скороход. Режим доступа: http://zhurnal.ape.relarn.ru/articles/2005/122.pdf
4. Методика отбора персонала на вакансию на основе нечетких показателей [Электронный ресурс]/ Н.Ш Никитина., Е.В Бурмистрова. Режим доступа: http://www.esocman.edu.ru/univman/msg/21328html
5. ICB IPMA Competence Baseline Version 3.0 / [Caupin G., Knoepfel H., Koch G and ].-International Project Management Association: 2006. - 200c.
6. Бушуев С.Д. Компетентный взгляд на управление проектами NCB v3 / С. Бушуев, Н.Бушуева.- К.:ІРІДІУМ., 2006. - 208 с.
7. Рач В. Модификация системы таксономии оценки компетенций проектного менеджера в рамках модели «Глаз» / Валентин Рач., Олег Бирюков // Управління проектами та розвиток виробництва: Зб.наук.пр. - Луганськ: вид-во СНУ ім. В. Даля, 2008.-№2 (26).-
С. 101 - 119.
8. Рач В. Контекстно-личностное оценивание компетентности проектных менеджеров / Валентин Рач., Олег Бирюков // Управління проектами та розвиток виробництва: Зб.наук.пр. - Луганськ: вид-во СНУ ім. В. Даля, 2008.-№3 (27).- С. 67 - 81.
9. Джеррит К. Международные требования к компетентности специалистов по управлению проектами: IPMA Competence Baseline (ICB) Version 3.0 / Кох Джеррит., Ганс Кнопфель // Управление проектами и программами: М.: ИЗДАТЕЛЬСКИЙ ДОМ ГРЕБЕННИКОВА, 2006.-№3 (7).- С.262 - 277.
10. Оценка персонала. Математический инструментарий [Электронный ресурс]/ П. В. Горский. Режим доступа: www.cfin.ru/management/people
11. Про проведення педагогічного експерименту з кредитно-модульної системи організації навчального процесу. Наказ МІНІСТЕРСТВА ОСВІТИ І НАУКИ УКРАЇНИ №48 від 23.01.2004
12. Дилигенский Н.В. Нечеткое моделирование и многокритериальная оптимизация производственных систем в условиях неопределенности: технология, экономика, экология / Дилигенский Н.В., Дымова Л.Г., Севастьянов П.В. - М.: «Машиностроение-1», 2004. - 325с.
13. Саати Т.Л. Принятие решений в зависимостях и обратных связях. Аналитические сети / Томас Саати; Науч.ред. А.В. Андрейчиков, О.Н Андрейчикова. - М.: Издательство ЛКИ, 2008-360с.
14. Ногин В.Д. Принятие решений при многих критериях. Учебно-методическое пособие / Ногин В.Д. - СПб. Издательство «ЮТАС», 2007. - 104 с.
Стаття надійшла до редакції 14.01.2009 р.
