Подход к увеличению уровня согласованности мнений экспертов при выборе варианта развития системы обработки информации Текст научной статьи по специальности «Компьютерные и информационные науки»

НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н. Э. БАУМАНА

НАУКА и ОБРАЗОВАНИЕ

Эл № ФС77 • 48211. Государственная регистрация №0421200025. ISSN 1994-0408

электронный научно-технический журнал

Подход к увеличению уровня согласованности мнений

экспертов при выборе варианта развития системы обработки

информации

# 06, июнь 2013

Б01: 10.7463/0613.0574220

Постников В. М., Спиридонов С. Б.

УДК 519.81

Россия, МГТУ им. Н.Э. Баумана spirid@bmstu.ru

Введение. Системы обработки информации (СОИ), построенные на базе ЛВС, применяют практически во всех областях человеческой деятельности. В процессе промышленной эксплуатации СОИ, из-за бурного развития средств вычислительной техники, обслуживающему персоналу постоянно приходится решать целый ряд проблем, касающихся определения пути дальнейшего развития аппаратных и программных средств, а также организационной структуры системы, с учетом удовлетворения постоянно растущих потребностей ее пользователей. Несмотря на то, что математические методы выбора эффективных архитектурных решений СОИ, ее компонент , постоянно совершенствуются и развиваются, отсутствие полного набора требуемых исходных данных или их частичная неопределенность, часто просто не позволяют в полной мере эффективно использовать эти методы.

Использование метода экспертного анализа позволяет обойти эти преграды за счет применения интуиции, логического мышления и практического опыта экспертов. Поэтому метод экспертного анализа находит применение в практической деятельности. Лицо принимающее решение (ЛИР), часто использует этот метод, в различных его вариациях, для проведения сравнительного анализа альтернативных вариантов и выбора среди них наилучшего варианта развития СОИ.

Однако использование метода экспертного анализа для выбора наилучшего варианта развития СОИ не всегда позволяет получить приемлемое решение, поскольку возможны существенные разногласия между отдельными экспертами рабочей группы. В связи с этим проблема увеличения согласованности мнений экспертов рабочей группы, при проведении экспертного анализа, является весьма актуальной

Постановка задачи. Необходимо разработать подход к организации экспертного анализа, позволяющий ЛПР увеличить степень согласованности мнений экспертов рабочей группы, при сравнении альтернативных вариантов развития СОИ, с целью получения от них адекватной информации по ранжированию этих вариантов.

Решение задачи. На основе анализа работ [1-8] предложен комплексный подход к организации экспертного анализа для выбора варианта развития СОИ. Подход включает:

1.рекомендации по формированию компетентной рабочей группы экспертов;

2 правила использования экспертами стандартизированной ранговой системы;

3 рекомендации по организации и проведению экспертного опроса;

4. правила обработки результатов экспертного опроса;

5. рекомендации по проведению целенаправленной корректировке результатов работы экспертов рабочей группы для увеличения уровня согласованности их мнений.

Основу предложенного подхода составляют следующие принципы:

- уровень компетентности эксперта зависит от целого ряда факторов, отражающих как профессиональные, так и личные его качества;

- уровень компетентности рабочей группы экспертов зависит от уровней компетентности отдельных экспертов, входящих в ее состав;

- уровень согласованности мнений экспертов рабочей группы зависит от уровня компетентности экспертов этой группы.

Сформированная рабочая группа экспертов является компетентной и способной корректно решать поставленные перед ней задачи, если уровень ее компетентности (М ) отвечает следующему условию [1]

0,67 <М <1,00 (1)

Согласно [1-3] можно считать, что чем больше уровень компетентности экспертов рабочей группы, тем меньше уровень несогласованности их мнений, при условии, что эксперты принадлежат к одной научной школе.

Уровень компетентности (М) рабочей группы экспертов вычисляется согласно [7] по следующей формуле:

1 т

М = - К (2)

т у=1 3

Где К. - уровень компетентности ]-го эксперта; т - количество экспертов в составе рабочей группы.

Для оценки уровня компетентности (К у ) каждого ]-го эксперта (у = 1, т )

предлагается использовать выражение (3), которое учитывает и оценивает уровень профессиональной подготовленности эксперта, информированность его в сфере научных публикаций, способность творчески работать в коллективе, а также личные качества.

Ку=51 Ку

(3)

В выражение (3) включены пять обобщенных показателей К--, учитываемых при

У

оценке уровня компетентности у - эксперта, при этом (0 < К- - < 1).

У

К1 у - учитывает профессиональную подготовленность, наличие ученых степеней и званий, а также стаж и опыт работы;

К2у - учитывает уровень информированности в сфере научных публикаций, а также аргументированность при принятии решений;

К3у - учитывает, на основе самооценки, стремление к профессиональному росту,

умение работать в коллективе, а также дисциплинированность и организованность; К4у - учитывает личные качества эксперта, данные ему коллегами экспертами;

К5у - учитывает уровень согласованности действий эксперта с членами формируемой рабочей группы при проведении тестовой оценки.

Коэффициент К1 у предлагается определять на основании данных, приведенных в табл. 1

Таблица 1

Определение уровня профессиональной подготовленности экспертов.

Квалификация эксперта Значение коэффициента К^у (балл)

Имеет ученую степень и звание 1,0

Имеет ученую степень или инженер со стажем более 15 лет 0,9

Инженер со стажем более 10 лет 0,8

Инженер со стажем от 8 до 10 лет 0,7

Инженер со стажем от 5 до 8 лет 0,6

Для определения значения коэффициента К2у предлагается использовать данные, которые приведенные в [9]:

К2 . = 1 - регулярное отслеживание научных публикаций по профессии; К 2. = 0,8 - не всегда регулярное отслеживание научных публикаций по профессии;

К 2. = 0,5 - нерегулярное отслеживание научных публикаций по профессии.

На основе анализа работ [7, 9-10] выделены пять основных личных качеств экспертов:

1) стремление к профессиональному росту и постоянному повышению квалификации, как в своей области, так и в смежных областях;

2) способность оперативно оценивать ситуацию и принимать эффективные решения;

3) способность своевременно реализовывать принятые решения;

4) умение создавать в рабочем коллективе нормальный психологический климат;

5) дисциплинированность и организованность.

Для оценки личных качеств экспертов, с учетом рекомендаций построения шкал [11], предлагается использовать вербально-числовую шкалу, приведенную в табл.2.

Таблица 2

Вербально-числовая шкала оценки личных качеств эксперта_

Оценка проявления качества Балл Оценка проявления качества Балл

Всегда 1,0 Реже средней 0,4

Почти всегда 0,9 Редко 0,3

Очень часто 0,8 Очень редко 0,2

Часто 0,7 Иногда 0,1

Чаще средней 0,6 Никогда 0,0

Средняя 0,5 - -

Коэффициенты К3. и К4., которые соответственно отражают личные качества

экспертов на основе самооценки и оценки коллег, вычисляются с использованием данных, приведенных в табл.2, по следующим формулам

К3. = 51К3А (4)

1 т1 5

К4 . = ---I I К4 (5)

4. 5 • т1 I=1 1=1 4Л1

где К3у^ - коэффициент, отражающий самооценку ]-го эксперта по наличию и проявлению у него ьго личного качества

К4уц - коэффициент, данный 1-ым экспертом о наличии и проявлении ьго личного качества у _]-го эксперта

т1 - количество экспертов, участвующих в оценке личных качеств ]-го эксперта

Для оценки значения коэффициента К5у согласно [5] предлагается использовать

следующее выражение:

г - - г

К5у =1И <6>

где Г у - ранг, присвоенный _]-ым экспертом выделенному варианту в процессе проведения тестового опроса экспертов при формировании рабочей группы.

Г - средний ранг выделенного варианта, полученный в результате проведения тестового опроса всех экспертов формируемой рабочей группы.

После проведения тестового опроса экспертов предлагается использовать следующую процедуру аттестации экспертов [5]. Если ранг, присвоенный _]-ым экспертом выделенному варианту в процессе проведения тестового опроса, не оказывается крайним (наибольшим или наименьшим) в полученном ряду ранговых оценок, то уровень квалификации этого эксперта следует считать соответствующим уровню группы. В противном случае ранг, данный тестовому варианту, этим экспертом, следует считать противоречащим мнению группы и необходимо далее провести оценку на предмет возможности включения (или не включения) этого эксперта в состав рабочей группы.

Если в результате сравнения ранга (Г у ), присвоенного ] -ым экспертом выделенному

варианту, с рангом ( Г ), который соответствует среднему арифметическому значению рангов, присвоенных этому варианту всеми экспертами группы, выражение (7) справедливо, то у -го эксперта включают в состав кандидатов рабочей группы, иначе его

не включают.

I гу - г | < в ■ и (7)

Где (Г- среднее квадратичное отклонение индивидуальных рангов оценок выбранного варианта экспертами тестируемой группы.

Значение коэффициента в • при уровне значимости а = 0,05 согласно [5] выбирают из табл 3 в зависимости от количества экспертов (m), прошедших тестовое испытание.

Таблица 3

Значения коэффициента в • от числа экспертов

m 3 4 5 6 7 8 9 10

Коэффициент в 1,15 1,46 1,67 1,82 1,94 2,03 2,11 2,18

Далее всех экспертов, прошедших тестовое испытание, ранжируют по убыванию уровня их компетентности, который отражает коэффициент K-, вычисляемый по

выражению (3). После этого формируют состав экспертной группы, последовательно выбирают экспертов из ранжированного ряда экспертов, начиная с эксперта, у которого

уровень компетентности имеет наибольшее значение, т. е. K, = max K ■ . При этом

l jem j

количество экспертов в составе рабочей группы, согласно [12,13 ] рекомендуется брать не меньше числа сравниваемых вариантов, но не более 10.

После формирования окончательного состава экспертов рабочей группы следует провести оценку уровня ее компетентности, используя условие (1). Если условие (1) выполняется, то рабочую. группа следует признать работоспособной, и она должна приступить к выполнению своих обязанностей, если условие (1) не выполняется, то следует провести повторное формирование группы.

Для проведения сравнения и ранжирования вариантов, предложенных экспертам, каждому эксперту рекомендуется использовать процедуру, включающую два этапа:

- на первом этапе, используя парное сравнение вариантов, провести упорядочивание этих вариантов по степени их важности;

- на втором этапе, используя стандартизированную ранговую систему, присвоить каждому варианту соответствующий ранг.

На первом этапе для проведения парного сравнения вариантов каждый эксперт должен составить квадратную матрицу размером n , равным числу сравниваемых

вариантов. Диагональные элементы этой матрицы равны нулю. Элемент a■■ этой

j

матрицы показывает взаимное отношение вариантов i, j друг к другу у эксперта:

если ai- = 0 , то вариант i предпочтительнее варианта j; j

если aij = 1 , то вариант j предпочтительнее варианта i;

если й- = 0,5 , то варианты i и j равноценны.

При заполнении матрицы должно строго выполняться условие üi ■ + ü ■ ■ = 1.

j Ji

На основе парного сравнения вариантов, эксперт вычисляет коэффициент важности каждого варианта по формуле

n

üi = I üij (8)

i J=1 J

После этого эксперт должен произвести упорядочивание вариантов по неубыванию коэффициента их важности, считая вариант k - наилучшим, если для него выполняется

следующее условие a = min ak i i

Если у j-го эксперта, например, имеет место следующее соотношение коэффициентов

важности вариантов: ük < üp < ür < üq ~ üs < üv < üw и т.д., то расположение

вариантов по степени их предпочтения у j - го эксперта имеет следующий вид: k У p У r У q ~ s У v У w и т. д. При этом варианты (q, s ), имеющие одинаковый

коэффициент важности у j-го эксперта, называются связанными.

На втором этапе эксперт присваивает ранги сравниваемым вариантам, согласно значениям коэффициентов важности этих вариантов. Тогда, в нашем случае, варианту (k) присваивается ранг равный единице (первое место), варианту ( p ) ранг равный двум, варианту (r) ранг равный трем. Численное значение ранга связанных вариантов представляет собой среднее значение суммы мест этих вариантов в ранговой системе. Поэтому вариантам (q, s) эксперт присваивает ранг, равный четыре с половиной.

Окончательно j-ый эксперт присваивает сравниваемым вариантам в нашем случае следующие ранги. r^ = 1 rpj = 2 rrj = 3 q = rsj = 4,5 rvj = 6 rwj = 7 и т. д.

После ранжирования вариантов, которые были предложены экспертам для сравнения, эксперты заполняют таблицу, подобную табл.4, в которой должны быть

представлены результаты опроса всех экспертов.

Таблица 4

Результаты ранжирования вариантов экспертами рабочей группы

Код варианта Ранговые оценки ва рианта экспертами ri (ri - r) (ri - r)2

Э1 Э2 Э) Эm

В1 r11 r12 r1j r1m r1 (r1 - r) (r1 - r )2

В2 r21 r22 r2j r2m r2 (r2 - r) (r2 - r )2

В1 Ги Г 2 Г ■ У Г т Г (Г - Г) (гг - г)2

Вп Гп1 Гп 2 Г ■ п Гпт Гп (гп - Г) (Гп - Г)2

Г ■ Гэ1 Гэ2 Г Гэт п 2 £ =1 (Г - г)2 /=1 1

В табл.4 и далее используются следующие обозначения: т - количество экспертов в составе рабочей группе; п - количество вариантов подлежащих ранжированию экспертами;

Г ■ - сумма рангов, присвоенных всем вариантам у - ым экспертом (у = 1, т); эI

Г.. - ранг 1 - го варианта, данный ему _]- ым экспертом (1 = 1, п), 0= 1, т);

У

Г - суммарный средний ранг сравниваемых вариантов;

Г! - суммарный ранг 1 - го варианта, данный ему всеми экспертом (1 = 1, п); 2

(Г _ Г) - квадрат отклонения суммарного среднего ранга i - го варианта от суммарного среднего ранга вариантов;

£ - сумма квадратов отклонений суммарных рангов каждого из вариантов от суммарного среднего ранга вариантов.

В [14] на основе проведенных исследований установлено, что ранги вариантов, полученные на основе суммирования рангов, данных им отдельными экспертов, или их усреднения с помощью среднего арифметического, среднего геометрического, среднего гармонического или медианного значений достаточно близки между собой и дают практически один и тот же результат при ранжировании сравниваемых вариантов. В связи с этим для определения суммарного ранга варианта предлагается использовать простое суммирование рангов этого вариантов, которые дали ему эксперты. Поэтому далее, согласно [15], имеем:

п = п(п + 1)

га =

I=1

Гэу = 1 ГУ =(9)

1 п т (п +1) т

г = ~! I гу = к ' (10)

п I =1 у =1 У 2

т

г = I гг] (11)

1 =1

п т 1 п

п т о п о

^ =1 I (гг1 - г)2 = 1 (г — г)2 (12)

¿=1 1=1 1 1=1 1

Для оценки уровня согласованности мнений экспертов рабочей группы, используем коэффициент конкордации т.е. коэффициент ранговой корреляции экспертов этой группы, который обычно рассчитывается по формуле, предложенной Кендаллом. При этом W определяется как отношение фактически полученной величины Б к ее максимальному значению ^тах для одной и той же группы экспертов и числа сравниваемых вариантов [15].

^=_5

£___ Ат т2(п3 7

1

Ж =-= 1 2, 3 ч-(13 )

тах 12 т (П - П) - т I Т1 12 1=1 1

где Т1 = 12' — 1) (14 ) Т1 - коэффициент, учитывающий наличие связанных вариантов у _]- го эксперта

Н1 - число групп одинаковых рангов вариантов у ] -го эксперта к - номер группы одинаковых рангов вариантов у ]-го эксперта ( к = 1, Н] ) - число одинаковых рангов вариантов в к-ой группе у ] - го эксперта

При отсутствии связанных вариантов у всех экспертов рабочей группы, выражение (13) упрощается и принимает следующий вид:

W = = 21235 (15)

5тах т2(п3 - П)

2

Оценку значимости коэффициента конкордации проводим по критерию X Согласно

2

[15] величина Wm(n — 1) имеет X распределение с и = п — 1 степенями свободы.

2

Расчетное значение критерия X определяем по следующему выражению [15 ]:

X2 = т • (п—1) ^ (16 )

Табличное значение критерия Хт определяем из [16] при уровне значимости

а = 0,05 и числе степеней свободы и = п — 1. 2 2

Если Х > Хт , т.е. расчетное значение больше табличного, то с вероятностью 95%

можно утверждать, что мнения экспертов рабочей группы являются вполне

2 2

согласованными, если Х < Хт , то мнения экспертов не являются согласованными.

Для качественной оценки степени согласованности мнений экспертов также можно использовать вербально-числовые шкалы, предложенные Марголиным и Харрингтоном,

которые приведены соответственно в табл. 5 и табл. 6.

Таблица 5

Оценка степени согласованности мнений экспертов по шкале Марголина

№ Числовое значение коэффициента конкордации Оценка степени согласованности мнений экспертов

1 0 < Ж < 0,1 Согласованность отсутствует

2 0,1 < Ж < 0,3 Согласованность очень слабая

3 0,3 < Ж < 0,5 Согласованность слабая

4 0,5 < Ж < 0,7 Согласованность умеренная

5 0,7 < Ж < 0,9 Согласованность высокая

6 0,9 < Ж < 1,0 Согласованность очень высокая

Таблица 6 Оценка степени согласованности мнений экспертов по шкале Харрингтона

№ Значение коэффициента конкордации Оценка степени согласованности мнений экспертов

1 0 < Ж < 0,2 Согласованность очень низкая

2 0,2 < Ж < 0,37 Согласованность низкая

3 0,37 < Ж < 0,64 Согласованность средняя

4 0,64 < Ж < 0,8 Согласованность высокая

5 0,8 < Ж < 1,0 Согласованность очень высокая

Если уровень согласованности мнений экспертов рабочей группы, вычисленный с

2 2 2

помощью коэффициента конкордации, удовлетворяет критерию Х , т.е. Х <Хт , или

степень согласованности мнений экспертов не ниже высокой, лицо принимающее решение может считать, что ранжирование вариантов, выполненное экспертами рабочей группы, проведено корректно и может быть использовано для принятия окончательного решения. .

Если ранжирование вариантов соответствует согласованному мнению экспертов, и суммарные ранги вариантов, полученные от всех экспертов, можно представить в

следующем виде: r^ < Гр < rr < Гд « rs < rv < rw, то вариант ( k) является наилучшим

поскольку для него выполняется условие

г = min r (17)

к i 1

Поэтому для ЛПР расположение вариантов по степени их предпочтения имеет следующий вид: к у р у r У д ~ s У v У w

Однако, если уровень (или степень) согласованности мнений экспертов рабочей группы не удовлетворяет ЛПР, то следует провести целенаправленную корректировку результатов работы экспертной группы, направленную на увеличение согласованности мнений экспертов.

Для проведения целенаправленной корректировки, результатов работы экспертов рабочей группы, предлагается подход, включающий три этапа:

- на первом этапе для каждой пары экспертов следует провести сравнение результатов ранжирования предложенных им вариантов и вычислить коэффициент ранговой

корреляции Спирмена ( р ) , т. е. коэффициент согласованности их мнений.

Jk

6Ä (rJ- rk)2

рк=1 —2=- (18)

J n(n2 -1) - 0,5(sJ - sk)

H 3 h 3

при этом s- = £ (t j -1Л и sk =Z (tk - fk) J к

Где i- номер оцениваемого варианта

n - число вариантов, подлежащих сравнению

r-j, Г(к - ранги, данные i-ому варианту соответственно j -ым и к -ым экспертами s- и Sk - показатели повторяемости рангов для сравниваемых экспертами вариантов

t-, tk - число повторений каждого ранга соответственно у j -го и к -го экспертов

H, h - число рангов, которые повторяются соответственно у j -го и к -го экспертов Если у экспертов повторяющиеся ранги отсутствуют, то выражение (18) упрощается и принимает вид:

6 A (ru- rik)2

Pjk = 1 --(19)

jk n(n2 -1)

- на втором этапе для каждого эксперта следует вычислить суммарный коэффициент согласованности его мнения ( Pj ) со всеми экспертами рабочей группы:

m

Pi=YPk (20)

j k=1 jk

- на третьем этапе следует определить эксперта (3w), который имеет наименьший коэффициент согласованности мнений ( pw ) с остальными экспертами рабочей группы, и исключить результаты его работы из результатов работы экспертной группы.

Pw = min P■ (21)

w jem j

Далее, последовательно используя выражения (9) - (16) , следует снова оценить уровень согласованности мнений экспертов рабочей группы.

Как правило, одного - двух циклов целенаправленной корректировки результатов работы экспертов рабочей группы, при соблюдении предложенных рекомендаций по формированию рабочей группы и организации экспертного опроса, вполне достаточно для получения согласованного мнения экспертов.

Пример.

Рассмотрим пример, который носит иллюстративный характер и служит лишь для демонстрации использования предложенного подхода для ранжирования альтернативных вариантов развития СОИ.

ЛПР для сравнения пяти вариантов развития СОИ, на основе предложенного в работе подхода, сформировал рабочую группу в количестве 6 экспертов. Уровни компетентности экспертов соответственно равны:

K1 = 1,0 , K2 = 0,8 , K3 = 0,8 , K4 = 0,8 , K5 = 0,8 , K6 = 0,6 .

Уровень компетентности рабочей группы экспертов, вычисленный по выражению (2), равен M = 0,8 . Поскольку (0,67 < M ) , то согласно условию (3), рабочая группа экспертов является компетентной и работоспособной. Эксперты заполнили выданные им бланки. После этого результаты ранжирования вариантов развития СОИ, выполненные экспертами, были сведены в табл.7 (столбцы 2-7)

Таблица 7

Результаты ранжирования вариантов развития СОИ экспертами рабочей группы

Код варианта Ранговые оценки экспертов Г (г{ - г) (г — г )2

Э1 Э2 Э3 Э4 Э5 Э6

В1 1 2 1 2 2 4 12 - 6 36

В2 2 1 3 1 3 5 15 - 3 9

В3 3 4 2 3 1 2 15 - 3 9

В4 4 3 5 5 4 3 24 6 36

В5 5 5 4 4 5 1 24 6 36

г] 15 15 15 15 15 15 п 2 I (г — г)2 = 126 ¿=1 1

столбец 1 2 3 4 5 6 7 8 9 10

Расчеты, проведенные с помощью формул (9-12) приведены в табл 7 (столбцы 8 -10). Поскольку у экспертов отсутствуют связанные варианты, то расчет коэффициента конкордации проводим по формуле (15):

№ =__= 12 126 = 0 35

г г О о О 1

т2 • (п3 — п) 62 • (53 - 5)

2

Оценку значимости коэффициента конкордации проводим по критерию X , при уровне значимости а=0,05 и числе степеней свободы и = п —1 = 4, по формуле (16)

X2 = т • (п—1) •№ = 6 • 4 • 0,35 = 8,4

Используя [16] определяем табличное значение критерия х2 , получаем Х^ = 9,5 2 2

Поскольку X <Хт , т е. расчетное значение меньше табличного, то с вероятностью

95% можно утверждать, что мнения экспертов не являются согласованными.

Однако, подход к сформированному составу экспертов рабочей группы следует признать успешным, поскольку при уровне значимости а = 0,10 и числе степеней

свободы и = п — 1 = 4, получаем X2 = 7,78 . В этом случае X2 > X2, т.е. расчетное

значение больше табличного, поэтому с вероятностью 90% можно утверждать, что мнения экспертов являются согласованными. Однако ЛПР этот результат не устраивает, и он желает получить более согласованное решение.

Поэтому далее, для получения более согласованного мнения экспертов, используем процедуру целенаправленной корректировки, результатов работы экспертов рабочей группы.

Для каждой пары экспертов по формуле (19) вычисляем коэффициент ранговой корреляции Спирмена , т.е. коэффициент согласованности их мнений. Полученные результаты заносим в табл 8.

Таблица 8

Значения коэффициента ранговой корреляции Спирмена

Э1 Э2 Э3 Э4 Э5 Э6 Суммарное значение

Э1 0 0,8 0,8 0,8 0,7 - 0,8 2,3

Э2 0,8 0 0,3 0,7 0,3 - 1,0 1,1

Э3 0,8 0,3 0 0,7 0,8 - 0,3 2,3

Э4 0,8 0,7 0,7 0 0,5 - 0,7 2,0

Э5 0,7 0,3 0,8 0,5 0 - 0,3 2,0

Э6 - 0,8 - 1 - 0,3 - 0,7 - 0,3 0 - 3,1

Вычисляем по формуле (20) суммарный коэффициент согласованности мнений каждого ]-го эксперта с остальными экспертами рабочей группы. Полученные результаты заносим в табл 8, последний столбец.

Согласно условию (21), выбираем в табл 8, в последнем столбце, строку, которой соответствует минимальное значение суммарного коэффициента согласованности мнений эксперта, в данном случае строку (6), Далее эксперта (Э6), у которого значение

Рб минимальное среди всех экспертов, исключаем из состава рабочей группы.

После этого, результаты ранжирования вариантов развития СОИ экспертами рабочей группы, без учета результатов эксперта Э6, заносим в табл 9.(столбцы 1-6)

Таблица 9

Результаты ранжирования вариантов развития СОИ экспертами рабочей группы

Код варианта Ранговые оценки экспертов г. 1 (г - г) (Г " г)2

Э1 Э2 Э3 Э4 Э5

В1 1 2 1 2 2 8 - 7 49

В2 2 1 3 1 3 10 - 5 25

В3 3 4 2 3 1 13 - 2 4

В4 4 3 5 5 4 21 6 36

В5 5 5 4 4 5 23 8 64

Г ■ ] 15 15 15 15 15 п 2 I (Г - г)2 = 178 1=1 1

столбец 1 2 3 4 5 6 7 8 9

Расчеты, проведенные с помощью формул (9-12) приведены в табл 9 (столбцы 7 - 9). Поскольку у экспертов отсутствуют связанные варианты, то расчет коэффициента конкордации проводим по формуле (15):

Ж = '12 ^— = 012 -178 = 0,712 т2 • (п3 - п) 52 • (53 - 5)

Оценку значимости коэффициента конкордации проводим по критерию X , при уровне значимости <2=0,05 и числе степеней свободы и = п —1 = 4, по формуле (16)

X2 = т• (п—1) -Ж = 5-4• 0,712 = 14,24

Используя [16] определяем табличное значение критерия Х^ , получаем Х>2 = 9,5 2 2

Поскольку X > Хт , т.е. расчетное значение больше табличного, то с вероятностью

95% можно утверждать, что мнения экспертов являются согласованными. Также имеем, что для Ж = 0,712, согласно табл. 5 и табл. 6, согласованность мнений экспертов рабочей группы является высокой.

После обработки результатов экспертного опроса имеем, что согласно выражению (17 и результатов, приведенных в табл.9. (столбец 7), рабочая группа экспертов считает, что вариант В1 является наилучшим вариантом развития СОИ, а ранжирование вариантов развития СОИ, в порядке их предпочтительности, имеет следующий вид:

В1 у В2 у В3 У В4 У В5

Выводы.

1. Определен набор качеств экспертов, которые следует учитывать при оценке уровня их компетентности, и даны рекомендации по формированию квалифицированного состава экспертов рабочей группы

2. Предложен комплексный подход к организации проведения экспертного анализа для корректного сравнения альтернативных вариантов развития СОИ и увеличения согласованности мнений экспертов рабочей группы.

3. Рассмотрен пример, иллюстрирующий возможность эффективного практического использования предложенного подхода.

Список литературы

1. Афоничкин А.И., Михаленко Д.Г. Управленческие решения в экономических системах. СПб.: Питер, 2009. 480 с.

2. Гапоненко Т.В. Управленческие решения. Ростов н/Д.: Феникс, 2008. 284 с.

3. Горбашко Е.А. Управление качеством. СПб.: Питер, 2008. 384 с.

4. Жуков Б.М., Ткачева Е.Н. Исследование систем управления. М.: Дашков и К, 2011. 208 с.

5. Зерный Ю.В., Полываный А.Г., Якушин А.А. Управление качеством в приборостроении. М.: Новый центр, 2011. 479 с.

6. Кошелев О.С., Леушин И.О., Федоров О.В. Управление проектами. М.: КНОРУС, 2011. 254 с.

7. Лукичева Л.И., Егорычев Д.Н. Управленческие решения. М.: Омега-Л, 2009. 383 с. 8..Орлов А.И. Организационно-экономическое моделирование. Теория принятия решений. М.: КНОРУС, 2011. 568 с.

9. Михненко П. Секреты эффективных бизнес-решений. М.: NT Press, 2007. 288 с.

10. Крылов А.В. О проблемах организации экспертизы // Проблемы полиграфии и издательского дела. 2006. № 4. С. 117-122.

11. Токарев Б.Е. Маркетинговые исследования. М.: ИНФРА-М, 2011. 512 с.

12. Марголин Е. Методика обработки данных экспертного опроса // Полиграфия. 2006. № 5. С. 14-16.

13. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений. М.: Знание, 1985. 32 с.

14. Куренков Н.И., Трофименко Е.М. Об одном подходе к группированию мнений экспертов в задачах принятия решений // 10-ая научно-практическая конференция «Современные информационные технологии в управлении и образовании»: сб. научных трудов. Ч. 2. М.: Проспект, 2010. С. 80-86.

15. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1974. 160 с.

16. Теория статистики / под. ред. Г.Л. Громыко. М.: ИНФРА-М, 2009. 476 с.

SCIENTIFIC PERIODICAL OF THE RAIJMAN MS TU

SCIENCE and EDUCATION

EL № FS77 - 48211. №0421200025. ISSN 1994-0408

electronic scientific and technical journal

Approach to increasing the level of consistency of expert opinion when selecting the variant of development of the data processing system

# 06, June 2013

DOI: 10.7463/0613.0574220

Postnikov V.M., Spiridonov S.B.

Bauman Moscow State Technical University, 105005, Moscow, Russian Federation

spirid@bmstu.ru

The authors propose a new approach aimed at formation of an expert group and improvement of polling organization for this expert group in order to obtain relevant information when selecting the best variant of development of the data processing system. The specified approach is based on the recommendations on the formation of a competent working expert group; rules for using a standardized rank system; recommendations on organization of expertpolls; rules for processing results of these polls; recommendations on result adjustments for certain experts of the working group aimed at the increase in the level of consistency of expert opinions. An example that illustrates efficiency of the proposed approach was presented in the article.

Publications with keywords: system of data processing, expert analysis, method of pair comparisons, coefficient of rank correlation, competence of the expert Publications with words: system of data processing, expert analysis, method of pair comparisons, coefficient of rank correlation, competence of the expert

References

1. Afonichkin A.I., Mikhalenko D.G. Upravlencheskie resheniya v ekonomicheskikh sistemakh [Management decisions in economic systems]. St. Petersburg, Piter, 2009. 480 p.

2. Gaponenko T.V. Upravlencheskie resheniya [Management decisions]. Rostov-on-Don, Feniks, 2008. 284 p.

3. Gorbashko E.A. Upravlenie kachestvom [Quality management]. St. Petersburg, Piter, 2008. 384 p.

4. Zhukov B.M., Tkacheva E.N. Issledovanie sistem upravleniya [Research of management systems]. Moscow, Dashkov & Co, 2011. 208 p.

5. Zernyy Yu.V., Polyvanyy A.G., Yakushin A.A. Upravlenie kachestvom vpriborostroenii [Quality management in instrument engineering]. Moscow, Novyy tsentr, 2011. 479 p.

6. Koshelev O.S., Leushin I.O., Fedorov O.V. Upravlenieproektami [Project management]. Moscow, KNORUS, 2011. 254 p.

7. Lukicheva L.I., Egorychev D.N. Upravlencheskie resheniya [Management decisions]. Moscow, Omega-L, 2009. 383 p.

8..Orlov A.I. Organizatsionno-ekonomicheskoe modelirovanie. Teoriyaprinyatiya resheniy [Organizational-economic modelling. Theory of decision-making]. Moscow, KNORUS, 2011. 568 p.

9. Mikhnenko P. Sekrety effektivnykh biznes-resheniy [Secrets of effective business solutions]. Moscow, NT Press, 2007. 288 p.

10. Krylov A.V. O problemakh organizatsii ekspertizy [Problems of organization of expertise]. Problemypoligrafii i izdatel'skogo dela, 2006, no. 4, pp. 117-122.

11. Tokarev B.E. Marketingovye issledovaniia [Marketing research]. Moscow, INFRA-M, 2011. 512 p.

12. Margolin E. Metodika obrabotki dannykh ekspertnogo oprosa [Methodology data processing of expert survey]. Poligrafiya, 2006, no. 5, pp. 14-16.

13. Emel'ianov S.V., Larichev O.I. Mnogokriterial'nye metodypriniatiia reshenii [Multicriteria decision making methods]. Moscow, Znanie, 1985. 32 p.

14. Kurenkov N.I., Trofimenko E.M. Ob odnom podkhode k gruppirovaniyu mneniy ekspertov v zadachakh prinyatiya resheniy [About one approach to grouping of opinions of experts in problems of decision-making]. 10-aya nauchno-prakticheskaya konferentsiya "Sovremennye informatsionnye tekhnologii v upravlenii i obrazovanii": sb. nauchnykh trudov. Ch. 2 [10-th scientific-practical conference "Modern information technologies in management and education": collection of scientific papers. Pt. 2]. Moscow, Prospekt, 2010, pp. 80-86.

15. Beshelev S.D., Gurvich F.G. Matematiko-statisticheskie metody ekspertnykh otsenok [Mathematical and statistical methods of expert assessments]. Moscow, Statistika, 1974. 160 p.

16. Gromyko G.L., et al. Teoriia statistiki [Theory of statistics]. Moscow, INFRA-M, 2009. 476 p.