Выбор варианта реорганизации системы обработки информации на основе экспертного анализа с коррекцией результатов Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.9

В. М. Постников

ВЫБОР ВАРИАНТА РЕОРГАНИЗАЦИИ СИСТЕМЫ ОБРАБОТКИ ИНФОРМАЦИИ НА ОСНОВЕ ЭКСПЕРТНОГО АНАЛИЗА С КОРРЕКЦИЕЙ РЕЗУЛЬТАТОВ

Предложен подход выбора варианта реорганизации системы обработки информации на основе экспертного анализа с учетом коэффициента ранговой корреляции Спирмена для оценки парного сравнения мнений отдельных экспертов и исключения из состава рабочей группы экспертов с резко отличающимися мнениями.

E-mail: spirid@bmstu.ru

Ключевые слова: системы обработки информации (СОИ), экспертный

анализ, метод парного сравнения, коэффициент ранговой корреляции,

коэффициент конкордации.

Введение. Системы обработки информации (СОИ) на базе ЛВС широко применяются во всех областях человеческой деятельности. В процессе промышленной эксплуатации СОИ обслуживающему персоналу постоянно приходится решать проблемы, которые возникают вследствие неполноты и неточности исходных данных, известных на этапе ее проектирования. К основным проблемам следует отнести:

— устранение узких мест системы, появляющихся в процессе ее работы;

— определение путей дальнейшего развития системы с учетом удовлетворения постоянно растущих потребностей ее пользователей и непрерывно развивающихся аппаратных и программных средств вычислительной техники.

Перечисленные проблемы предусматривают последовательное решение таких задач, как:

— выбор альтернативных вариантов, предназначенных для устранения узких мест или реорганизации (развития) системы;

— выбор набора показателей, т. е. локальных критериев, которые в полной мере отражают основные особенности функционирования и эксплуатации выбранных альтернативных вариантов;

— выбор интегрального критерия для объединения локальных критериев в единый критерий качества;

— проведение сравнительного анализа рассматриваемых альтернативных вариантов в соответствии с выбранным критерием качества, т. е. решение многокритериальной задачи;

— выбор наилучшего варианта в соответствии с выбранным критерием качества.

Рассмотренные задачи зачастую решаются субъективно одним человеком — лицом, принимающим решение (ЛПР). Как правило, полагают, что использование экспертного анализа при решении по-

добных проблем не позволяет получить приемлемого решения, поскольку возможны существенные разногласия у членов экспертной рабочей группы. В связи с этим проблема увеличения согласованности мнений экспертов при проведении экспертного анализа весьма актуальна [1—16].

Постановка задачи. Необходимо разработать подход к использованию метода экспертного анализа, позволяющий оперативно, объективно и корректно группе экспертов оценивать сравниваемые альтернативные варианты и предоставлять согласованные рекомендации по ранжированию и целесообразности использования этих вариантов.

Решение задачи. Для решения поставленной задачи предлагается подход, включающий в себя последовательное выполнение приведенных ниже этапов.

1. Выбор количественного и качественного состава экспертов рабочей группы.

2. Ранжирование каждым экспертом рассматриваемых альтернативных вариантов с учетом многообразия показателей их сравнения и детальная индивидуальная оценка сравниваемых вариантов за счет использования метода попарного сравнения вариантов.

3. Опрос экспертов и обработка результатов опроса в целях оценки степени их согласованности.

4. Целенаправленная корректировка результатов работы экспертной группы для увеличения степени согласованности мнений отдельных экспертов.

5. Выбор варианта реорганизации СОИ.

Рассмотрим эти этапы.

Этап 1. Известны различные эвристические подходы к выбору количественного состава экспертов рабочей группы [15]. Для корректного математического решения задачи, сформулированной на этом этапе, будем использовать упрощенный подход, основанный на теории вероятностей и элементах математической статистики. За основу подхода берем аналогию между выборочными наблюдениями (выборками), имеющими место в статистических исследованиях, и оценками (баллами или рангами), которые дают эксперты определенному фактору при проведении экспертного анализа.

Из курса статистики [16] известно, что средняя ошибка выборки ц — среднее квадратическое отклонение всех возможных значений выборочной средней от своего математического ожидания. Следовательно, /и2 — дисперсия возможных значений выборочной средней. В курсе математической статистики показано, что величина /2 в п раз меньше дисперсии о2 в генеральной совокупности, где п — объем выборки. Отметим, что все это справедливо в условиях нормально распределенной генеральной совокупности.

Поэтому при большом объеме выборки (п > 30) справедливо равенство

n

а при малом объеме выборки (п < 30) выражение (1) примет вид:

"ЧА- (2)

V п - 1

После преобразований выражений (1) и (2) и замены объема выборки на количество экспертов т в рабочей группе имеем

а2

т =—г, если количество экспертов т > 30; (3)

а2

т = —г +1, если количество экспертов т < 30. (4)

Рекомендуемые значения количества экспертов в рабочей группе, полученные по (3) и (4), для ряда типовых значений отношения , используемого на практике, приведены ниже:

"2/0*.... 0,05 0,06 0,07 0,075 0,08 0,09 0,10 0,15 0,20 0,25 п .......... 21 18 16 15 14 12 11 8 6 5

Поскольку наиболее широко при проведении расчетов применяется следующее неравенство

0,05 <"2/а2 < 0,5,

то наиболее приемлемое количество экспертов в рабочей группе должно быть в пределах 11—21 человек, в зависимости от допустимого значения. При этом следует иметь в виду, что выбор количества экспертов зависит от уровня важности принимаемого решения. Если необходимы более достоверные результаты работы экспертной группы и, наоборот, требования достоверности результатов несколько снижены, то соответственно количество экспертов в рабочей группе может быть как больше 21 человека, так и меньше 11.

Полученные теоретически и рекомендуемые к использованию граничные значения для определения количества экспертов в рабочей группе совпадают со значениями, которые определены на практике. Таким образом, можно принять, что предложенный подход к оценке граничных значений количества экспертов в рабочей группе является достаточно корректным.

Для оценки уровня компетентности К^ каждого у-го эксперта предлагается использовать выражение:

к=5 £ к . (5)

51=1

В выражение (5) включены пять обобщенных показателей Ку (0 < < Ку < 1), которые учитывают и оценивают как профессиональную деятельность эксперта, так и его личные качества, а также способность работы в коллективе.

1. КоэффициентК1 у, отражающий уровень профессиональной

подготовки и информированности /-го эксперта, учитывает наличие ученой степени и стажа работы.

2. Коэффициент К2у, отражающий уровень базовой аргументации /-го эксперта при принятии им решения, учитывает степень влияния научных публикаций на мнение эксперта.

3. Коэффициент , отражающий личные качества /-го эксперта

и вычисляемый на основе самооценки, учитывает стремление к профессиональному росту, способность своевременно принимать эффективные решения, умение работать в коллективе, дисциплинированность и организованность.

4. Коэффициент К4у-, отражающий личные качества /-го эксперта и вычисляемый коллегами экспертами.

5. Коэффициент К5 у, отражающий уровень согласованности действий /-го эксперта с членами рабочей группы при проведении тестовой оценки уровня важности указанного варианта при заданном их наборе.

Коэффициент представительности М, или компетентности, экспертной группы вычисляется по формуле [9]:

1 т

м = т 2 К1,

где Ку — коэффициент компетентности /-го эксперта (5); т — количество экспертов в рабочей группе.

Сформированная рабочая группа экспертов является компетентной и способной корректно решать поставленные перед ней задачи, если уровень ее компетентности соответствует условию [1—3]

0,67 < М < 1,00.

Этап 2. Известен количественный и качественный состав экспертов рабочей группы, а также альтернативные варианты, подлежащие сравнению. Каждый эксперт формирует свой набор локальных критериев, по которому будет проводить попарное сравнение вариантов.

Пусть п — количество альтернативных вариантов, подлежащих сравнению. Каждый эксперт составляет квадратную матрицу размером п. Если вариант / предпочтительнее варианта у, то соответству-

ющий элемент матрицы ау, а элемент а^ = 0; если два варианта равноценны, то ау = ау = 1. При этом все диагональные элементы матрицы равны нулю. Далее для каждого варианта эксперт вычисляет суммарный коэффициент важности этого варианта:

п

у = Е ау.

]=1

После этого эксперт ранжирует все сравниваемые варианты по значению показателя У, полагая вариант к наилучшим, если выполняется условие

Ук = тах У.

г

Пусть у у-го эксперта имеет место следующее соотношение для суммарного коэффициента важности вариантов: Ук > Ур > Уг > Уд ~

« У8 > Уу > УК и т. д. Тогда у у-го эксперта расположение вариантов по степени предпочтения имеет вид: к] У р] > г] У щ « я/ У у] У .

При этом варианты (щ, с одинаковой степенью важности у ]-го эксперта называются связанными, поэтому им присваивается один и тот же ранг.

Далее эксперт присваивает ранги сравниваемым вариантам: варианту к — ранг, равный единице (первое место), варианту р — ранг, равный двум, варианту г — ранг, равный трем.

Значение ранга связанных вариантов представляет собой среднее значение суммы мест этих вариантов в ранговой системе. Поэтому вариантам (щ, я) эксперт соответствует ранг, равный четырем с половиной.

Окончательно у-й эксперт присваивает сравниваемым вариантам следующие ранги: гу = 1; Гру = 2; Гу = 3; г^ = г у = 4,5; Гу = 6; г^ = 7.

Этап 3. После проведения опроса эксперты заполняют таблицу, подобную табл. 1, в которой приведены все результаты экспертного опроса.

Таблица 1

Результаты ранжирования вариантов экспертами рабочей группы

Код варианта Оценки экспертов r Г - r (r - r)2

3i З2 З3 3j 3

В1 rn ri2 ri3 Г1 j Г1т ri r1 - r (ri - r)2

В2 r21 Г22 r23 Г2 j Г2т Г2 Г2 - r (r - r)2

Окончание табл.1

Код варианта Оценки экспертов Г, Г, - Г (Г, - Г)2

Э1 Э2 Ээ Э, Э

В, г-х Г, 2 ri 3 о Г ' im Г, Г, - Г (Г, - Г)2

в„ гп1 rn 2 гп3 r 'nj Г ' nm Гп Гп - г (гп - Г)2

О Исполь тов, подлез i-му вариан юваны кащих ту j-м след ранж экспе 1ующ ирова ртом, ие об нию i = озна эксп 1, ..., чения ертам n, j = : n и; О 1, . - кол] — ран ., m. S = £ (г, - г)2 i=i чество вариан-г, присвоенный

Суммарный средний ранг /-го варианта, присвоенный ему всеми экспертами, определяется по формуле

m

Г =Z0 . j=1

Сумма рангов, присвоенных j-м экспертом всем вариантам, подлежащим ранжированию

0 = 1, =(6)

i=1 2

У всех экспертов величина (6) одинакова, поскольку применяется стандартизованная ранговая система, в которой для ранжирования используются натуральные числа от 1 до n и выполняются условия для задания рангов связанных вариантов.

Суммарный средний ранг сравниваемых вариантов находится как

r=1 ± ± j=m^,

n i=1 j=1 2

где r - r — отклонение суммарного среднего ранга i-го варианта от суммарного среднего ранга вариантов; (ri - r)2 — квадрат отклонения суммарного среднего ранга i-го варианта от суммарного среднего ранга вариантов.

Тогда сумма квадратов отклонений суммарных средних рангов каждого из вариантов от суммарного среднего ранга вариантов составит

n m n

S = ZZ(rj - r)2 =Z(ri - r)2.

i=1 j=1 i=1

Для оценки согласованности мнений экспертов рабочей группы используют коэффициент конкордации Ж, т. е. коэффициент ранговой корреляции для группы, состоящей из т экспертов. При этом коэффициент Ж определяется как отношение фактически полученного значения £ к ее максимальному значению —тах для одной и той же группы экспертов и количества вариантов.

Коэффициент конкордации обычно рассчитывается по формуле Кендалла. При этом, если у эксперта или нескольких экспертов имеют место одинаковые ранги вариантов, то расчет значения максимальной суммы квадратов отклонений суммарных средних рангов вариантов от их суммарного среднего значения £тах проводится по следующей формуле [1, 2]:

1 т

-тах = —т2 (п3 - п) - Т.

12 1=1

В связи с этим коэффициент конкордации равен [1, 2]

Ж = — =---, (7)

^тах 1

-'тах

12

—m2(n3 -n) -m^Tj

1=1

где Ту = (1/12)- Ок) — коэффициент, учитывающий наличие

Hj

k=1

связанных вариантов у j-го эксперта,

H i

' J

Ту = (1/12)£(( - ^), (8)

к=1

Ну — число групп одинаковых рангов вариантов у у-го эксперта; к, к = 1, ...,Ну — номер группы одинаковых рангов вариантов уу-го эксперта; ¿у — количество одинаковых рангов вариантов в к-й группе у у-го эксперта.

Последовательно подставляя значения в (8) и (7), получаем значение коэффициента конкордации Ж.

Оценку значимости коэффициента конкордации проводим по критерию X2. При этом величина Жт(п -1) имеет ^-распределение с и = п -1 степенями свободы. Если есть связанные варианты у экспертов, то X-распределение с и = п -1 степенями свободы рассчитывают как [1, 2]:

X2 =---—. (9)

(1/12)тп(п +1) - (1/(п -1))£ Ту

!=1

После подстановки значений в выражение (9) определяем расчетное значение х2. Табличное значение критерия х2 находим по таблице, приведенной в работе [5], при уровне значимости а = 0,05 и числе степеней свободы и = п -1.

Если х2 >х2, то с вероятностью 95 % можно утверждать, что мнения экспертов рабочей группы являются вполне согласованными, если х2 < хт2, то — не согласованными.

Для качественной оценки степени согласованности мнений экспертов также следует использовать вербально-числовые шкалы, предложенные Марголиным и Харрингтоном (табл. 2).

Таблица 2

Оценка степени согласованности мнений экспертов по различным шкалам

Номер Значение коэффициента конкордации Степень согласованности

1 Шкала Маргол 0 < W < 0,1 ина Отсутствует

2 0,1 < W < 0,3 Очень слабая

3 0,3 < W < 0,5 Слабая

4 0,5 < W < 0,7 Умеренная

5 0,7 < W < 0,9 Высокая

6 0,9 < W < 1,0 Очень высокая

1 Шкала Харринг 0 < W < 0,2 тона Очень низкая

2 0,2 < W < 0,37 Низкая

3 0,37 < W < 0,64 Средняя

4 0,64 < W < 0,8 Высокая

5 0,8 < W < 1,0 Очень высокая

Когда степень согласованности мнений экспертов рабочей группы высокая или очень высокая, т. е. полностью удовлетворяет ЛПР, окончательно ранги сравниваемых вариантов, согласно данным, приведенным в табл. 1, можно представить в виде:

гк > гр > гг > rq « rs > rv > rw .

При этом вариант k является наилучшим вариантом, поскольку для него выполняется условие

rk = min r. (10)

Поэтому расположение вариантов по степени их предпочтения имеет вид: к У р У г У q « 5 У V У ж

Если степень согласованности мнений экспертов рабочей группы не удовлетворяет ЛПР, то следует провести целенаправленную корректировку результатов работы экспертной группы для увеличения степени согласованности мнений отдельных экспертов.

Этап 4. Целенаправленная корректировка результатов работы экспертной группы для увеличения степени согласованности мнений отдельных экспертов группы за счет исключения из состава группы экспертов, чьи мнения резко отличаются от среднего мнения. Для этого используется коэффициент ранговой корреляции Спирмена

б£ (ТЛ - r 2)2

р=1 -•

i =1

т(т2 -1) - 0,5(51 - 52 )'

где 5у =^( 13 - ¿у); / — номер оцениваемого варианта; г 1— ранг,

з

присваиваемый /-му варианту одним из экспертов; 51, 51 — показатели повторяемости рангов для сравниваемых экспертами вариантов; ¿у — количество повторений каждого ранга для у-го эксперта.

Далее составляется квадратная матрица размером т, в которой элемент ру показывает степень согласованности /-го и у-го мнений

экспертов. Затем вычисляются суммарные коэффициенты согласованности

т

р

у=1

и исключается эксперт, у которого значение р минимально.

После этого еще раз составляется таблица, подобная табл. 1, но без учета мнения удаленного эксперта. Процесс вычислений, проводимых на этапе 3, повторяется.

Этап 5. Лицо, принимающее решение, выбирает наилучший вариант по (10).

Выводы. На основе проведенного анализа ряда работ по принятию управленческих решений предложено простое аналитическое выражение для выбора количественного состава экспертов рабочей группы. Даны рекомендации по выбору качественного состава экспертов рабочей группы. Определен набор качеств экспертов, которые следует учитывать при оценке уровня их компетентности. Предложен многоэтапный подход для увеличения степени согласованности мнений экспертов рабочей группы.

СПИСОК ЛИТЕРАТУРЫ

1. Афоничкин А. ИМихаленко Д. Г. Управленческие решения в экономических системах. — СПб.: Питер, 2009. — 480 с.

2. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. — М.: Статистика, 1974. — 160 с.

3. Гапоненко Т. В. Управленческие решения. Ростов н/Д.: Феникс, 2008. — 284 с.

4. Горбашко Е. А. Управление качеством. — СПб.: Питер, 2008. — 384 с.

5. Жуков Б. М., Ткачева Е. Н. Исследование систем управления. — М.: Дашков и К, 2011. — 208 с.

6. Зерный Ю.В., Полываный А.Г., Якушин А.А. Управление качеством в приборостроении. — М.: Новый центр, 2011. — 479 с.

7. Кошелев О. С., Леушин И. О., Федоров О. В. Управление проектами. — М.: КНОРУС, 2011. — 254 с.

8. Крылов А. В. О проблемах организации экспертизы // Проблемы полиграфии и издательского дела. 2006. № 4. — С. 117-122.

9. Лукичева Л.И., Егорычев Д.Н. Управленческие решения. — М.: Омега-Л, 2009. — 383 с.

10. Марголин Е. Методика обработки данных экспертного опроса // Полиграфия. 2006. № 5. — С. 14—16.

11. Михненко П. Секреты эффективных бизнес-решений. — М.: NT Press, 2007. — 288 с.

12. Орлов А. И. Организационно-экономическое моделирование. Теория принятия решений. — М.: КНОРУС, 2011. — 568 с.

13. Петров А. Ю. Интегральная методика оценки коммерческого потенциала инвестиционного продукта. — М.: Московский печатник, 2010. — 23 с.

14. Сышикова Е.Н. Теория и методы повышения эффективности систем управления на предприятии. — Воронеж: ГОУВПО ВГТУ, 2010. — 206 с.

15. Шевченко С. А., Самарин Ю. Н. Выбор комплекта допечатного оборудования, отвечающего заданным условиям // Проблемы полиграфии и издательского дела. 2006. № 4. — С. 3—12.

16. Теория статистики / Под ред. Г.Л. Громыко. — М.: ИНФРА-М, 2009. — 476 с.

Статья поступила в редакцию 4.07.2012