Экспертное оценивание при выборе эффективного мероприятия Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.7

ЭКСПЕРТНОЕ ОЦЕНИВАНИЕ ПРИ ВЫБОРЕ ЭФФЕКТИВНОГО

МЕРОПРИЯТИЯ

EXPERT ASSESSMENT IN THE SELECTION OF EFFECTIVE MEASURES

Г.С. Петриченко1, В.Г. Петриченко2 G.S. Petrichenko1, V.G. Petrichenko2

1)1 Кубанский государственный технологический университет, Россия, 350072, Краснодар, ул. Московская, 2 2) Северо-Кавказский филиал Федерального государственного бюджетного образовательного учреждения высшего образования «Российский государственный университет правосудия», Россия, 350002, Краснодар, ул. Леваневского, 187 1)1 Kuban State Technological University, 2 Moskovskaya St, Krasnodar, 350072 Russia 2) North-Caucasian branch of the Federal State Budget Institution of Higher Education "Russian State University of justice",

187 Levanevskogo St, Krasnodar, 350002, Russia

e-mail: petry_gr@mail.ru, mel.viktorya@yandex.ru

Аннотация. В настоящее время актуальной проблемой является оценка различных вариантов стратегических решений принимаемых руководством предприятия в кризисных условиях. В статье, для решения задачи выбора того или иного варианта, который принимает руководство предприятием, предлагается применять методы экспертного оценивания. Эксперты сравнивают между собой различные первоочередные мероприятия по уровню значимости, присваивая им баллы. Наивысший балл получает мероприятие, которое необходимо выполнить в первую очередь, для минимизации условий кризиса. Эксперты сравнивают между собой различные мероприятия и учитывают при этом, в какой мере каждое из них способно обеспечить достижение цели предприятия. Ранжирование мероприятий, зависит от баллов выставленных экспертами, их компетентности и согласованности. Оценка компетентности экспертов осуществляется, по результатам их групповой экспертизы. После получения результатов оценки компетентности экспертов, определяются взвешенные оценки по каждому мероприятию, оценивается качество экспертизы.

Resume. Currently, the actual problem is the evaluation of the various policy options taken by the company management in a crisis. In an article for the solution of selecting a particular option, which takes the lead now proposed to apply the methods of expert estimation. Experts compare different primary measures the level of significance, giving them points. The highest score receives an event that needs to be done first, to minimize the crisis. Experts compare different activities and at the same time take into account the extent to which each of them is capable of achieving the objectives of the enterprise. Ranking events depends on the points put up by experts, their competence and consistency. Assessment of the competence of experts carried out, the results of their examination of the Group. After receiving the results of the reevaluation of the competence of experts determined the slurry-shennye assessment for each activity, assesses the quality of examination.

Ключевые слова: экспертное оценивание, компетентность, экспертиза, групповая экспертная оценка, качество экспертизы

Keywords: expert evaluation, competency, expertise, group peer review, quality review

Введение

Для принятия важных стратегических решений в кризисный период необходимо, выбрать первоочередные мероприятия с применением экспертного оценивания. Экспертное оценивание -это наиболее доступный и универсальный метод получения и анализа информации о состоянии различных объектов и субъектов, а также является единственным способом получения необходимой информации для объектов, не имеющих статистической информации функционирования.

В последнее время экспертное оценивание находит применение в области телекоммуникационных систем. Это объясняется тем, что телекоммуникационные системы относительно новая сфера человеческой деятельности, в которой идет процесс накопления и осмысления разноплановой информации. Применение методов экспертного оценивания особенно распространено на задачах: проектирования корпоративных сетей [4], при построении комплексных систем защиты [5], при эксплуатации корпоративных сетей [1,2], вычисление информационных рисков и прочее [3]. Вычисления компетентности экспертов [7].

Применение методов экспертного оценивания актуально в новых сферах человеческой деятельности, где еще недостаточно развит формально-теоретический базис, не структурировано множество свойств и особенностей объектов, которые изучаются, не сформировалось необходимое количество специалистов, по качеству своей подготовки, адекватных требованиям, предъявляемым уровню эксперта. Если область проведения экспертизы новая, тем сложнее подобрать группу экспертов, которые имеют высокий уровень профессиональной компетентности. В данной статье

предлагается оценивать компетентность экспертов после проведения экспертизы и учитывать его при принятии решения, при выборе мероприятий для принятия решений.

При формировании экспертных оценок основным источником информации является эксперт, а для повышения степени объективности и качества процедуры принятия решения целесообразно учитывать мнения нескольких экспертов. Таким образом, экспертные методы основываются исключительно на оценках экспертов, сделанных относительно проблемы или задачи, которую они знают лучше других.

Поэтому актуальной проблемой является повышение достоверности экспертных оценок, за счет привлечения в группу наиболее компетентных экспертов для проведения экспертизы.

Постановка задачи

В настоящее время проблема подбора экспертов для проведения экспертизы телекоммуникационной отрасли, является одной из наиболее сложных в теории и практике экспертных исследований. В качестве экспертов необходимо использовать наиболее компетентных специалистов, чьи суждения помогут руководителю принять адекватное и наиболее приемлемое решение.

Большинство экспертных технологий, привлекаемых для решения самых разных задач в области телекоммуникационных систем, относятся к коллективной экспертизе или экспертизе множества объектов.

В коллективной экспертизе участвует группа с N = {п,п2} экспертов, каждый из которых осуществляет индивидуальную экспертизу одной и той же совокупности с Ь = {I, 12,...}1} объектов. Результаты индивидуальных экспертиз L объектов, N экспертами сводятся в общую матрицу X данных для дальнейшей обработки:

X = {х,} =

Х11, Х12'...ХШ Х22,Х22'...'Х2N

(1)

Матрицу x = {х } будем называть матрицей экспертных оценок г - объектов] - экспертами.

Объектами при коллективной экспертизе могут выступать изделия выпускаемые предприятием, программное обеспечение, аппаратные средства, присланные на конкурс проекты, мероприятия проводимые, в телекоммуникационной отрасли и т.д.

Полученные в ходе коллективной экспертизы индивидуальные экспертные оценки

x , ] = 1, n несут определенную информацию о личных качествах соответствующего ]-го эксперта, в

том числе об уровне его компетентности. Знание уровня (коэффициента) компетентности актуально для организации эффективной обработки результатов экспертизы. Обычно для оценки уровня компетентности экспертов применяется ряд специальных дополнительных мер организационно-аналитического характера [7], которые носят существенную субъективную составляющую. Поэтому, в последнее время оценивание компетентности экспертов, непосредственно по результатам выполненной ими экспертизы, является актуальной проблемой. На решение данной проблемы направлена эта статья.

Решение задачи

Предположим, телекоммуникационной фирме требуется разработать набор первоочередных мероприятий, способствующих адаптации к кризисным условиям в стране.

Рынок телекоммуникационных услуг в 2014-2015 гг. замедлил темпы роста. Такой прогноз был сделан агентством ЖВ-СошиШ^. Телекоммуникационной фирме необходимо наилучшим образом приспособиться к новым условиям и максимально нейтрализовать негативное воздействие кризиса, чтобы продолжить свою деятельность.

Телекоммуникационной фирмой составлен набор мероприятий, для борьбы с кризисом в отрасли (например, табл. 1). Необходимо мероприятия проранжировать по степени важности, для этого были приглашены эксперты. Подбор экспертов необходимо осуществить по методике, предложенной в работе [7] и осуществить экспертное оценивание мероприятий.

Экспертам было предложено проранжировать мероприятия по уровням значимости от 1 до 12 по количеству объектов. Наивысший балл получат мероприятия, на которые необходимо обратить внимание и провести в первую очередь.

Х 11, Х12,...■XLN

Результаты индивидуальной экспертизы (например, табл. 2), которые совершил j-й эксперт, представляют собой случайную последовательность X , каждый элемент которой содержит

информативную составляющую и случайную ошибку экспертизы j-го эксперта.

Эксперты проранжировали адаптационные меры по уровню значимости от 1 до N, где N -количество мероприятий предложенных экспертам. Наивысшие баллы получают те мероприятия которые, по мнению экспертов необходимо проводить в первую очередь. Оценку N баллов получает то мероприятие, которое необходимо провести в первую очередь, далее по убыванию N-1. Результаты экспертного оценивания для 12 мероприятий 7-ю экспертами приведены в таблице 2.

По сумме баллов, которые получили мероприятия, представленные в таблице 2 нельзя с уверенностью судить о том, какие мероприятия предпочтительнее проводить по отношению к другим, так как некоторые мероприятия получили одинаковую сумму баллов, например это Мз и М5.

Чтобы вычислить более точную оценку по каждому объекту, необходимо использовать групповую экспертную оценку, для этого нужно выполнить следующие этапы:

• Оценить коэффициент компетентности экспертов при групповой экспертизе

• Рассчитать взвешенные оценки по каждому мероприятию с учетом коэффициента экспертов

• Оценить качество экспертизы с помощью коэффициента согласованности мнения экспертов

Таблица 1 Table 1

Основные меры адаптации телекоммуникационной фирмы к кризисным условиям Basic adaptation measures telecommunications companies to the crisis conditions

№ Мероприятия Важность мероприятия - ответы экспертов

01 Сдерживание роста цен на предоставление телекоммуникационных услуг

02 Совершенствование беспроводной связи

03 Маркетинг в телекоммуникационной отрасли

04 Повышение качества предоставленных телекоммуникационных услуг

05 Изменение тарифной политики.

06 Совершенствование услуг связи

07 Внедрение биллинга

08 Продажа сим карт вместе с оборудованием.

09 Предоставление Роуминга

10 Расширение покрытия связи

11 Предоставление услуг контакт «Колл-центра»

12 Предоставление услуг интернет по протоколу UDP. Размещение сети наземных станций спутниковой связи.

Таблица 2 Table 2

Результаты экспертного оценивания The results of the expert evaluation

Эксперты

Мероприятия (объект) Э1 Э2 Э3 Э4 Э5 Э6 Э7 s с s 2

М1 2 5 10 4 1 2 1 25 3-57143 625

М2 7 11 7 9 11 9 3 57 8.14286 3249

М3 10 8 9 8 10 12 10 67 9-57143 4489

М4 9 12 8 12 9 7 9 66 9.42857 4356

М5 12 4 12 5 12 11 11 67 9.57143 4489

М6 8 10 6 11 8 8 8 59 8,42857 3481

М7 6 9 5 3 7 3 7 40 5.71429 1600

М8 11 6 11 7 6 10 12 63 9 3969

М9 5 1 4 6 4 6 6 32 4.57143 1024

М10 4 7 2 10 5 5 5 38 5.42857 1444

М11 3 2 3 2 3 4 4 21 3 441

М12 1 3 1 1 2 1 2 11 1.57143 121

Итого 78 78 78 78 78 78 78 546 78 29288

Оценка коэффициента компетентности экспертов при групповой экспертизе

Вычисление компетентности экспертов заключается в предположении о том, что компетентность экспертов должна оцениваться по степени согласованности оценок экспертов с групповой оценкой мероприятий.

Для того чтобы вычислить коэффициент компетентности экспертов необходимо определить сумму оценок и среднюю оценку г-го мероприятия п экспертами используя следующее выражение (см. табл. 2):

s. = Y х..

I jLu и

(2)

где - сумма оценок, выставленная всеми экспертами г-му мероприятию; Х0 - оценка (балл) г-го

мероприятия, поставленная] - м экспертом.

Определить среднюю оценку г-го мероприятия используя следующую формулу:

с = Sl ,

(3)

где С - средняя оценка г-го мероприятия; п - количество экспертов, принимающее участие в экспертизе (выборе мероприятий).

Коэффициент компетентности каждого из 7 экспертов производится по следующему выражению:

£(X, * С,)

к, = -пъ-,

I (С * Sl)

7=1

где К - коэффициент компетентности]-го эксперта.

Пример расчета компетентности экспертов приведен в таблице 3.

Коэффициент компетентности экспертов

(4)

Таблица 3 Table 3

Эксперт Э1 Э2 Э3 Э4 Э5 Э6 Э7

Коэффициент компетентности 0.147091 0.138248 0.140296 0.140365 0.145213 0.145623 0.143164

Расчет взвешенных оценок по каждому мероприятию с учетом коэффициента компетентности экспертов

Построим таблицу 4, экспертного оценивания с учетом компетентности эксперта используя следующее выражение:

Yj = Xj * Kj, (5)

где Y - оценка(балл) г-го мероприятия, поставленная j—м экспертом с учетом его компетентности, которая определена по результатам групповой экспертизы.

Таблица 4 Table 4

Взвешенные экспертные оценки по каждому мероприятию

Мероприятия (объект) Э1 Э2 Э3 Э4 Э5 Э6 Э7 в,

М1 0.294 0.6912 1.403 0.5615 0.145 0.291 0.143 3.5295

М2 1.03 1.5207 0.9821 1.2633 1.597 1.311 0.429 8.1332

М3 1.471 1.106 1.2627 1.1229 1.452 1.747 1.432 9.5937

М4 1.324 1.659 1.1224 1.6844 1.307 1.019 1.288 9.4043

М5 1.765 0.553 1.6836 0.7018 1.743 1.602 1.575 9.6227

М6 1.177 1.3825 0.8418 1.544 1.162 1.165 1.145 8.417

М7 0.883 1.2442 0.7015 0.4211 1.016 0.437 1.002 5.7049

М8 1.618 0.8295 1.5433 0.9826 0.871 1.456 1.718 9.0188

М9 0.735 0.1382 0.5612 0.8422 0.581 0.874 0.859 4.5907

М10 0.588 0.9677 0.2806 1.4036 0.726 0.728 0.716 5.4103

М11 0.441 0.2765 0.4209 0.2807 0.436 0.582 0.573 3.0102

М12 0.147 0.4147 0.1403 0.1404 0.29 0.146 0.286 1.5649

Итого 11.47 10.783 10.943 10.948 11.33 11.36 11.17 78

у=1

n

Взвешенные оценки определяются по следующей формуле:

n=l

в, =Z Y , (6)

>1

где В - взвешенная оценка i-го мероприятия поставленная всеми экспертами.

Проранжированные мероприятия по важности представлены в таблице 5. В таблице 5 сначала представлены мероприятия, получившие наибольшую оценку, а в конце - наименьшую.

Таким образом, в процессе экспертизы были выявлены наиболее эффективные меры адаптации к кризисным явлениям в стране. В первую очередь телекоммуникационной фирме необходимо обратить внимание на изменение тарифной политики, а также на маркетинг в телекоммуникационной отрасли.

Таблица 5 Table 5

Проранжированные мероприятия по важности с учетом коэффициента

компетентности экспертов To rank the importance of the event, taking into account the coefficient competence of experts

М5 М3 М4 М8 М6 М2 М7 М10 М9 М1 М11 М12

9.62 9.59 9.44 9.0 8.47 8.13 5.70 5.410 4.590 3.529 3.010 1.564

Оценка качества экспертизы с помощью коэффициента согласованности мнения экспертов

Оценку качества, проведенной экспертизы, можно оценить с помощью коэффициента конкордации (согласованности) мнений экспертов, который определяется следующим выражением:

19 * с

Ж = 12 " , (7)

п 2*(/3 -/) '

где Ж - коэффициент конкордации (согласованности) мнений экспертов; п - число экспертов в группе, l - число мероприятий подлежащих экспертизе, - сумма квадратов разностей рангов (отклонение от среднего).

В качестве примера для расчета рассмотрим данные, которые представлены в таблице 2 -результатов экспертного оценивания, где п=7, 1=12, сумма квадратов разностей будет, определятся по следующей формуле:

1=12 //=12 Л

^ = Х2-[X3]//, (8)

где - сумма квадратов разностей, Б, - сумма оценок г-го мероприятия выставленная всеми экспертами и определена выражением (2).

Применяя формулу (8) к таблице 2 определяем значение = 4445 .

Теперь рассчитаем сам коэффициент согласованности экспертов, применяя выражение (7): W=0,634366.

В качестве вывода можно отметить, если W<0.2-0.4, значит слабая согласованность экспертов, если W>0.6-0.8, то согласованность экспертов сильная. В нашем случае согласованность экспертов сильная.

Заключение

В качестве первоочередных мероприятий адаптации фирмы к кризисным условиям, по мнению экспертов, являются:

• Изменение тарифной политики фирмы предоставляющей телекоммуникационные

услуги

• Маркетинг в телекоммуникационной отрасли

• Повышение качества предоставленных телекоммуникационных услуг Коэффициент согласованности мнений всех экспертов является сильным, это значит:

• Мнения экспертов полностью согласованы

• Результаты экспертизы пригодны для принятия решения руководством фирмы

• Цели и задачи исследования сформулированы корректно

• Удачно подобраны эксперты и метод экспертизы.

НАУЧНЫЕ ВЕДОМОСТИ

Серия Экономика. Информатика. 2015. №13 (210). Выпуск 35/1

127

Список литературы References

1. Петриченко Г.С. Анализ состояния вопросов эксплуатации корпоративных сетей на современном этапе. Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 100. С. 378-395.

Petrichenko G.S. Analiz sostojanija voprosov jekspluatacii korporativnyh setej na sovremennom jetape. Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 100. S. 378-395.

2. Петриченко, Г.С. Выбор способа эксплуатации корпоративных сетей на основе применения экспертных оценок / Г.С. Петриченко // Научные ведомости БелГУ. Сер. История. Политология. Экономика. Информатика. - 2014. - №21(192). - Вып. 32/1. С. 162-167.

Petrichenko, G.S. Vybor sposoba jekspluatacii korporativnyh setej na osnove primenenija jekspertnyh ocenok / G.S. Petrichenko // Nauchnye vedomosti BelGU. Ser. Istorija. Politologija. Jekonomika. Infor-matika. - 2014. -№21(192). - Vyp. 32/1. S. 162-167.

3. Петриченко Г.С., Дудник Л.Н., Срур М.Ю. Методика оценки финансового риска при проектировании и монтаже компьютерной сети предприятия. Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2011. Т. 2. № 120. С. 18-25.

Petrichenko G.S., Dudnik L.N., Srur M.Ju. Metodika ocenki finansovogo riska pri proektirovanii i montazhe komp'juternoj seti predprijatija. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie. 2011. T. 2. № 120. S. 18-25.

4. Петриченко Г.С., Григорян Н.К., Медовщиков М.И. Методика разработки экспертной системы руководителя для принятия управленческих решений. Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2012. Т. 1. № 140. С. 60-66.

Petrichenko G.S., Grigoijan N.K., Medovshhikov M.I. Metodika razrabotki jekspertnoj sistemy rukovoditelja dlja prinjatija upravlencheskih reshenij. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie. 2012. T. 1. № 140. S. 60-66.

5. Петриченко Г.С., Нарыжная Н.Ю., Гоголев В.Н. Моделирование управленческих ситуаций по защите информации с применением иерархической системы неисправностей. Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2008. Т. 2. № 55. С. 103-107.

Petrichenko G.S., Naryzhnaja N.Ju., Gogolev V.N. Modelirovanie upravlencheskih situacij po zashhite informacii s primeneniem ierarhicheskoj sistemy neispravnostej. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie. 2008. T. 2. № 55. S. 103-107.

6. Саати, Т. Принятие решений. Метод анализа иерархий [Текст] - М : Радио и связь, 1993.

Saati, T. Prinjatie reshenij. Metod analiza ierarhij [Tekst] - M : Radio i svjaz', 1993.

7. Петриченко Г.С. Методика оценки компетентности экспертов / Петриченко Г.С. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. - №05(109). -IDA [article ID]: 1091505004. - Режим доступа: http://ej.kubagro.ru/2015/05/pdf/04.pdf, 0,750 у.п.л.

Petrichenko G.S. Metodika ocenki kompetentnosti jekspertov / Petrichenko G.S. // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2015. - №05(109). - IDA [article ID]: 1091505004. - Rezhim dostupa: http://ej.kubagro.ru/2015/05/pdf/04.pdf, 0,750 u.p.l.