CC BY
223
картина в кубиках
метод экспертного оценивания:
руководство к действию
__Аннотация
На сегодняшний день необходимо наличие единой базовой методики проведения экспертного оценивания как безальтернативного метода получения информации в ряде случаев. В связи с этим автором предпринята попытка разработки алгоритма экспертной оценки, определены и раскрыты ее основные этапы. Обоснована необходимость проведения работы по формированию экспертной комиссии, определению достоверности полученных результатов с целью повышения объективности их интерпретации. Автор приходит к выводу, что экспертное оценивание существенно повышает качество и эффективность принимаемых управленческих решений на основе разносторонности анализа.
_Ключевые слова: эксперт, рабочая группа, экспертная группа, алго-
_ритм оценки, способы оценки, кадровый потенциал, менеджмент, эф_фективность деятельности компании
В процессе развития производства и управления возникает потребность в качественных управленческих решениях. Для повышения их обоснованности с учетом факторов, влияющих на результаты, необходим комплексный разносторонний анализ, включающий в себя как количественную, качественную оценку, так и учет суждений специалистов по рассматриваемому вопросу. Отметим, что экспертное оценивание вносит степень субъективности в полученные результаты, однако на сегодняшний день это безальтернативный метод. Очевидным является тот факт, что от точности и обоснованности выбора частных показателей, установления эталонных значений и интерпретации полученных результатов зависят достоверность полученных выводов и возможность их использования на практике [9].
Формируем комиссию
Детальное исследование публикаций позволило убедиться в том, что работу по формированию
Дюйзен Екатерина Юрьевна
аспирантка 2-го года обучения по направлению «Экономика и управление народным хозяйством», ст. преподаватель кафедры экономики предприятия и менеджмента, Хабаровская государственная академия экономики и права [email protected]
экспертной комиссии можно обоснованно считать трудоемким, сложным и многоэтапным процессом [7]. Дело усложняется тем, что до настоящего времени не определены единые правила по проведению такого рода экспертизы. В результате изучения наиболее распространенных подходов к экспертному оцениванию предлагаем следующий алгоритм (см. рис).
Первоочередной задачей подготовительного этапа является назначение руководителя экспертной комиссии, осуществляющего общее руководство по работе экспертной комиссии и ответственного за интерпретацию получаемых результатов [5]. Как правило, возглавляет экспертную комиссию непосредственно представитель управляющего аппарата, одновременно являющийся инициатором проведения анализа по заданной проблеме. В его обязанности входит определение цели и задач по формированию экспертной группы. На наш взгляд, имеет смысл включить в экспертную комиссию экспертную и рабочие группы. Рабочая группа включает в себя технических исполнителей, основными функциями которых является проведение работ по подготовке материалов, информированию, обработке результатов, составлению анкет, сбору информации и т.д. Экспертная группа состоит из специалистов, обладающих необходимыми теоретическими знаниями и практическим опытом по решаемой проблеме. Если формирование рабочей группы не составляет особой сложности, то работа по формированию экспертной группы требует большего внимания, поскольку правильный подбор экспертов позволяет снизить субъективизм будущих оценок, и, в конечном счете, самих результатов. Как уже было отмечено, состав экспертной группы определяется необходимостью привлечения специалистов из разных отделов организации в зависимости от целей проведения экспертного анализа.
Измерение коэффициентов
Руководитель экспертной комиссии формирует исходный список кандидатов экспертной группы. Затем проводится корректировка исходного списка путем включения специалистов, изъявивших
возглавляет_
экспертную комиссию непосредственно
представитель_
управляющего_
аппарата,_
одновременно_
являющийся_
инициатором_
проведения анализа по заданной проблеме
0Ш
Рис. Алгоритм экспертной оценки
желание участвовать в работе экспертной группы и отобранных руководителем. После получения полного списка кандидатов, проводится анализ их компетентности с использованием метода самооценки. Коэффициент компетентности кандидата определяется по формуле:
= [1]
где К г1- коэффициент информированности г'-го кандидата;
К г2 - коэффициент индивидуальных качеств г'-го кандидата;
К з - коэффициент стабильности работы г'-го кандидата;
К4 — коэффициент согласованности мнения г'-го кандидата с мнением предварительно сформированной экспертной группы.
Для расчета первых трех коэффициентов кандидаты используют балльные оценки, значение которых варьируется по шкале от 0,1 до 1, где 1 - это максимальный балл.
Коэффициент информированности определяется по данным, представленным в таблице 1 [7]. Данный показатель отражает, какие источники информации и в какой степени влияют на мнение г'-го кандидата при принятии им решений. Коэффициент, отражающий характеристики индивидуальных качеств кандидата, также необходимо учитывать при определении компетентности. В ряде работ (А.И. Афоничкин, О.С. Кошелев, Л.И. Лукичева и др.) показано, что на эффективность экспертного оценивания непосредственно влияют личные характеристики экспертов, наиболее значимыми среди которых выступают умение работать в команде, объективное оценивание ситуации и т.д. [1]. В результате их исследования, для оценки были выделены 5 обязательных индивидуальных качеств экспертов (см. табл. 2). Подчеркнем, что они рассчитываются по формуле средней арифметической:
^¡1,2 -
Е/=1 о*
состав экспертной необходимостью
в зависимости_
от целей проведения
[2]
где О/—- оценка в баллах ьго кандидата по j-му критерию.
Коэффициент стабильности работы предлагаем принимать в зависимости от стажа работы кандидата (см. табл. 3).
Следует отметить, что стаж работы учитывается в отношении организации, где работает кандидат на данный момент времени. Кандидат просто выделяет необходимое поле, которому соответствует обозначенные баллы.
При определении коэффициента согласованности мнений воспользуемся формулой [4]:
Ки = 1 -
[3]
где Г/ — ранг, присвоенный/'-ым кандидатом в отношении определенного объекта; гср - средний ранг
Таблица 1
Исходные данные для оценки коэффициента информированности
Источники аргументации Оценка в баллах
Исследования отечественных ученых
Исследования зарубежных ученых
Практический опыт
Интуиция
Опыт решения приближенной по содержанию проблемы
Итого п
Таблица 2 Исходные данные для оценки коэффициента индивидуальных качеств кандидата
Индивидуальные качества кандидата Оценка в баллах
Способность формировать и поддерживать благоприятный социально-психологический климат в коллективе
Способность работать в команде
Способность оперативно принимать решения
Организованность и пунктуальность
Объективность при принятии решений
Итого п
Таблица 3 Данные для определения стабильности работы кандидата
Стаж работы Оценка в баллах
более 15 лет 1,0
10-15 лет 0,8
5-10 лет 0,6
1-5 лет 0,4
1 год 0,2
определенного объекта, полученный в результате проведения тестового опроса всеми кандидатами. Расчет данного коэффициента основан на проведении тестового опроса с просьбой проранжи-ровать объекты по степени их влияния на какой-либо показатель. Соответственно, если ранг 1-го кандидата значительно отличается от группового среднего ранга, то и значение Кг4 будет стремиться
к 0, в противном случае, оно будет приближено к 1. Градация значений коэффициента компетенции определяет его уровни: 0,9-1,0 свидетельствует о максимальном уровне компетентности, 0,8-0,9 -высоком, 0,7-0,8 - уровень компетенции выше среднего, 0,6-0,7 - средний, 0,5-0,6 - ниже среднего и менее 0,5 - низкий. Очевидно, что кандидаты с низким, ниже среднего, а также средним уровнем компетентности исключаются из списка претендентов. За сбор информации, обработку собранных данных отвечает рабочая группа, предоставляющая результаты руководителю экспертной комиссии.
Где минимум, а где максимум
После того как установлен уровень компетентности кандидатов, необходимо определить численный состав экспертной группы. В теории существуют некоторые подходы к определению числа экспертов в составе группы. Так, по мнению Е. Марголина, специалиста в области экспертных оценок, число экспертов должно быть больше, чем количество объектов оценивания [6]. Данный подход является довольно простым, без конкретного обоснования. Ряд авторов утверждают, что количество экспертов в группе должно быть от 7 до 20 человек [4]. Другие придерживаются пределов от 10 до 30 [3]. Однако объединяет исследователей одна общая позиция: слишком малое количество экспертов в группе приводит к недостоверным результатам, а слишком большое - к проблемам организационного характера.
Согласно принципу Гештальта, численность экспертной группы не должна превышать 10 человек. Мы в полной степени согласны с данным принципом. Если количество экспертов будет превышать 10 человек, то станет сложным согласовывать их мнения, возникнут сложности организационного характера. Очевидно, что не все кандидаты после определения уровня компетентности будут включены в окончательный список. Представляется достаточно проблематичным определить точную численность экспертов. Однако следуя законам логики, можно определить минимальное и максимальное количество. Минимальное количество вполне может быть определено численностью экс-
на эффективность
экспертного_
оценивания_
непосредственно
влияют личные_
характеристики экспертов, наиболее значимыми среди которых выступают умение работать
в команде,_
объективное_
оценивание_
ситуации и т.д__
слишком малое
_количество
_экспертов
в группе приводит
к недостоверным -результатам,
а слишком большое -
_к проблемам
_организационного
_характера
пертов, имеющих максимальное значение коэффициента компетентности. Максимальную же границу предлагаем определять на основе выражения [8]:
т <
2 *Q„
■X"
[4]
где ш" — общее количество кандидатов; Qmз¡í — значение максимального коэффициента компетентности; Qi — компетентность 1-го эксперта.
К окончательному решению
После определения количества экспертов руководитель комиссии формирует окончательный список экспертной группы.
Второй этап по формированию экспертной комиссии является не менее значимым. Он включает в себя работу по определению методов сбора информации, типов оценочных шкал и способов измерения объектов. бщепринятыми способами сбора мнений экс-ртов является «мозговой штурм», деловые игры, :уссии, метод «Дельфи», метод комиссий и др. именее затратными и простыми в организации, а наш взгляд, являются анкетирование и опрос. Система правил измерения объектов (явлений) позволяет преобразовать полученную от экспертов информацию в удобную для дальнейшего анализа форму. Традиционно тот или иной тип шкалы определяется системой предпочтений экспертов. Так, наиболее простой является номинальная шкала. Она основана на сравнении объектов (явлений) с эталоном и упорядочении их по двуно-минальной шкале, при этом присваиваемый балл равен 0 или 1. Шкала отношений используется при наличии абсолютного свойства объекта, когда известна нулевая точка, например, размер прибыли при выпуске нового продукта. Мы рекомендуем использовать при экспертном оценивании порядковую и интервальную шкалы. Данный выбор объясняется тем, что они имеют преимущество по сравнению с другими и наиболее часто используются при проведении экспертных оценок. Это обусловлено тем, что, например, при номинальной шкале возможны только два варианта: «да» или «нет», что сужает рамки оценивания. А с помощью
шкалы отношений определяются количественные характеристики, которые могут быть получены и расчетным путем.
Следующий шаг заключается в определении способа измерения объектов. При работе с порядковой и интервальной шкалой, как правило, используются ранжирование, парное сравнение и непосредственная оценка. Поскольку экспертное оценивание не предполагает анализа большого числа объектов, а различие между оцениваемыми объектами является довольно значительным, то нерационально использовать способ парного сравнения при исследовании ресурсного потенциала организации. Соответственно, оптимальными методами является ранжирование и непосредственная оценка. Сущность ранжирования сводится к выбору наиболее существенного объекта из исследуемой совокупности и расположения объектов в порядке убывания (возрастания). Ранги могут принимать значение от 1 до п, при этом значение самого важного ранга равно 1. Необходимо подчеркнуть, что, по мнению экспертов, если несколько оцениваемых объектов имеют одинаковую важность, то ранги присваиваются таким образом, чтобы сумма оставалась неизменной. Например, если объекты 2 и 3 считаются одинаковыми по значимости, то им необходимо присвоить ранг 1,5 и т.п. Непосредственная оценка не просто упорядочивает, но и определяет, насколько один объект более важен, чем другой, посредством интервалов, которым соответствуют баллы, например, от 0 до 5, от 1 до 10 и т.д. Ранжированию соответствует порядковая шкала, а способу непосредственных оценок -интервальная.
Этап экспертного оценивания заключается в непосредственном сборе мнений экспертов и их отборе с применением выбранных методик. С целью определения достоверности результатов полученных оценок необходимо определить согласованность мнений экспертов. Другими словами, полученные мнения экспертов имеют дальнейшее практическое применение только в том случае, если они являются согласованными. Так, для определения согласованности мнений экспертов используются статистические характеристики - меры разброса. Наиболее распространен-
если, по мнению_
экспертов, несколько оцениваемых объектов имеют
одинаковую_
важность, то ранги
присваиваются_
таким образом,_
чтобы сумма
оставалась_
неизменной_
_полученные
мнения экспертов
_имеют дальнейшее
_практическое
_применение только
_в том случае, если
_они являются
_согласованными.
ным параметром является коэффициент вариации. Его мы используем при обработке результатов, полученных в ходе анкетирования при оценке организационного и предпринимательского потенциалов. Традиционно данный коэффициент рассчитывается по формуле [2]:
СКО
V = 100%.
х
[5]
где СКО - среднее квадратическое отклонение, определяемое по формуле:
СКО =
[6]
где т - количество экспертов; х^ - оценка^-го эксперта; х - средняя оценка группы экспертов. Преобразуя данную формулу для балльных оценок, получим следующее выражение:
% вку
V =
к]
■ * 100%
[7]
-■гр
- средний балл г'-го эксперта в отношении бъекта, рассчитываемый по формуле:
ЕВ,
[8]
где В у - баллы г'-го эксперта в отношении у-го объекта; ^ - число экспертов, оценивающих^-ый объект; в - средний балл по группе. Полученное значение коэффициента вариации характеризует долю среднего значения этой величины, составляющей ее средний разброс [2]. Оно не имеет четких границ, однако очевидным является то, что большое значение данного коэффициента характеризует сильное изменение признака. Эмпирическим путем установлено, что до 10% -слабое изменение; от 10 до 25% - умеренное изменение и свыше 25% - высокое изменение. В теории статистики данное значение несколько выше и принято считать, что если оно превышает 35%, это свидетельствует о неоднородности оценок экспертов.
В случае использования метода ранжирования, необходимо рассчитать коэффициент конкорда-
ции. В случае если все ранги различны, то используется следующая формула [10]:
Ш =
12 5
к2(п3 — п)
[9]
где 5 =
Яу - ранг г'-го объекта оцениваемогоу-ым экспертом; п - количество объектов; £ - количество экспертов.
Если хотя бы один эксперт выставил одинаковые ранги, то формула примет вид:
Ш =
125
к2(п3 -п)-к^1Т<
[10]
где Ту - присутствие в анкете j-го эксперта одинаковых рангов, рассчитывается по формуле:
ут] а3 - t Л
Ъ =
12
[11]
где ту- количество групп одинаковых рангов в анкетеу-го эксперта; где - количество рангов в г-й группе одинаковых рангов в анкетеу-го эксперта. Значение коэффициента может принимать значение от 0 до 1. Чем ближе значение к единице, тем более согласованными являются мнения экспертов. О высокой согласованности свидетельствует значение более 0,8.
Выводы
Таким образом, представленный подход к проведению экспертных оценок позволяет формализовать процессы сбора, анализа, обработки мнений экспертов с преобразованием полученной информации в наиболее приемлемую и удобную форму. С целью получения наиболее объективной информации необходимо уделить большое внимание составу комиссии, поскольку от наличия специализированных мнений экспертов в определенной области будет зависеть и объективность получаемой информации.
Не стоит, однако, забывать, о том, что данный метод не может заменить количественный анализ, он лишь дополняет картину и в то же время являет-
данный метод
не может заменить
количественный_
анализ, он лишь
ся безальтернативным вариантом в случае невозможности применения более точных методов.
Литература
1. Афоничкин А.И. Управленческие решения в экономических системах. - СПб: Питер, 2009.
2. Елисеева А.А. Статистика. - М.: Проспект, 2011.
3. Жуков Б.М., Ткачева Е.Н. Исследование систем управления. - М.: Дашков и Ко, 2011.
4. Зерный Ю.В., Якушин А.А. Управление качеством в приборостроении. - М.: Новый центр, 2011.
5. Малин А.С. Исследование систем управления. -М.: Инфра-М, 2008.
6. Марголин Е. Методика обработки данных экспертного опроса // Полиграфия. - 2006. - № 5.
7. Михненко П. Секреты эффективных бизнес-решений. - М.: NTPress, 2007.
8. Петров А.Ю. Интегральная методика оценки коммерческого потенциала инвестиционного продукта. - М.: Московский печатник, 2010.
9. Федореев С.В. Инновационный потенциал: содержание, структура, методика оценки // Экономика, системы управления. - 2005. - №3.
10. Шмойлова Р.А. Теория статистики. - М.: Финансы и статистика, 2011.
Ekaterina Yu. Dyuyzen
Postgraduate student of the 2nd year of education of Economics and management of national economy speciality,
Senior Lecturer, Academic Department of Business economics and management, Khabarovsk State Academy of Economics and Law
Method of expert assessment: practical guidance
_Abstract
At the present time there is a necessity for a unified basic procedure of expert assessment as a single-option method of obtaining information in some cases. In this connection the author attempted to develop an algorithm for expert assessment. The main stages of such assessment are presented and shown. The necessities to establish an expert commission and to evaluate the accuracy of the obtained results with the aim of increasing the objectivity of their interpretation are substantiated. The author came to conclusion that the expert assessment significantly increases the quality and effectiveness of managerial decisions due to diversity of the analysis.
Keywords: expert, work group, expert group, assessment algorithm, methods of assessment, workforce capacity, management, effectiveness of company activities
Jj
-¡¡креативная экономика, 2014, № 2(86)
