Организация экспертного опроса с привлечением специалистов органов государственного и муниципального управления Текст научной статьи по специальности «Прочие технологии»

УДК 303.62

О. С. Кошевой, Е. С. Голосова, Ш. Г. Сеидов

ОРГАНИЗАЦИЯ ЭКСПЕРТНОГО ОПРОСА С ПРИВЛЕЧЕНИЕМ СПЕЦИАЛИСТОВ ОРГАНОВ ГОСУДАРСТВЕННОГО И МУНИЦИПАЛЬНОГО УПРАВЛЕНИЯ

Аннотация. В статье представлена технология организации экспертного опроса. Раскрыты основные этапы проведения экспертизы и методы их реализации. Рассмотрен практический пример организации экспертного опроса с оценкой достоверности полученных результатов.

Ключевые слова: метод, опрос, самооценка, критерий, эксперт, экспертиза, экспертный опрос.

Abstract. The article presents the technology of organization of expert survey. The authors reveal the main stages of examination and methods of their implementation, as well as consider a practical example of organization of the expert survey to estimate reliability of the results.

Key words: method, survey, self-appraisal, criterion, the expert, examination, expert survey.

Экспертный опрос - это разновидность опроса, в ходе которого респондентами являются эксперты - высококвалифицированные специалисты в определенной области деятельности [1].

Основное назначение метода экспертного опроса - выявление наиболее существенных, сложных аспектов исследуемой проблемы, повышение надежности, обоснование информации, выводов и практических рекомендаций благодаря использованию знаний и опыта экспертов.

Экспертный опрос применяется при изучении всех сфер деятельности: в диагностике, прогнозировании, программировании и нормировании, проектировании, оценке состояния социального объекта, принятии решений. Разновидности экспертного опроса также достаточно эффективно применяются на всех этапах прикладных социологических исследований в определении целей и задач, проблем, построении гипотез, сборе и анализе информации, выработке практических рекомендаций.

По мнению В. А. Ядова, экспертный опрос - это опрос специалистов -особая разновидность метода социологического исследования, где многие требования, применимые в массовых опросах, неприемлемы [2].

Главное отличие экспертного опроса от других видов опроса состоит в формировании целевой установки и ее реализации. Так, в частности, экспертный опрос предназначен для описания некоторой реальности, находящейся вне эксперта (характеристики социальной среды, профессиональные качества сотрудников и т.п.). В обычном опросе в качестве объекта изучения выступают сами опрашиваемые. Если в первом случае опрашиваемый - это инструмент для оценки некоторого объекта, то во втором случае - это сам объект, характеристики которого мы измеряем [3]. Отсюда следует, что программа опроса экспертов менее детализированна, чем в массовых опросах, и носит преимущественно концептуальный характер. При составлении инструментария экспертного опроса, а именно - анкеты или бланка-интервью, некоторые

технические и методические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической аудитории, как эксперты.

Этапы экспертного опроса представлены на рис. 1.

Рис. 1. Этапы экспертного опроса

Основное содержание первого этапа вытекает из определения цели и задач экспертного опроса. При проведении региональных исследований целями и задачами экспертного оценивания могут являться вопросы, связанные с оценкой системы здравоохранения региона, системы образования, деятельности органов государственной власти, ценностных ориентаций молодежи, состояния занятости и безработицы в регионе и т. п.

После определения целей и задач экспертного опроса необходимо выделить набор качественных и количественных характеристик объекта исследования (второй этап). Так, например, при исследовании образовательной среды вуза такими характеристиками объекта исследования могут быть: востребованность выпускника на региональном рынке труда, использование новых информационных технологий в процессе обучения, участие студентов в инновационных проектах, симпозиумах и конференциях и т.п.

При организации третьего этапа экспертного исследования необходимо решить две частные задачи: сформировать список общий экспертов и определить их необходимое (достаточное) количество.

При формировании списка экспертов с привлечением специалистов органов государственного и муниципального управления следует учитывать должность, классный чин, опыт работы, ученое звание, участие в подготовке управленческих решений (постановлений, рекомендаций, нормативных документов, методик и т.п.) по направлению предполагаемой экспертизы.

Необходимое количество экспертов на основе статистического подхода можно найти по зависимости [4]

р-

N = , (1)

^1

где -а - показатель достоверности для заданной доверительной вероятности полученного результата; £1 - заданная до начала опроса предельно допусти-

мая ошибка, выраженная в долях среднеквадратического отклонения а;

£1 = £, (2)

а

где £ - абсолютная погрешность.

Принимая значение £1 равным 0,5 и -а равным 1,96, получим

лг 1,962 _

N =------~ 8 экспертов.

0,5 Р

Исходя из зависимости для определения необходимого количества экспертов, при проведении собственно-случайного бесповторного отбора необходимое количество экспертов можно определить по зависимости [5]

N = 'Щ1, (3)

Д х 2

где р - доля единиц, обладающих обследуемым признаком; д - доля единиц, не обладающих обследуемым признаком; Дх - предельная ошибка выборочного наблюдения.

В условиях отсутствия информации о величинах р и д принимаем их равными 0,5.

Значение -а принимается равным 1,96 исходя из обеспечения доверительной вероятности, равной 0,95.

Предельную ошибку выборочного наблюдения принимаем равной значению 0,05.

Тогда в соответствии с зависимостью (3) необходимое количество экспертов составит

1,962 • 0,5 • 0,5 19

п =--------------~ 19 человек.

0,05

В работе В. М. Мишина представлена зависимость для определения минимального числа экспертов:

^ин = 0,5 • ^3 + 0,5^ , (4)

где й - возможная ошибка результатов экспертизы (0 < й < 1).

Принимая предельную ошибку выборки равной 0,05, получим

Nмин = 0,5 • I ——+ 0,5 | = 32 человека. мин , ^ 0,05

Зависимости (1), (3), (4) построены на предположении, что компетентность экспертов приблизительно одинакова.

В случае если компетентность экспертов каким-либо образом определена, то рекомендуется включать в экспертную группу не более 10-15 наибо-

лее компетентных специалистов [3]. Таким образом, оптимальным количеством экспертов следует считать диапазон

10 < ^пт < 30 человек. (5)

Учитывая, что исходный список экспертов, сформированный при участии специалистов органов государственного и муниципального управления, будет гораздо больше, его необходимо привести в соответствие с соотношением (5).

Для решения поставленной задачи существует достаточно разработанный и апробированный во многих исследованиях аппарат, детальный обзор которого представлен в работах [3, 6, 7].

Для отбора экспертов из представителей органов государственного и муниципального управления, на наш взгляд, наиболее предпочтительными являются априорные методы оценки эксперта.

К этой группе относятся наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы:

1) самооценка по одной из балльных шкал (3-, 5-, 10- или 100-балльной);

2) самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;

3) самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы;

4) самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия:

- критерий, характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.);

- критерий, характеризующий знакомство с объектом экспертизы (например, знание отраслевой специфики, конкретной организации, знакомство с образцами продукции, видами услуг и т.п.).

В этом случае комплексная самооценка эксперта рассчитывается по формуле

К = К^+2-Кз. (6)

где Кк - комплексная самооценка эксперта; КИ - коэффициент информированности (в долях единицы); Кз - коэффициент знакомства с проблемой; в - весовой коэффициент.

К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенный из них - метод списка экспертов. Процедура его применения заключается в следующем. Каждый из экспертов составляет список специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент

компетентности эксперта - отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.

С использованием данных методов формируется окончательный список экспертов в соответствии с отношением (5).

Четвертый этап экспертного опроса непосредственно связан с технологией проведения экспертного опроса. В данном случае наиболее простым является метод априорного ранжирования, основанный на экспертной оценке факторов группой специалистов, компетентных в исследуемой области. Методика применения данного метода представлена в работе [8].

При реализации данного метода экспертами осуществляется индивидуальная оценка предложенных факторов с помощью рангов, в процессе которой факторы располагаются в порядке убывания степени их влияния на результирующий признак или объект исследования, являющийся целевой функцией. Ранг обозначается следующим образом: а^т, где m - условный номер эксперта; k - номер оцениваемого показателя. При этом показатель, имеющий наибольшее влияние на исследуемый процесс, оценивается первым рангом (цифрой 1). Показателю, имеющему меньшее значение, приписывается второй ранг (цифра 2) и т.д.

Рассмотрим пример организации экспертного опроса в системе здравоохранения региона с целью определения показателей, оказывающих определяющее влияние на систему. Для упрощения вычислений допустим, что в экспертном опросе участвуют восемь экспертов, которые оценивают следующие показатели:

- обеспеченность больничного фонда современным медицинским оборудованием;

- организация материального стимулирования медицинского персонала;

- комфортность получения медицинских услуг (для больных);

- наличие младшего медицинского персонала.

Алгоритм реализации метода заключается в следующем:

1. Индивидуальные оценки всех экспертов сводятся в таблицу априорного ранжирования (табл. 1).

2. Проверяется правильность заполнения таблицы.

Максимальный ранг по конкретному показателю (аkm) не может быть больше числа сравниваемых факторов (k). Условие выполняется.

Максимальное значение суммы рангов по любому фактору не может быть больше произведения максимально возможного ранга на число экспертов, т. е.

(A k) <(Ak) • m ,

v K ''max v K ''max ’ или в соответствии с табл. 1 имеем

(A k )max =A3 = 30 ^ 32 = (4 • 8>-

Условие выполняется.

Минимально возможная сумма рангов по любому фактору не может быть меньше минимального ранга (равного 1), умноженного на число экспертов, т. е.

(Ak) . ^(Ak) . • m,

v K 'min v K 'min

или в соответствии с табл. 1 имеем

(Дк) . = Д = 11 ^ 8 = 8-1.

' к 'Ш1П 1

Условие выполняется.

Таблица 1

Результаты экспертного опроса

Условные номера экспертов, т Сумма рангов Отклонение суммы рангов Квадрат отклонения Место Вес показателя

1 2 3 4 5 6 7 8

Ранги оценки а^т Д к Ак (Ак )2 М Чк

Современное медицинское оборудование 2 2 2 1 1 1 1 1 11 -9 81 1 0,4

Стимулирование персонала 3 3 3 3 3 4 4 4 27 7 49 3 0,2

Комфортность медицинских услуг 4 3 3 4 4 4 4 4 30 10 100 4 0,1

Младший медицинский персонал 1 2 2 3 2 1 1 1 12 -8 64 2 0,3

Итого 10 10 10 10 10 10 10 10 80 294 1,0

к

3. Вычисляются сумма рангов У Дк и средняя сумма рангов Д :

к=1

Д= 1У Дк = 1'+ 27 + 30 +12 =20. кк= к 4

Проверяется правильность определения суммы рангов по формуле

к

У Д к = т - к - а ,

к=1

где а - средний ранг оценки факторов каждым экспертом:

а = 1 Ук = 1 + 2 + 3 + 4 = 2,5. кк=1 4

Тогда имеем

к

У Дк = т - к - а = 8 - 4 - 2,5 = 80,

к=1

что соответствует данным табл. 1, следовательно, условие выполняется.

4. Определяется отклонение суммы рангов каждого фактора от средней суммы рангов:

/ ________

Дк =Дк-Д .

5. С помощью коэффициента конкордации Кэнделла Ж оценивается степень согласованности мнений экспертов. При этом коэффициент конкордации Кэнделла определяется по формуле [5]

Ж = 12 /----. (7)

к - (т - т)

Тогда в соответствии с табл. 1 имеем

12 - 294 Ж =--------------= 0,437.

16 - (512 - 8)

Коэффициент конкордации Кэнделла изменяется в пределах от 0 до 1, при этом чем ближе значение коэффициента к 1, тем теснее степень согласованности экспертов. В рассматриваемом случае степень согласованности близка к среднему значению.

Далее необходимо проверить статистическую значимость полученного

коэффициента конкордации Кэнделла с использованием х -критерия Пирсона.

2

Расчетное значение Хр -критерия Пирсона определяется по формуле [5]

х2 = 12 - £

р к - т(т -1)

Тогда в соответствии с табл. 1 имеем

12•294 4 • 8(8 -1)

2 12•294

Х2 =-^7-^ = 15,75.

2

Критическое значение Хкр -критерия Пирсона определяем с использованием статистической функции ХИ2ОБР табличного процессора MS Excel.

Для уровня значимости а = 0,05 и числа степеней свободы n = m - 1

Х5ф =14,07..

2 2

Поскольку Хр ^ хкр, то делается вывод статистической значимости согласованности мнений экспертов.

В случае если статистическая значимость согласованности мнений не 2 2

подтвердится Хр ^ Хкр, необходимы:

- передача проведения экспертизы другой группе специалистов;

- корректировка состава показателей;

- привлечение других экспертов в состав группы, которая проводила экспертизу.

Однако при любом исходе проводить повторную экспертизу прежним составом экспертов не рекомендуется.

Таким образом, по результатам выполненного исследования можно утверждать, что показатели, оказывающие определяющее влияние на систему здравоохранения, по степени влияния распределились следующим образом:

1-е место - обеспеченность больничного фонда современным медицинским оборудованием (Дк = 11);

2-е место - наличие младшего медицинского персонала (Д к = 12);

3-е место - организация материального стимулирования медицинского персонала (Дк = 27);

4-е место - комфортность для больных получения медицинских услуг

(Д к = 30).

При наличии значительного количества показателей для удобства анализа можно построить диаграмму распределения рангов (рис. 2), с помощью которой можно достаточно просто определить показатели, оказывающие определяющее влияние на исследуемую социальную систему.

Рис. 2. Диаграмма распределения рангов

Заштрихованная группа показателей оказывает определяющее влияние на рассматриваемую систему.

Удельные веса показателей по степени их влияния на исследуемую систему определяются по формуле

Чк =

2(к - М +1)

к (к +1)

Тогда для первого показателя имеем

2(4 -1 +1)

(9)

Чк1 -■

4(4 +1)

- 0,4.

Поступая аналогичным образом, сводим полученные результаты в табл. 1.

Таким образом, используя приведенные способы и методы, можно организовать эффективный и достоверный экспертный опрос по любому из направлений социально-экономической сферы.

Список литературы

1. Социология : энциклопедия / сост. А. А. Грицанов и др. - Минск : Книжный Дом, 2003. - 1312 с.

2. Ядов, В. А. Социологическое исследование: методология, программа, методы /

B. А. Ядов. - М. : Наука, 1987.

3. Крымский, С. Б. Экспертные оценки в социологических исследованиях /

C. Б. Крымский, Б. Б. Жилин, В. И. Паниотто и др. ; АН УССР, Ин-т философии. -Киев : Наукова думка, 1990. - 320 с.

4. Эйтингон, В. Н. Методы организации экспертизы и обработки экспертных оценок в менеджменте : учеб.-метод. пособие / В. Н. Эйтингон, М. А. Кравец, Н. П. Панкратова. - Воронеж : ВГУ, 2004. - 44 с.

5. Шмойлова, Р. А. Теория статистики : учеб. / Р. А. Шмойлова, В. Г. Минаш-кин, Н. А. Садовникова, Е. Б. Шувалова. - М. : Финансы и статистика, 2008. -656 с.

6. Масленников, В. Е. Особенности отбора экспертов / В. Е. Масленников // Социология. - 2010. - № 2. - С. 82-93.

7. Ременников, В. Б. Управленческие решения : учеб. пособие / В. Б. Ременни-ков. - М. : ЮНИТИ-ДАННА, 2005. - 144 с.

8. Кузнецов, Е. С. Управление техническими системами : учеб. пособие / Е. С. Кузнецов. - М. : МАДИ (ГТУ), 2003. - 247 с.

Кошевой Олег Сергеевич доктор технических наук, профессор, кафедра государственного управления и социологии региона, Пензенский государственный университет

E-mail: olaa@penzadom.ru

Голосова Елена Сергеевна кандидат социологических наук, старший преподаватель, кафедра государственного управления и социологии региона, Пензенский государственный университет

E-mail: helena_82@mail.ru

Сеидов Шахрутдин Гаджиалиевич

доктор политических наук, профессор, кафедра государственно-правовых дисциплин, Пензенский государственный университет

E-mail: pgu_gpd@mail.ru

Koshevoy Oleg Sergeevich

Doctor of engineering sciences, professor,

sub-department of public administration

and regional sociology, Penza

State University

Golosova Elena Sergeevna Candidate of sociological sciences, senior lecturer, sub-department of public administration and regional sociology, Penza State University

Seidov Shahrutdin Gadgialievich Doctor of political sciences, professor, sub-department of state and legal disciplines, Penza State University

УДК 303.62 Кошевой, О. С.

Организация экспертного опроса с привлечением специалистов органов государственного и муниципального управления / О. С. Кошевой, Е. С. Голосова, Ш. Г. Сеидов // Известия высших учебных заведений. Поволжский регион. Общественные науки. - 2012. - № 1 (21). - С. 98-107.