CC BY
81
Некоторые аспекты методики отбора экспертов на основе оценки степени доверия к уровню профессионального суждения
Е.А. Аскольская, Оренбургский ГУ
В ходе проведения экспертного исследования необходимо придерживаться заранее разработанного алгоритма [1]. Одним из наиболее значимых этапов данного алгоритма является подбор экспертов и формирование экспертной группы. На данном этапе необходимо выделить экспертов в данной области и определиться с их количеством. Поскольку результат экспертизы напрямую зависит от уровня компетентности специалистов, задействованных в ней, необходимо правильно организовать отбор [1]. Используемые их методики, основанные на проведении нескольких туров экспертного опроса и отбора специалистов, представляются невозможными к применению на современном предприятии, т.к. занимают длительное время и могут привести к опасности потери оригинальных суждений эксперта. Ввиду этого создание компьютерной программы, позволяющей автоматизировать данный процесс, стало целью нашего исследования.
Для получения формализованных сведений о кандидатах в группу экспертов и определения степени доверия к профессиональному суждению каждого из них была разработана специальная анкета и методом стандартизированного экспертного опроса проведено исследование. Вопросы, содержащиеся в анкете, отражают различные аспекты профессиональной компетенции, которые необходимы эксперту в области бухгалтерского учёта. Для получения формализованных сведений о кандидатах в группу экспертов и установления степени доверия компетентности каждого из них разработан специальный лист экспертной оценки для определения значимости критериев, используемых при изучении степени доверия к уровню профессионального суждения бухгалтера. Лист экспертной оценки содержал 15 пунктов:
1. Образование.
2. Повышение квалификации.
3. Членство в саморегулируемых организациях.
4. Наличие аттестата профессионального бухгалтера/аудитора.
5. Опыт работы бухгалтером.
6. Опыт работы в данной области.
7. Опыт самостоятельной разработки учётной политики и выработки профессионального суждения.
8. Опыт проведения проверок.
9. Смена места работы.
10. Привлечение аудиторов к выполнению отдельных заданий.
11. Факты разногласий с контролирующими органами по итогам проверок.
12. Наличие опыта решений разногласий с контролирующими организациями в арбитражном суде.
13. Решение разногласий с контролирующими органами в пользу хозяйствующего субъекта.
14. Факты нарушения законодательства по итогам аудиторских проверок.
15. Факты привлечения к административной ответственности.
Для каждого пункта были предложены варианты ответов.
Среди различных специалистов в области бухгалтерского учёта (работающих бухгалтеров, преподавателей, иностранных специалистов) проведено исследование на предмет выяснения значимости критериев для определения профессиональной компетенции специалиста в области бухгалтерского учёта.
Лист экспертной оценки составлялся с учётом двойного оценивания указанных критериев. Формирование анкеты, позволяющей адекватно оценить качество профессионального суждения, и как следствие этого, образования группы экспертов с высоким уровнем профессиональной пригодности является целью, стоящей перед организаторами любой экспертизы. Проведённый опрос позволил выделить:
во-первых, наиболее значимые критерии для оценки профессионального суждения;
во-вторых, узнать значимость каждого критерия.
Для обработки результатов исследования использованы математико-статистические методы обработки экспертных оценок, изложенные с учётом современных тенденций в сфере обработки данных [2].
Специфические для каждого метода алгоритмы требуют, чтобы исходные данные имели определённую структуру. Исходные данные, содержащие экспертные оценки, могут быть различных видов. Методы рассчитаны на обработку исходной матрицы определённой структуры, поэтому при обработке исходных данных необходимо было удостовериться, что применены адекватные методы.
Нами использовалась матрица опроса ^ имеющая следующий вид (табл. 1).
1. Модель матрицы опроса Р
Эксперты Объекты
А1 А2 Ап
Еі Р11 Рі2 Ріп
Е2 р21 Р22 Р2п
Ет Рт1 Рт2 ртп
В матрице множество Е = {Е^.Ет — опрошенные эксперты, в количестве от 1 до т; множество А={ А1—Ап } — вопросы анкеты. Элементы матрицы опроса ру, I =1,2,...,п; у =1,2,..., т; где п — количество вопросов, т — количество экспертов, были проранжированы.
В процессе внесения данных опроса в матрицу Р два экспертных листа нами отсеяны по причине неоднозначности отражённых данных. В результате осталось 28 экспертных листов. Хотелось бы отметить, что так как точность групповой оценки зависит от числа экспертов в группе, то уменьшение числа экспертов ведёт к снижению точности оценки, поскольку на групповую оценку оказывает влияние оценка каждого эксперта. В то же время при очень большом числе экспертов становится сложнее выявить их согласованное мнение из-за уменьшения роли тех суждений, которые, хотя и отличаются от мнения большинства, далеко не всегда оказываются ошибочными.
Установить оптимальную численность группы экспертов чрезвычайно трудно [1]. Однако
в зарубежной практике разработаны подходы, позволяющие приблизительно решать вопрос о необходимом числе экспертов. Согласно им было выяснено, что значение средней групповой ошибки при количестве экспертов больше 28 изменяется незначительно, поэтому отсев нескольких листов экспертной оценки не повлиял на результат [3].
При подборе и оценке числа экспертов мы учли ещё одно ограничение, касающееся соответствия целей экспертов целям экспертизы. Группа не должна состоять из представителей одной узкой специальности, так как в этом случае их мнение было бы в определённой мере тенденциозным.
В данном случае экспертиза проводилась среди преподавателей бухгалтерского учёта и аудита, бухгалтеров, экономистов. При этом необходимо отметить широкую географию экспертов (были опрошены специалисты Оренбурга, Москвы, Санкт-Петербурга), что исключает географическую тенденцию ответов.
Точность и надёжность процедуры ранжирования в значительной степени также зависят от количества объектов, в данном случае вопросов и ответов на них, которые следовало оценить и произвести ранжирование. Согласно литературе, чем меньше таких объектов, тем выше их «различимость» с точки зрения эксперта, а следовательно, возрастает надежность установления ранга объекта. В связи с этим рекомендуется
2. Матрица опроса Р
ы 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
1 2 3 13 8 1 4 14 9 15 12 7 5 6 10 11
2 3 4 12 6 1 2 5 13 7 15 11 10 9 8 14
3 1 2 5 7 3 6 4 3 10 5 11 7 8 2 9
4 2 5 8 7 1 3 4 6 10 9 13 11 12 14 15
5 3 7 6 2 5 9 1 4 8 10 12 13 14 11 15
6 3 5 12 13 1 2 6 9 15 14 7 9 8 10 11
7 6 7 15 14 4 13 9 2 11 1 8 3 5 10 12
8 3 6 9 8 1 2 5 7 5 4 10 11 12 14 15
9 6 5 8 7 4 1 2 3 15 14 12 10 11 9 13
10 3 1 10 4 2 9 2 2 10 10 4 3 10 3 5
11 2 3 1 1 1 3 1 1 3 3 2 2 10 2 2
12 2 4 10 6 1 8 3 7 12 11 13 9 5 15 14
13 1 4 5 3 9 11 2 6 10 8 13 12 7 14 15
14 4 5 7 8 1 2 3 6 14 12 9 10 11 13 15
15 6 4 13 3 2 5 7 10 14 11 12 8 1 9 15
16 2 6 15 8 1 3 7 9 12 14 13 4 5 11 10
17 13 3 5 2 12 1 4 6 15 11 8 9 7 10 14
18 1 4 7 9 2 3 6 5 15 8 12 10 11 14 13
19 4 3 6 1 2 10 5 9 15 8 5 12 13 14 7
20 1 2 9 5 3 4 13 6 10 11 7 12 8 14 15
21 8 10 9 11 5 2 6 7 13 12 4 3 1 14 15
22 8 2 6 5 10 1 9 4 13 14 11 7 3 12 15
23 11 12 14 13 4 5 6 7 15 8 3 2 1 9 10
24 3 4 9 11 1 2 5 10 8 14 12 6 7 13 15
25 7 8 10 9 1 2 3 4 15 11 12 5 6 13 14
26 1 5 3 4 8 9 2 10 15 11 12 7 6 13 14
27 4 3 13 7 1 5 14 6 15 12 11 10 2 9 8
28 3 6 8 9 2 1 7 11 12 13 14 5 4 15 10
Примечание: * Е — количество опрошенных экспертов; А — вопросы анкеты
3. Критерии проверки отклонений от нормальности
Критерий и его значения Результат оценки критерия
Критерий коэффициента асимметрии
0,107422156 0,18354 Гипотеза о нормальности не отклоняется
Критерий эксцесса
-1,218214514 1 Гипотеза о нормальности не отклоняется
D-критерий Д'Агостино
0,28774867 0,999944 Гипотеза о нормальности не отклоняется
ограничить количество ранжируемых объектов < 20, поэтому количество вопросов составило множество А = { А1.А15} [1].
В результате обработки полученных анкет мы получили матрицу опроса Р, которая представлена в таблице 2.
Принадлежность наблюдаемых данных к нормальному закону является необходимой предпосылкой для корректного применения методов математической статистики, используемых в задачах обработки измерений, стандартизации и контроля качества. Поэтому проверка на отклонение от нормального закона является необходимой процедурой в ходе проведения измерений, контроля и испытаний. По мнению исследователей, введённый стандарт «ГОСТ Р ИСО 5479-2002 «Статистические методы. Проверка отклонения распределения вероятностей от нормального распределения» не позволяет его пользователям ориентироваться в том, какой из критериев предпочтительней, какой из них оказывается наиболее мощным, против каких альтернатив и при каких объёмах выборок конкретный критерий обладает преимуществом или наоборот [4].
Тем не менее, проведя анализ существующей литературы на данную тему, обнаружили, что использование критериев согласия для проверки отклонений от нормального закона при малых объемах выборок является бесперспективным вследствие их очень низкой мощности в такой ситуации по отношению к близким альтернативам [5, 6]. При малых п (что необходимо в
рамках экспертного оценивания) предпочтение необходимо отдать специальным критериям проверки отклонений от нормальности, таким как совместный критерий проверки на асимметрию и эксцесс и D-критерий Д’Агостино, результаты по которым представлены в таблице 3.
Поскольку полученные результаты дают однозначный ответ, что гипотеза о нормальности не отклоняется, следовательно, статистический метод обработки данных был выбран корректно и результаты исследования можно использовать в дальнейшей работе по формированию шкалы оценивания.
Полученные в результате исследования данные позволяют разработать программу оценки степени доверия к уровню профессионального суждения, которая даст возможность произвести отбор компетентных экспертов в сжатые сроки.
Литература
1. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.
2. Орлов А.И. Прикладная статистика: учебник. М.: Издательство «Экзамен», 2004. 656 с.
3. Dalkey N.C. The Delphi Method: An Experimental Study of Group Opinion. Rand Memorandum, 1969.
4. Сравнительный анализ критериев проверки отклонения распределения от нормального закона Б.Ю. Лемешко, С.Б. Лемешко // Заводская лаборатория. Диагностика материалов. Метрология. 2005. № 2. С. 3—23.
5. Лемешко Б.Ю., Постовалов С.Н. О зависимости распределений статистик непараметрических критериев и их мощности от метода оценивания параметров // Заводская лаборатория. Диагностика материалов. 2001. Т. 67. № 7. С. 62-71.
6. Лемешко Б.Ю., Постовалов С.Н. Применение непараметрических критериев согласия при проверке сложных гипотез // Автометрия. 2001. № 2. С. 88-102.
