CC BY
11
ОБЗОР МЕТОДОВ, МОДЕЛЕЙ И СИСТЕМ ФОРМИРОВАНИЯ ЭКСПЕРТНЫХ
КОМИССИЙ Пономаренко Д.Н.1, Гранков М.В.2
1Пономаренко Дмитрий Николаевич - аспирант 2Гранков Михаил Васильевич - кандидат технических наук, профессор, Донской государственный технический университет, г. Ростов-на-Дону
Аннотация: в статье представлен обзор различных подходов к созданию и оценке экспертных групп, с учетом их преимуществ и ограничений. Рассматриваются методы ранжирования экспертов, построения экспертных матриц, а также критерии оценки качества работы экспертных комиссий. В заключении даны направления для последующих исследований, направленные на разработку универсальных методов отбора экспертов, совершенствование методов оценки и внедрение современных технологий для модернизации процесса формирования экспертных групп. Статья будет интересна как исследователям, занимающимся вопросами экспертизы, так и практическим специалистам, работающим в различных сферах, где для принятия решений требуется привлечение экспертов.
Ключевые слова: экспертные комиссии, метод экспертных оценок, формирование экспертных комиссий, оценка согласованности.
AN OVERVIEW OF METHODS, MODELS AND SYSTEMS FOR FORMING EXPERT
PANELS Ponomarenko D.N.1, Grankov M.V.2
1Ponomarenko Dmitry Nikolaevich - graduate student 2Grankov Mikhail Vasilievich - candidate of technical sciences, professor, DON STATE TECHNICAL UNIVERSITY, ROSTOV-ON-DON
Abstract: the article provides an overview of different approaches to the formation and evaluation of expert groups, taking into account their advantages and limitations. It examines methods for ranking experts, constructing expert matrices, and criteria for evaluating the quality of expert committees. The conclusion outlines directions for further research aimed at developing universal methods for selecting experts, improving evaluation methods, and implementing modern technologies to modernize the process offorming expert groups. The article will be of interest to both researchers dealing with expertise issues and practical specialists working in various fields where expert involvement is required for decision-making.
Keywords: expert panels, expert assessment method, formation of expert panels, consistency assessment.
УДК 004.421.2
Введение
Экспертиза, как способ получения информации всегда, использовалась при выработке управляющих решений. Однако, научные исследования по ее рациональному проведению были начаты всего три десятилетия назад. Результаты этих исследований позволяют сделать вывод о том, что в настоящее время экспертные оценки являются в основном сформировавшимся научным методом анализа сложных не формализуемых проблем.
Экспертные методы позволяют получить ценную информацию и прогнозы в условиях неопределенности, провести комплексный анализ сложных проблем, разработать обоснованные решения и стратегии, предвидеть будущие тенденции и повысить объективность оценок прогнозов, опираясь на опыт и знания специалистов в различных областях. Эти методы непрерывно совершенствуются и эволюционируют. Основные направления этого развития определяются стремлением расширить область их применимости, повысить уровень использования математических подходов и современных технологий, а также поиском способов устранения, обнаруженных в них недостатков. Несмотря на значительные достижения, полученные за последние годы в разработке и практическом использовании методов экспертной оценки, существуют определенные вызовы и задачи, требующие дальнейших теоретических и практических исследований.
Актуальность исследований в данной области также подтверждается широким спектром областей применения экспертизы. Так в работе [1] авторы используют экспертный метод для оценки последствий управления нагрузкой в сельскохозяйственном производстве. В статье [2] на основе предложенного авторами метода экспертных оценок проводится сравнительный анализ важности профессиональных компетенций при подготовке специалистов в избранной сфере деятельности. В работе [3] экспертная оценка используется для выбора оптимального варианта комплексной защиты информации в рамках информационно-управляющей системы предприятия.
Классификация методов экспертных оценок
Методы экспертных оценок можно классифицировать как методы группового опроса и математико-статистические методы [4]. Методы группового опроса представлены анкетированием (опрос экспертов в письменной форме в виде анкет), интервьюированием (устный опрос), методом Дельфи и мозговым штурмом (групповое обсуждение).
В свою очередь к математико-статистическим методам относятся метод простой ранжировки (проводится ранжирование характеристик исследуемого объекта), метод весовых коэффициентов (исследуемым характеристикам присваиваются определенные весовые коэффициенты), метод последовательных сравнений (систематическая проверка оценок на базе их последовательного сравнения), метод парных сравнений (все характеристики сравниваются попарно). Данные методы более подробно описаны в работе [4].
Этапы экспертного оценивания
Метод экспертных оценок, как правило, реализуется в четыре этапа [5]:
1. Формулировка проблемы и постановка задач.
2. Подготовка, реализация и проведение экспертного оценивания.
3. Анализ и обработка экспертной информации.
4. Получение выводов, рекомендаций и прогнозов.
Первый этап представляет собой формулировку общей проблемы и формирование рабочей группы. На втором этапе формируется экспертная группа, выбирается форма проведения оценивания, составляются задачи для экспертов, и определяется вид информации, которая должна быть от них получена. Также, на втором этапе проводится непосредственно сбор экспертной информации. На третьем этапе проводится анализ, как индивидуальных оценок эксперта, так и оценок всей группы в целом, проводится объединение экспертных оценок, находятся обобщенные ранги.
Подбор экспертов
Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. С целью получения наиболее объективной информации необходимо уделить большое внимание составу комиссии, поскольку от наличия специализированных мнений экспертов в определенной области будет зависеть и объективность получаемой информации. Данной проблеме посвящено не так много исследовательских работ. Считается, что подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, требуемой достоверности оценок, характеристик экспертов и затрат ресурсов. Сложность рассматриваемой проблемы напрямую влияет на необходимое количество экспертов разных профилей. Минимально требуется столько специалистов, сколько аспектов и направлений нужно учесть при решении. Достоверность оценок экспертной группы зависит, как от уровня знаний каждого эксперта, так и от их общего числа. Чем больше экспертов, тем выше достоверность результатов экспертизы. Однако, увеличение числа экспертов приводит к росту затрат на проведение экспертизы - временные и финансовые ресурсы, необходимые для формирования группы, проведения опроса и обработки результатов, возрастают пропорционально количеству участников.
Характеристики группы экспертов определяются на основе индивидуальных характеристик экспертов: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности. В настоящее время перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик имеются попытки ввести количественные оценки.
В работе [5] предложена методика подбора экспертов, по которой после получения полного списка кандидатов, проводится анализ их компетентности с использованием метода самооценки. Коэффициент компетентности кандидата определяется по формуле (1):
К,= (1)
где Кц- коэффициент информированности ьго кандидата; К/2 - коэффициент индивидуальных качеств /го кандидата; Кз - коэффициент стабильности работы /'-го кандидата; К/4 - коэффициент согласованности мнения /-го кандидата с мнением предварительно сформированной экспертной группы. Для расчета первых трех коэффициентов кандидаты используют балльные оценки, значение которых варьируется по шкале от 0,1 до 1, где 1 - это максимальный балл. Для определения коэффициента согласованности мнений предлагается воспользоваться формулой (2):
Кц = 1
(2)
где г - ранг, присвоенный ]-м кандидатом в отношении определенного объекта; гср - средний ранг определенного объекта, полученный в результате проведения тестового опроса всеми кандидатами.
Очевидно, что кандидаты с низким, ниже среднего, а также средним уровнем компетентности исключаются из списка претендентов.
Другая известная методика оценки кандидатов в эксперты заключается в следующем: ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы. Если в этот список попадают лица, не вошедшие в первоначальный список, то им также предлагается назвать специалистов для участия в экспертизе. Проведя несколько туров такого опроса, можно составить достаточно полный список кандидатов в эксперты. По результатам проведенного опроса
г ;—г.
I 'сР
Г.
ср
составляется матрица, в ячейках которой проставляются переменные х/, / равные 1, если/-й эксперт назвал /го эксперта и 0, если/-й эксперт не назвал /-го эксперта. По данным матрицы вычисляются коэффициенты компетентности как относительные веса экспертов по формуле (3):
У™ х-, _ у ]=1х1)
I ут ., (3)
у1=1у1=1х1]
где к/ - коэффициент компетентности /-го эксперта, т - количество экспертов. Таким образом, коэффициент компетентности определяется как относительное число экспертов, высказавшихся за включение /-го эксперта в список экспертной группы.
В работе [5] авторы упоминают подход, при котором несколькими способами находят компетентность некоторого эксперта, а для получения окончательно оценки его компетентности используют формулу (4):
С = (УиацРд/ЪиРд, (4)
где а// - компетентность /-ого эксперта, полученная /-ым образом; pi - весовой коэффициент /-ого способа.
В работе [6] предложена модель апостериорной динамической оценки компетентности экспертов. В рамках этого метода вводится понятие потенциала эксперта, под которым понимается текущее значение эффективности работы эксперта в соответствующей предметной области, зависящее от начального значения показателя компетентности эксперта в данной области, определяющего его начальный потенциал и эффективности работы эксперта при решении задач, которая определяется на основе частоты случаев, когда мнение эксперта совпадало с итоговым мнением группы. Предложенная оценка компетентности экспертов подразумевает возможность уточнения показателей компетентности каждого эксперта на основе фактических данных о его работе в группе, то есть позволяет учитывать динамику изменения компетентности экспертов.
Обработка результатов
Для оценки достоверности результатов работы комиссии экспертов необходимо проверить согласованность экспертных мнений. Другими словами, полученные мнения экспертов имеют дальнейшее практическое применение только в том случае, если они являются согласованными [7]. Чаще всего для обработки результатов работы комиссии используются методы математической статистики.
Наиболее распространенной характеристикой согласованности экспертных мнений является коэффициент вариации, рассчитываемый по формуле (5):
V = -• 100%, (5)
х
где а - среднее квадратическое отклонение, определенное по формуле (6):
а = I '=1( ; ) , (6)
\ т-1 ' 4 '
где т - количество экспертов; х/ - оценка j-го эксперта; х - средняя оценка группы экспертов.
Для бальных оценок можно преобразовать формулу следующим образом (7):
к1
V = *--!■--100%, (7)
вд
где, В] — средний балл /-ого эксперта в отношении/-го объекта, рассчитанный по формуле (8):
где В// - баллы /-го эксперта в отношении/-го объекта; к/ - число экспертов, оценивающих/-ый объект; Вд - средний балл по группе.
Полученное значение коэффициента вариации характеризует долю среднего значения этой величины, составляющей ее средний разброс.
Для проверки согласованности результатов оценки, полученных методом ранжирования, применяются специфические подходы [8]. Так, согласованность между значениями рангов двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна (9):
буи(ха-х1к)2 = 1 (9)
К п(п2-1) п(п2-1),( )
где х// - ранг, присвоенный /-му объекту /-ым экспертом; /к - ранг, присвоенный /-му объекту к-ым экспертом; / - разница между рангами, присвоенными /-му объекту.
Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
Когда необходимо определить согласованность в значениях рангов более, чем двух экспертов, рассчитывается коэффициент конкордации Кэнделла - общий коэффициент ранговой корреляции для группы, состоящей из т экспертов (10):
Ш = , (10)
т2(п3-п)
где & — сумма квадратов отклонений значений суммы оценок каждого объекта от их среднего значения (11):
У^в
В,)2
Ч 1
5 = Ж^фГ^Хц -1т(п + 1))2. (11)
Коэффициент Ж изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.
Коэффициент конкордации Кэнделла используется в работе [9] для вычисления степени согласованности экспертных оценок. Автор приводит алгоритм применения метода экспертных оценок при расчете параметров модели надежности технической системы безопасности. Рассматривается пример, в котором экспертная комиссия выставляет баллы каждому из групповых параметров системы безопасности в соответствии с уровнем значимости соответствующего компонента в обеспечении надежности системы. При оценке результатов работы комиссии предлагается использовать коэффициент компетентности эксперта (12):
К = ЭД, (12)
где К — коэффициент компетентности ¡-го эксперта;
Ху — оценка /-го параметра надежности, поставленная ¡-м экспертом;
М/ — средняя оценка /-го параметра надежности.
Качество проведенной экспертизы автор оценивает с помощью коэффициента согласованности мнений экспертов (коэффициента конкордации Кэнделла, Ж). В качестве альтернативного способа проверки степени согласованности мнений экспертов предлагается нахождение коэффициентов ранговой корреляции Спирмэна и построение корреляционной матрицы.
Результаты вычислительного эксперимента, проведенного автором, позволили определить эксперта с минимальным коэффициентом компетентности, а также подтвердить эту оценку вычислением коэффициента конкордации и построением корреляционной матрицы мнений экспертов.
Коэффициент Кэнделла также используют авторы в работе [10] для оценки результатов экспертного оценивания личностных качеств бакалавров-менеджеров. Значение коэффициента показало очень слабую степень согласованности мнений группы экспертов.
В работе [5] автор предлагает новый конструктивный алгоритм вычисления индекса согласованности, основным отличием которого от известных подходов является простота математической формулировки и использование при вычислениях стандартных линейно-алгебраических операций. Разложение матрицы ранговых экспертных оценок А размером п*т (п<т) по сингулярным числам определяется соотношениями (13):
А =и 2 УТ, и-1 = ит, V-1 = V7. (13)
Уравнение А = можно переписать в виде (14):
А = в1?1 + О2Р2 + - + апРп, (14)
где РI = щр?- матрица ранга 1 - есть внешнее произведение столбца матрицы и и соответствующего столбца матрицы V.
В качестве индекса согласованности экспертных суждений автор предлагает использовать соотношение (15):
1С = 1^ = а2/Ы (15)
причем если А — согласованная матрица ранговых экспертных оценок, то при этом ранг матрицы А равен 1, А = и1а1р[ и 1С = 1, а для несогласованных матриц 1С < 1.
Предлагаемый алгоритм является конструктивным в том смысле, что в результате вычислений, кроме индекса согласованности, находятся и векторы ранжирования альтернатив и критериев, в качестве которых используются нормализованные сингулярные векторы у1 и и1 соответственно.
Авторы в работе [11] предлагают метод кластеризации экспертной комиссии по проверке экзаменов в форме ЕГЭ. В статье рассматривается возможность использования метода нечеткой кластеризации в автоматизированной системе оценивания эффективности работы экспертов. Представлены различные параметры оценивания работы экспертов с их расчетными формулами. Эксперименты проводились с учетом и без учета шумов с последующими выводами о влиянии, которое оказывают шумы на результаты. Для оценки слаженности группы экспертов в статье используется формула (16):
грп
П г
СлажГрп = ——, (16) грп п ^
где пгрп - общее число задач экзаменующихся, решение которых было оценено в группе эксперта;
грп
П^ - число задач, в которых баллы второй проверки полностью совпадают в группе эксперта.
Параметры "2ПрСрКор" и "ЗПрСрКор" (среднее значение балла несоответствий во второй и третьей проверках (Ах2 и йх3ь) могут использоваться при принятии решения о наличии тенденции у
оцениваемого эксперта.
Параметр "2ПрСрКор" находится по формуле (17):
2ПрСрКор = (17)
где t2 - количество несоответствий при второй проверке у /-ого эксперта; Дх2к - различие
выставленного /-м экспертом балла в ^ом задании. Параметр "ЗПрСрКор" находится по формуле (18):
43-1^3?
ЗПрСрКор - 1--, (18)
13
где tз - количество корректировок эксперта при третьей проверке; Дх3к -
различие выставленного /-м
экспертом балла в ^ом задании.
Параметр "ЗПрУдВелКор" показывает количество ошибочно выставленных баллов, приходящееся на одно проверенное экспертом задание. Данный параметр находится по формуле (19):
X
ЗПрУдВелКор -
t3 k-1
k
АхЗ?
ОбщЗад
(19)
ik
где tз - количество корректировок эксперта при третьей проверке; Дх3^ - различие выставленного /-м
экспертом балла в ^ом задании.
Для построения системы сравнения качества работы различных экспертов авторы используют нормированные значения оценок работы экспертов - индикаторы. Индикаторы находятся для соответствующих статистических и качественных параметров оценки эксперта. Например, параметр "ИндЗПрСрКор" рассчитан для параметра " ЗПрСрКор". Значения индикаторов находятся в интервале [0;1]. Значение 1 соответствует наилучшему значению параметра, а 0 - наихудшему. Параметр "ИндЗПрЧастКор" находится по формуле (20):
ИндЗПрЧастКор -
max(Xт_ ^ ЗПр ЧастКор ) - ЗПр ЧастКор
(20)
шил^^ЗПрЧастКор) - шт(£^ЗПрЧастКор) где т - количество экспертов в комиссии.
Так как наличие любой из тенденций (завышение баллов или занижение баллов при оценивании заданий) считает отрицательной характеристикой эксперта, а предпочтительной считается отсутствие тенденции, то параметры "Инд2ПрСрКор" и "ИндЗПрСрКор" рассчитываются по формулам (21) и (22) соответственно:
т
1 2 Прсркор
Инд 2ПрСрКор -
max(Xт= 1 2ПрСрКор.) -12ПрСрКор\ 1 1 1
max(
хт= ^ПрСрКор.
) - min(
Xm= j 2 ПрСрКор.
)
ИндЗПрСрКор -
max(Xт_ ^ ЗПрСрКор.) -13ПрСрКор\
max( Xm_ i ЗПрСрКор ) - min( Xm_ j ЗПрСрКор )
(21)
(22)
где m - количество экспертов в комиссии.
В качестве метода кластеризации оцененных экспертов, то есть объединения их в группы по полученным результатам, в работе был использован алгоритм Fuzzy C-Means (FCM). Для рассматриваемых параметров экспертов приемлемые результаты кластеризации были получены с применением метрики взвешенного расстояния Евклида. Авторы отмечают, что были произведены множественные эксперименты на различных экзаменационных комиссиях, и в результате этих экспериментов было определено, что основными показателями являются частота корректировок и удельный балл оценивания, который играет важную роль, если показатели частоты корректировок экспертов близки между собой.
Методика, рассмотренная в статье, позволяет оценить качество работы экспертов предметных комиссий. Авторы утверждают, что, опираясь на полученное распределение экспертов по группам, можно улучшить работу региональной экзаменационной комиссии. Предлагается по возможности формировать комиссию на
следующий год в соответствии с полученным распределением, отказываясь от экспертов, которые попали в группу низкого качества проверки.
В описанном выше способе оценки работы экспертов в предметных комиссиях важным является указание на то, что результаты третьей проверки являются эталоном, относительно которого оценивается качество работы первого и второго экспертов. Данное представление должно было бы быть основополагающим, однако, а работе [12] отмечается, что присвоение статуса экспертам, осуществляемое по результатам предварительной подготовки в рамках курсов ДПО, сложно считать абсолютно объективным. В связи с этим авторы предлагают не считать результаты третьих проверок эталонными. В своей работе они рассматривают использование метода анализа иерархий (МАИ) для оценки согласованности в работе членов предметных комиссий ОГЭ и ЕГЭ в процессе проверки результатов выполнения заданий с развернутыми ответами. Основными целями предлагаемого подхода являются анализ согласованности работы каждого конкретного эксперта в пределах всей предметной комиссии и, как результат, ранжирование членов комиссии в порядке уменьшения согласованности.
МАИ позволяет установить связи даже между экспертами, оценивающими совершенно разные работы. Для этого можно использовать простую модель с тремя уровнями: цель, критерии и альтернативы. Хотя в данной модели целью может быть определение эксперта с наименьшим расхождением в оценках по сравнению с другими членами комиссии, это не конечная цель предлагаемого подхода. Основной акцент делается на анализе согласованности работы каждого эксперта. Важно отметить, что эти две цели не противоречат друг другу. Ранжирование экспертов по степени согласованности их оценок является этапом МАИ, который в конечном итоге помогает определить наиболее эффективного эксперта. Однако именно результаты ранжирования представляют наибольший интерес, так как они дают представление о согласованности работы всех экспертов в комиссии.
В качестве критериев, по которым осуществляется выбор наиболее эффективного эксперта, авторы предлагают использовать два: 1) согласованность оценивания заданий между первой и второй проверками, 2) согласованность оценивания заданий третьей проверки с первой и второй.
Предлагаемый метод обладает важным преимуществом: он позволяет оценить работу каждого эксперта в контексте всей комиссии, нивелируя влияние его статуса. Это особенно ценно, учитывая, что присвоение статуса эксперту не всегда происходит объективно.
Другие работы
В работе [13] рассматривается новое направление в теории экспертизы, разработанное для преодоления трудностей, появляющихся при использовании традиционных методов экспертизы при решении сложных прикладных задач - метод коллективной многовариантной экспертизы. В основе концепции коллективной многовариантной экспертизы лежат следующие ключевые принципы:
1. Разнообразие мнений: создаётся несколько экспертных комиссий, количество которых соответствует числу различных точек зрения на исследуемую проблему.
2. Сходство взглядов внутри комиссии: в каждую комиссию включаются эксперты, придерживающиеся схожих взглядов на проблему.
3. Отсутствие конфликтов: в составе каждой комиссии работают эксперты, не имеющие конфликтных взаимоотношений.
4. Условная компетентность: для участия в экспертизе отбираются эксперты, обладающие достаточным уровнем знаний и опыта в релевантной области.
5. Независимость организаторов: организацией и проведением экспертизы, обработкой оценок и формированием результатов занимается независимая консалтинговая группа, не заинтересованная в конкретных исходах экспертизы.
Эти принципы были реализованы в рамках специальной методики формирования экспертных комиссий. Методика включает пять основных разделов (этапов):
1. Выявление кандидатов для работы в экспертных комиссиях;
2. Выявление существенно различных точек зрения;
3. Определение групп неконфликтующих экспертов;
4. Оценка условной компетентности экспертов;
5. Формирование экспертных комиссий.
В работе [14] для формализации экспертной информации, полученной при оценивании качественных показателей систем различных сфер деятельности человека, выбраны лингвистические переменные. По мнению автора, изучение свойств лингвистических переменных и накопленный опыт их использования в прикладных задачах показали, что они, во-первых, адекватно моделируют мыслительную деятельность экспертов, а, во-вторых, восполняют некоторые пробелы в методах теории экспертного оценивания, которые стали давать сбой с тех пор, как существенно усложнились процедуры оценивания, и возросла цена ошибки. В статье для анализа системы экспертных критериев определяются показатели парного сходства и согласованности, а также показатели общей согласованности. Определенные показатели позволяют проанализировать качество полученной информации и при необходимости удалить ошибочную. Разработаны модели построения обобщенного экспертного критерия на основе лингвистических переменных, значениями которых являются обычные нечеткие множества и интервальные нечеткие множества второго типа. Обобщенный критерий на основе обычных нечетких множеств является своего
рода усредненным критерием всех индивидуальных критериев экспертов. В данной работе впервые определяется обобщенный критерий на основе интервальных нечетких множеств второго типа. Он позволяет получить не только усредненное мнение, а дополнительно учесть разброс экспертных мнений и нечеткость самой степени уверенности экспертов в оценке того или иного показателя. Заключение
Проведенный обзор выявил многообразие существующих методик формирования экспертных комиссий и методов оценки их работы, каждая из которых обладает своими преимуществами и ограничениями. Выбор оптимального подхода зависит от специфики решаемой задачи, требуемой точности и достоверности результатов, а также доступных ресурсов.
Так для оценки качества работы экспертных комиссий по проверке экзаменов в форме ЕГЭ можно применить подходы, описанные в работах [11] и [12]. Авторы обеих работ сходятся в том, что наиболее перспективный критерий оценки качества работы комиссии - оценка слаженности работы группы экспертов (слаженность каждого эксперта по отношению к другим экспертам в группе).
При формировании экспертных комиссий особое внимание следует уделять обеспечению независимости и компетентности экспертов, а также минимизации влияния субъективных факторов на результаты экспертизы. В этом контексте перспективным направлением является развитие методов коллективной многовариантной экспертизы, позволяющих учесть различные точки зрения и повысить объективность оценки.
Дальнейшие исследования в области формирования и оценки экспертных комиссий могут быть направлены на:
1. Разработку универсальных критериев для отбора экспертов, учитывающих как формальные показатели (квалификация, опыт), так и неформальные (репутация, когнитивные способности).
2. Совершенствование методов оценки работы экспертных комиссий, включая разработку количественных показателей эффективности и надежности.
3. Использование современных технологий, таких как искусственный интеллект и машинное обучение, для автоматизации процессов формирования экспертных групп и анализа экспертных оценок.
Развитие методов формирования и оценки экспертных комиссий будет способствовать повышению качества принимаемых решений в различных сферах деятельности, от науки и техники до экономики и управления.
Список литературы /References
1. Осокин Владимир Леонидович, Папков Борис Васильевич Экспертное оценивание показателей последствий управления нагрузкой в сельскохозяйственном производстве // Вестник АГАУ. 2017. №5 (151). [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n/ekspertnoe-otsenivanie-pokazateley-posledstviy-upravleniya-nagruzkoy-v-selskohozyaystvennom-proizvodstve.
2. Сквазников Михаил Алексеевич, Рахматулин Алексей Михайлович, Шехонин Александр Александрович Экспертные методы формирования профессиональных компетенций выпускников // Высшее образование в России. 2021. №11. [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n/ekspertnye-metody-formirovaniya-professionalnyh-kompetentsiy-vypusknikov.
3. Молдованин Тимофей Валерьевич Решение задачи выбора оптимального варианта комплексной защиты информации с помощью метода экспертного оценивания // Информационно-управляющие системы. 2007. №3. [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n7reshenie-zadachi-vybora-optimalnogo-varianta-kompleksnoy-zaschity-informatsii-s-pomoschyu-metoda-ekspertnogo-otsenivaniya.
4. Дивина Т.В., Петракова Е.А., Вишневский М.С. Основные методы анализа экспертных оценок // Экономика и бизнес: теория и практика. 2019. №7. [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n/osnovnye-metody-analiza-ekspertnyh-otsenok.
5. Примакин Алексей Иванович, Большакова Людмила Валентиновна Метод экспертных оценок в решении задач обеспечения экономической безопасности хозяйствующего субъекта // Вестник Санкт-Петербургского университета МВД России. 2012. №1. [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n7metod-ekspertnyh-otsenok-v-reshenii-zadach-obespecheniya-ekonomicheskoy-bezopasnosti-hozyaystvuyuschego-subekta.
6. Подвесовский Александр Георгиевич, Михалева Оксана Алексеевна, Козлов Евгений Александрович, Вершинин Андрей Александрович Математические модели и информационные технологии поддержки принятия решений в распределенных экспертных сетях // Современные информационные технологии и ИТ-образование. 2016. №2. [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n/matematicheskie-modeli-i-informatsionnye-tehnologii-podderzhki-prinyatiya-resheniy-v-raspredelennyh-ekspertnyh-setyah.
7. Дюйзен Екатерина Юрьевна Метод экспертного оценивания: руководство к действию // КЭ. 2014. №2 (86). [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n/metod-ekspertnogo-otsenivaniya-rukovodstvo-k-deystviyu.
8. Данелян Тэя Яновна Формальные методы экспертных оценок // Статистика и экономика. 2015. №1. [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n/formalnye-metody-ekspertnyh-otsenok.
9. Удалов Валерий Петрович Эффективность метода экспертного оценивания модели надежности технической системы безопасности // Вестник ВИ МВД России. 2019. №2. [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n7effektivnost-metoda-ekspertnogo-otsenivaniya-modeli-nadezhnosti-tehnicheskoy-sistemy-bezopasnosti.
10. Швецова Светлана Тимофеевна, Малова Светлана Сергеевна Экспертная оценка согласованности личностных качеств бакалавровменеджеров в процессе обучения // Акмеология. 2015. №3 (55). [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n/ekspertnaya-otsenka-soglasovannosti-lichnostnyh-kachestv-bakalavrovmenedzherov-v-protsesse-obucheniya.
11. Щербинин Тимофей Александрович, Гранков Михаил Васильевич Метод кластеризации в системе оценки результатов работы экспертов по проверке экзаменов в форме ЕГЭ // Advanced Engineering Research (Rostov-on-Don). 2016. №3 (86). [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n/metod-klasterizatsii-v-sisteme-otsenki-rezultatov-raboty-ekspertov-po-proverke-ekzamenov-v-forme-ege.
12. Шкаберина Г.Ш., Краснов П.О. Использование метода анализа иерархий для оценки согласованности работы экспертов региональных предметных комиссий по проверке заданий с развернутым ответом ОГЭ и ЕГЭ // Информатика и образование. 2018. № 8. С. 20-25.
13.А.А. Дорофеюк, И.В. Покровская, А.Л. Чернявский Экспертные методы анализа и совершенствования систем управления, Автомат. и телемех., 2004, выпуск 10, 172-188.
14. Полещук О.М. Системный анализ и обработка групповой экспертной информации на основе лингвистических переменных // Вестник МГУЛ - Лесной вестник. 2015. №1. [Электронный ресурс]. Режим доступа: https://cyberleninka.ru/article/n/sistemnyy-analiz-i-obrabotka-gruppovoy-ekspertnoy-informatsii-na-osnove-lingvisticheskih-peremennyh.
