CC BY
132
УДК 519.81+004.7+004.891
Подвесовский А.Г., Михалева О.А., Козлов Е.А., Вершинин А.А.
Брянский государственный технический университет, г. Брянск, Россия
МАТЕМАТИЧЕСКИЕ МОДЕЛИ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ В РАСПРЕДЕЛЕННЫХ ЭКСПЕРТНЫХ СЕТЯХ
АННОТАЦИЯ
Рассмотрены особенности математического моделирования и программной поддержки принятия решений в распределенных экспертных сетях на примере задач группового экспертного оценивания. Приведен обобщенный алгоритм поддержки групповой экспертизы в распределенной среде, и предложены принципы математического моделирования его этапов. Рассмотрена архитектура и особенности реализации системы поддержки принятия решений в распределенной среде.
КЛЮЧЕВЫЕ СЛОВА
Принятие решений; экспертные сети; экспертные оценки; групповая экспертиза; согласованность экспертных оценок; оценка компетентности экспертов; распределенная система; система поддержки принятия решений.
Podvesovskii A.G., Mikhaleva O.A., Kozlov E.A., Vershinin A.A.
Bryansk State Technical University, Bryansk, Russia
MATHEMATICAL MODELS AND INFORMATION TECHNOLOGIES FOR DECISION SUPPORT IN DISTRIBUTED EXPERT NETWORKS
ABSTRACT
The features of mathematical modeling and software support of decision making in distributed expert networks are discussed. The group expertise problem was taken as an example. The generalized algorithm of distributed group expertise support is presented, and the concepts of mathematical modeling of its stages are described. The architecture and implementation features of decision support system in distributed environment are also discussed.
KEYWORDS
Decision support; expert networks; expert judgements; group expertise; consistency of expert judgements; evaluation of expert competency; distributed system; decision support system.
Введение
Современныи этап развития информационного общества создает основу для возникновения и развития новых информационных технологии поддержки управленческои деятельности. Однои из них является технология информационнои и экспертно-аналитическои поддержки разработки, анализа и принятия управленческих решении в распределеннои среде. Возрастающии уровень сложности и информационнои неопределенности практических задач принятия решении, принципиальная новизна таких задач и одновременно с этим высокая степень ответственности за результат и высокая цена неверно принятых решении - все это вынуждает лиц, принимающих решение (ЛПР), использовать в процессе подготовки и принятия решении коллективное мнение экспертов в соответствующих предметных областях. Под экспертами обычно понимают специалистов, способных, опираясь на собственные знания, опыт и интуицию, сформулировать свою точку зрения относительно решаемои проблемы или дать оценку ситуации и при этом обладающих независимостью суждении [5]. Современныи уровень развития информационно-коммуникационных технологии дает возможность организации распределенного взаимодеиствия экспертов между собои, а также с ЛПР и организатором экспертизы с использованием современных сетеи связи, в первую очередь Интернет.
Благодаря перечисленным обстоятельствам происходит становление нового явления, называемого сетевои экспертизои, в рамках которого создаются и активно развиваются экспертные сети и сетевые экспертные сообщества [1, 8, 10, 16]. Об экспертных сетях говорят как о «фабриках мысли» [8] и моделях «коллективного интеллекта» [10]. Возникает новая технология поддержки
принятия решении в распределенной среде, в рамках которой к традиционным моделям и методам анализа и обоснования решении подключаются сетевые экспертные процедуры.
В то же время сетевая экспертная деятельность имеет ряд особенностей среди которых наиболее значимыми являются изолированность экспертов друг от друга, возможность несовпадения графиков работы экспертов и полная автоматизация процесса подготовки и принятия решении. В связи с этими особенностями, а также с учетом временных ограничении усложняется задача обеспечения согласованности суждении экспертов и сходимости их мнении к некоторои общеи агрегированнои оценке. Таким образом, в случае территориально распределеннои работы экспертов эффективность традиционных методов организации экспертнои деятельности и поддержки принятия решении снижается. Требуется разработка новых подходов, учитывающих специфику сетевого взаимодеиствия экспертов и ЛПР, и информационных технологии, обеспечивающих поддержку данного взаимодеиствия.
Проблемы информатизации распределеннои экспертнои деятельности относятся к числу приоритетных направлении исследовании ряда ведущих научных коллективов России и стран СНГ, что подтверждается множеством научных работ последних лет (см., например, [1, 4, 5, 8, 10, 12]). Также в настоящее время появляется и анонсируется ряд коммерческих программных проектов поддержки распределеннои экспертизы, например, стартап-проект UniSample [15], программные решения группы компании «АиТи» [9] и др. Вместе с тем, анализ рынка программных продуктов позволяет сделать вывод о том, что в настоящее время объем прикладных разработок в рассматриваемои области значительно отстает от объема теоретических исследовании, а существующие программные решения большеи частью находятся на ранних стадиях своего жизненного цикла и еще не получили широкого распространения. Также наблюдается недостаток программных средств учебно-исследовательского характера, пригодных для обучения соответствующим подходам и методам.
С учетом изложенного можно сделать вывод об актуальности разработки моделеи, методов и программных средств поддержки принятия решении в распределенных экспертных сетях.
Задача группового экспертного оценивания в распределенных экспертных сетях: концептуальная модель и особенности
Однои из важных и широко распространенных задач принятия решении, наряду с задачами формирования целеи и долгосрочных прогнозов, поиска и генерирования альтернативных решении, является задача группового экспертного оценивания объектов. Применительно к сетевои экспертнои деятельности можно выделить следующие закономерности и своиства, присущие даннои задаче:
• в качестве участников процесса групповои экспертизы помимо ЛПР и группы экспертов выступают аналитик, модератор и тематическии куратор. При этом взаимодеиствие участников может быть распределенным как в территориальном, так и во временном отношении;
• спектр задач, решаемых в рамках однои экспертнои сети, достаточно многообразен и затрагивает множество предметных областей
• одним из требовании, предъявляемых к модели экспертного оценивания и обработки его результатов, является учет компетентности экспертов. При этом важно иметь в виду, что компетентность каждого эксперта существенно зависит от рассматриваемои задачи, т.е. модель задачи должна учитывать компетентность экспертов не вообще, а в контексте предметнои области, к которои данная задача относится;
• в качестве объектов экспертного оценивания могут выступать различные компоненты задачи принятия решении: альтернативы, исходы, критерии, риски и др.;
• экспертные оценки различнои природы могут принимать значения, выраженные в различных шкалах. При этом каждая шкала допускает определенные операции над представляемыми в неи оценками объектов;
• результатом решения задачи может быть ранжирование объектов с учетом предпочтении ЛПР, выделение лучшего объекта или распределение объектов по классам решении в соответствии с каким-либо условием.
С учетом выделенных своиств, можно предложить следующую концептуальную модель задачи группового оценивания объектов в условиях экспертнои сети. Пусть и = {и1, иг, ..., иР) -множество предметных областеи, Е = {Е1, Ег, ..., Ец] - множество (пул) экспертов. Каждьш эксперт Ея характеризуется показателем wsk компетентности в предметнои области № (я = 1, ..., ц; к = 1, ..., р). Таким образом, формируется матрица компетентности экспертов W = ||wsk||, каждая строка которои Ws = ^1, Ws2, ..., Wsk) определяет профиль компетентности эксперта Ея, а каждыи столбец
^ = ^1к, W2k, ..., Wqk)T определяет профиль «покрытия» предметнои области № знаниями экспертов. Задача группового экспертного оценивания допускает следующее формальное представление:
<Т, D, X, К, F, Н, С; Х*>,
где Т - тип задачи (отбор, ранжирование или оценка); D е и - предметная область задачи; X = {х1, хг, ..., Хт] - множество объектов экспертного оценивания; К - критерии, на основании которого осуществляется отбор, ранжирование или оценка; F - дополнительная информация, зависящая от типа задачи (см. далее); Н = {Н1, Нг, ..., Нп] с Е - множество экспертов, отобранных для решения задачи; С -формализованная информация о компетентности экспертов в контексте решаемои задачи; X* - итоговое решение задачи.
Информация С играет важную роль при определении состава и численности экспертнои группы Н и может быть представлена в виде набора степенеи относительнои компетентности экспертов в предметнои области D либо иметь более сложное представление. Дополнительная информация F зависит от типа задачи и, как правило, задается в форме ограничении, связанных с параметрами процедуры оценивания.
Таким образом, технология поддержки группового экспертного оценивания в распределеннои среде должна обеспечивать решение таких задач, как формирование экспертнои группы, выбор типа экспертных оценок и способа их получения, оценка согласованности экспертных суждении, определение итоговои (агрегированнои) согласованнои экспертнои оценки. Помимо перечисленных задач возникает важная задача, связанная с оценкои компетентности экспертов в соответствующеи предметнои области и ее учетом в модели оценивания как на этапе формирования агрегированнои оценки, так и на этапе оценки согласованности экспертных суждении. При этом, поскольку экспертную сеть можно рассматривать как группу экспертов, деиствующую на постояннои основе, становится возможнои не только статическая, но и динамическая оценка компетентности экспертов, которая подразумевает возможность уточнения показателеи компетентности каждого эксперта на основе фактических данных о его работе в группе. Например, компетентность эксперта в некоторыи момент времени может зависеть от эффективности его участия в предыдущих задачах оценивания, т.е. от того, как часто оценки, получаемые от данного эксперта, совпадали либо не совпадали с мнением группы.
Кроме того, важно иметь в виду, что оценка согласованности множества экспертных суждении не является самоцелью, а применяется для того, чтобы принять обоснованное решение о возможности использования данного множества в качестве основы для определения итоговои агрегированнои групповои оценки. Тем самым наряду с определением степени согласованности множества экспертных оценок необходимо также оценивать ее достаточность для дальнеишеи работы с данным множеством и, если она окажется недостаточнои, предусматривать процедуры, направленные на повышение согласованности.
Обобщенный алгоритм поддержки групповой экспертизы в распределенной среде
С учетом рассмотренных выше постановки и особенностеи задачи группового экспертного оценивания в распределеннои среде процесс поддержки групповои экспертизы в распределенных экспертных сетях можно представить в виде обобщенного алгоритма, схема которого приведена на рис. 1. Данныи алгоритм включает шесть основных этапов. Стрелками показаны связи между этапами и сетевыми экспертными процедурами, отражающие возможные последовательности их выполнения и направления передачи информации. Кратко охарактеризуем каждыи этап. Этап 1. Формирование экспертной группы
Задача формирования экспертнои группы была и остается однои из наиболее сложных в теории и практике экспертного оценивания, и ее решение предполагает решение следующих подзадач:
- определение численности экспертнои группы;
- составление списка возможных кандидатов в эксперты;
- формирование экспертнои группы из множества кандидатов на основе анализа их
компетентности в соответствующеи предметнои области.
Следует особо отметить важность задачи определения численности экспертнои группы. Уменьшение количества экспертов может привести к недостоверности результата группового оценивания, а чрезмерное увеличение количества экспертов в группе затрудняет процесс оценки согласованности экспертных суждении.
Источником для формирования экспертнои группы является экспертная сеть. Формирование экспертнои группы начинается с целевого запроса к сети для получения информации об экспертах в заданнои предметнои области и их компетентности в этои области. Полученная информация позволяет проранжировать кандидатов в порядке убывания их компетентности и на основе этого выделить подмножество экспертов, мощность которого
соответствует рекомендованной численности экспертной группы. Если информация о предыдущем опыте работы экспертов в даннои предметнои области отсутствует, то для оценки компетентности экспертов на данном этапе можно применять априорные или тестовые методы [3]. При наличии такои информации (ее источниками могут быть, например, реестры экспертов, привлекавшихся ранее для аналогичнои работы) можно использовать апостериорные методы оценки компетентности (см. далее).
ЛПР
Этап 1. Формирование экспертной группы, формализация данных о компетентности экспертов
Этап 6. Апостериорная оценка компетентности экспертов
Рис.1. Схема обобщенного алгоритма поддержки групповой экспертизы в распределенной среде
Этап 2. Выбор типа экспертных оценок и способа их получения
Целью данного этапа является информационное обеспечение последующих этапов экспертного исследования, что подразумевает создание необходимых условии для дальнеишеи формализации экспертных оценок, а также выбор алгоритмов и процедур оценивания.
Возможны два подхода к экспертнои оценке объектов с последующим агрегированием индивидуальных оценок для получения итоговои групповои оценки: ординальньш и кардинальньш [13]. При ординальном подходе каждыи эксперт ранжирует объекты по некоторому признаку, а задача оценивания состоит в определении результирующих рангов объектов. Кардинальным подход обеспечивает решение более общеи задачи - определение количественных показателеи абсолютнои либо относительнои эффективности объектов в отношении заданного своиства. Соответственно кардинальнои абсолютнои оценкои называется число, измеряющее характеристику отдельно взятого объекта вне его связи с остальными, а кардинальнои относительнои оценкои - число, характеризующее степень выраженности оцениваемого своиства по отношению к остальным объектам.
Определившись с типом экспертных оценок, следует разработать оценочную систему, в состав которои входят шкала, используемая для представления оценок, алгоритм получения и формализации оценок, а также множество ограничении, связанных с параметрами процедуры оценивания.
Этап 3. Получение и формализация экспертных оценок
Результатом данного этапа является формализованное представление оценок объектов, полученных от экспертов. Конкретныи вид формализованного представления оценок зависит от выбранного на предыдущем этапе подхода к оцениванию. При ординальном подходе экспертные оценки будут представлены в виде множества индивидуальных ранжировании, при кардинальном подходе - в виде множества числовых значении (для случая абсолютных оценок) либо множества индивидуальных матриц парных сравнении [13] (для случая относительных оценок).
Этап 4. Проверка согласованности множества экспертных оценок, повышение согласованности
Целью данного этапа является решение вопроса о возможности использования полученного на предыдущем этапе множества экспертных оценок для нахождения итоговои агрегированнои оценки либо о выделении некоторого значимого его подмножества, на основе которого можно вычислить состоятельную агрегированную оценку.
Существует множество методов оценки согласованности, каждыи из которых ориентирован на работу с конкретным типом экспертных оценок [3, 13]. Определившись с методом оценки согласованности множества экспертных суждении, следует выбрать критерии оценки ее достаточности (устанавливающии возможность использования данного множества для дальнеишеи обработки), а также сформировать процедуру повышения согласованности на основе технологии обратнои связи с экспертами.
В традиционных задачах групповои экспертизы общая идея методов обработки экспертных оценок заключается в аккумуляции мнении экспертов «в однои комнате». При распределеннои работе экспертов возможность непосредственнои коммуникации отсутствует, что приводит к затруднению процесса согласования оценок и увеличению времени на достижение согласованности. Кроме того, как отмечалось ранее, модель оценки согласованности экспертных суждении и методы повышения согласованности должны учитывать различия уровня компетентности экспертов в предметнои области решаемои задачи. С учетом этого механизм обратнои связи с экспертами реализуется с помощью сетевои экспертнои процедуры - получения комментариев экспертов по запросу.
В результате выполнения данного этапа может быть получен один из следующих результатов:
е) множество экспертных оценок было согласованным изначально;
ж) изначально множество оценок не было согласованным, но его удалось согласовать за счет
пересмотра некоторыми экспертами своих суждении;
з) множество оценок согласовать не удалось, и группа экспертов подлежит замене. Этап 5. Вычисление итоговой агрегированной оценки
Данныи этап представляет собои заключительное звено процесса группового экспертного оценивания, и основным его содержанием является выбор агрегирующеи функции и ее применение к согласованному множеству экспертных оценок.
Агрегирующая функция выбирается с учетом типа экспертных оценок и шкалы, используемои для их представления, поскольку эти параметры определяют возможность и правомерность применения тех или иных методов агрегирования [3, 13]. Кроме того, данная функция должна учитывать показатели компетентности экспертов.
Информация о решеннои задаче передается в базу знании и сохраняется в неи для обеспечения возможности повторного использования. Этап 6. Апостериорная оценка компетентности экспертов
Как уже отмечалось, компетентность экспертов оценивается в контексте предметнои области, к которои относится рассматриваемая проблема. Как правило, априорнои информации для оценки компетентности экспертов недостаточно и требуется ее уточнение, которое может производиться на основе фактических данных о работе эксперта в группе. Например, компетентность эксперта в некоторыи момент времени может зависеть от эффективности его работы в предыдущих задачах оценивания. В качестве показателя эффективности можно рассматривать относительную частоту случаев, когда индивидуальное мнение эксперта совпадало с итоговым мнением группы. Очевидно, что получаемые таким образом оценки компетентности являются динамическими и их точность будет зависеть от длительности работы группы, т.е. от количества рассмотренных совместно проблем, по которым принимались групповые решения.
Таким образом, на данном этапе следует оценить фактическую эффективность работы эксперта в контексте решеннои задачи и на основе этого произвести уточнение показателя компетентности эксперта в соответствующеи предметнои области.
Принципы построения математических моделей поддержки групповой экспертизы
С целью обеспечения программнои поддержки процесса групповои экспертизы в распределеннои среде требуется разработка и исследование математических моделеи его этапов.
Анализ описанного выше обобщенного алгоритма и позволяет сделать вывод, что в рамках общеи задачи математического моделирования поддержки групповои экспертизы можно выделить две относительно независимые подзадачи: построение формализованнои процедуры проведения групповои экспертизы и разработка комплекса математических моделеи обработки результатов
экспертизы. Первая из этих подзадач связана с этапами 1-3 и включает в себя построение моделеи формирования оптимального состава экспертнои группы и непосредственного проведения экспертного оценивания с представлением результатов в выбраннои шкале. Вторая подзадача связана с этапами 4-6 и направлена на построение комплекса моделеи, целью которых является получение итогового результата в соответствии с целью экспертизы, а также оценка фактическои эффективности работы экспертов.
Задача разработки формализованнои процедуры проведения групповои экспертизы достаточно широко освещена в литературе, и к настоящему моменту разработано множество методов ее решения (см., например, [3, 7, 14]). Здесь следует особо отметить работу [14], в которои показано, что все многообразие проблем экспертного оценивания в различных предметных областях может быть сведено к конечному набору формализованных задач определения экспертных оценок различных типов, что позволяет разработать соответствующие алгоритмы и программы для их решения. Также можно отметить работу [7], в которои дается обзор существующих методов формирования экспертнои группы и предлагается общии концептуальныи подход к выбору и априорному оцениванию компетентности экспертов.
Рассмотрим более подробно задачу обработки результатов групповои экспертизы и построения комплекса математических моделеи для ее информационнои и программнои поддержки. Обобщая содержание соответствующих этапов обобщенного алгоритма, можно выделить следующие основные цели обработки результатов экспертизы:
1) обеспечение возможности использования индивидуальных экспертных оценок для формирования итоговои групповои оценки, удовлетворяющеи требованиям непротиворечивости и состоятельности;
2) непосредственное вычисление итоговои групповои оценки;
3) оценка фактическои эффективности работы каждого эксперта в группе.
При этом, как отмечалось ранее, при достижении первои из перечисленных целеи необходимо не просто оценивать согласованность экспертных суждении, но и обеспечивать меры, направленные на ее повышение. Кроме того, долгосрочныи характер существования экспертнои сети и возможность многократного привлечения каждого эксперта к оценочнои деятельности позволяют осуществлять динамическую оценку его компетентности по результатам предыдущеи работы.
Формализованная процедура проведения групповой экспертизы
1 <
Рис 2. Обобщенная математическая модель поддержки групповой экспертизы Таким образом, комплекс моделеи обработки результатов экспертизы должен включать в
себя:
- модель управления согласованностью экспертных суждении, обеспечивающую как механизмы оценки согласованности для множеств экспертных оценок различных типов
с учетом компетентности экспертов, так и механизмы повышения согласованности с использованием формализованных процедур обратнои связи с экспертами;
- модель агрегирования экспертных оценок, позволяющую обрабатывать экспертные оценки различных типов с учетом компетентности экспертов;
- модель апостериорнои динамическои оценки компетентности экспертов, предоставляющую механизм уточнения значении показателя компетентности каждого эксперта в предметнои области на основе фактическои эффективности его работы. Структура обобщеннои математическои модели поддержки групповои экспертизы
с детализированным представлением комплекса моделеи обработки результатов экспертизы показана на рис. 2.
Рассмотрим принципы построения математических моделеи обработки результатов групповои экспертизы.
Модель управления согласованностью экспертных суждений
В основе даннои модели лежит вычисление количественного показателя согласованности множества оценок, данных экспертами, сравнение его с пороговыми значениями и, в случае отклонения от требуемого уровня согласованности, применение механизма обратнои связи с экспертами, направленного на повышение согласованности оценок на выходе.
Механизм обратнои связи обеспечивает возможность оперативно корректировать экспертные оценки в режиме интерактивного взаимодеиствия с экспертами. Обращение к выбранному эксперту с предложением пересмотреть данные им оценки может рассматриваться в качестве управляющего воздеиствия. Таким образом, модель управления согласованностью экспертных суждении можно представить в виде замкнутого контура управления, реализующего принцип управления по отклонению. Структурная схема данного контура показана на рис. 3. Здесь X - множество объектов, оцениваемых по критерию К с использованием шкалы S; Н - множество экспертов, выполняющих оценивание; V(X) - формализованное представление множества индивидуальных оценок, полученных от экспертов; А - процедура оценки согласованности множества ^Ж); Y - критерии оценки достаточности согласованности; Z - вычисленная оценка достаточности согласованности; В - процедура обратнои связи с экспертами; и - управляющее воздеиствие.
Первым шагом после получения множества индивидуальных оценок объектов V(X) является проверка согласованности данного множества с учетом компетентности экспертов. Количественнои характеристикои степени согласованности экспертных суждении выступает коэффициент согласованности Для ординальных оценок (ранжировании) в качестве такого коэффициента можно использовать модифицированным коэффициент конкордации [11], основным отличием которого от классического коэффициента конкордации Кендалла является возможность учета компетентности экспертов. Согласованность множества кардинальных оценок можно оценивать с помощью спектрального метода [13], основная идея которого состоит в определении количества информации, содержащеися во множестве оценок, полученных от экспертов, с учетом компетентности экспертов.
После вычисления коэффициента согласованности необходимо установить, является ли степень согласованности множества экспертных оценок достаточнои для того, чтобы его можно было использовать для вычисления агрегированнои оценки. С этои целью вводим критерии оценки достаточности согласованности Y, основанныи на двух показателях [11, 13]: пороге обнаружения и пороге применения, устанавливающие соответственно наличие информации во множестве экспертных оценок V(X) и достаточность ее для того чтобы результатам оценивания можно было доверять.
Рис 3. Представление модели управления согласованностью экспертных суждений
в виде контура управления
Более конкретно, порогом обнаружения То называется коэффициент согласованности множества экспертных оценок, содержащего минимальное количество информации (при условии равнои компетентности экспертов). Порогом применения Ти называется коэффициент согласованности множества экспертных оценок, обеспечивающего вычисление агрегированнои экспертнои оценки с допустимои точностью. Для каждого типа оценок (ординальные, кардинальные) используются свои методы вычисления пороговых значении [6, 11, 13].
Сопоставление значения коэффициента согласованности Ьо(У) с пороговыми значениями То и Ти выполняется в блоке сравнения. Результат сопоставления Z может быть использован для принятия решения о возможности дальнеишего использования множества У(Х). Здесь возможны три случая. Если Ьс (V) < То, то У(Х) не содержит информации, и необходимо предложить всем экспертам пересмотреть данные ими оценки объектов, либо заменить экспертную группу. Если То < Ьс (V) < Ти, то множество V(X) содержит информацию, но степень его согласованности недостаточна для определения агрегированнои оценки с приемлемои точностью, и необходимы меры, направленные на повышение согласованности. Если же Ьс (V) > Ти, то согласованность множества V(X) достаточна, чтобы использовать его для вычисления итоговои агрегированнои оценки.
Очевидным способом повышения согласованности является корректировка оценок, данных некоторыми экспертами. Но здесь приходится сталкиваться с еще однои весьма непростои задачеи определения того, какие эксперты должны пересматривать свои оценки, а также оценки каких объектов им следует изменить, и в каком направлении. Учитывая этот факт, можно говорить, что одним из важных аспектов организации группового экспертного оценивания в распределеннои среде является процедура В обратнои связи с экспертами. Данная процедура основана на реализации управляющего воздеиствия и, заключающегося в обращении к выбранным экспертам с запросом о возможности изменения данных ими оценок и рекомендациями, направленными на повышение согласованности множества индивидуальных оценок. Если эксперт согласен изменить свою оценку, то по результатам изменения происходит перерасчет коэффициента согласованности. При этом каждому эксперту должно быть предоставлено право не изменять свое суждение. Процедура продолжается до тех пор, пока степень согласованности не превысила значение порога применения, либо пока не будет исчерпан лимит экспертов. В последнем случае делается вывод о невозможности получения согласованнои оценки в условиях имеющеися экспертнои группы.
Модель агрегирования экспертных оценок
Целью агрегирования экспертных оценок является получения итогового распределения предпочтении на множестве оцениваемых объектов. Важным требованием к модели агрегирования является учет компетентности экспертов. Кроме того, задача выбора агрегирующеи функции тесно связано с вопросом допустимости операции и преобразовании над оценками объектов, выражаемых в соответствующих шкалах. Для агрегирования кардинальных оценок можно использовать операцию взвешенного усреднения. В случае ординальных оценок возможны два подхода к агрегированию:
- мажоритарным подход, в рамках которого оцениваемые объекты ранжируются в соответствии с числом поданных за них голосов. К таким методам относятся методы Борда и Кондорсе, а также их модификации, позволяющие учитывать компетеность экспертов [11];
- усредняющии подход, в основе которого лежит обработка множества экспертных оценок с использованием меры близости на основе медианы Кемени, либо других метрик в пространстве ранжировок, например, меры Гуляницкого-Малышко [2].
Модель апостериорной динамической оценки компетентности экспертов
Один из способов апостериорнои оценки компетентности эксперта основан на определении отклонения его индивидуальнои оценки от итоговои групповои агрегированнои оценки [3]. При этом, поскольку экспертную сеть можно рассматривать как группу экспертов, деиствующую на постояннои основе, то становится возможнои не только статическая, но и динамическая оценка компетентности экспертов, которая подразумевает возможность уточнения показателеи компетентности каждого эксперта на основе фактических данных о его работе в группе. В рамках данного метода введем понятие потенциала эксперта st, под которым будем понимать текущее значение эффективности работы эксперта в соответствующеи предметнои области, зависящее от следующих факторов:
1) начального значения со показателя компетентности эксперта в даннои области, определяющего его начальныи потенциал;
2) эффективности работы эксперта при решении задач в данной области, которая определяется на основе частоты случаев, когда мнение эксперта совпадало с итоговым мнением группы.
Корректировку значении компетентности с будем выполнять, руководствуясь следующим правилом: если оценка, полученная от данного эксперта, совпала с итоговои оценкои группы, то значение st должно увеличиться и значение компетентности с увеличивается, если же оценка отклонилась в согласованном множестве оценок, то значение st уменьшается и значение с должно уменьшиться. При этом независимо от количества сеансов оценивания, должно оставаться справедливым неравенство 0 < с <1 (иными словами, должно иметь место асимптотическое стремление значении с как к 0, так и к 1).
Данным требованиям удовлетворяет сигмоидальная функция, соответственно для вычисления апостериорнои оценки компетентности эксперта в предметнои области будем использовать формулу:
__1_
_ 1 + ехр(-Ь(st - 0,5)),
где t - число задач, относящихся к даннои предметнои области, в решении которых принимал участие эксперт; st - потенциал эксперта (в соответствующеи предметнои области) по итогам участия в решении указанных задач; Ь - нормировочным коэффициент.
При этом потенциал эксперта, компетентность которого оценивается как средняя (с = 0,5), принимается равным 0,5.
Если, дополнительно к этому, принять, что потенциал эксперта, считающегося высоко компетентным в даннои предметнои области, должен принимать значения, больше либо равные 1, а потенциал эксперта, компетентность которого в даннои предметнои области хоть и признается, но оценивается как краине низкая, должен принимать значения, меньше либо равные 0, то нормировочным коэффициент Ь определяется из следующего условия:
_ I _ 1 с _ ^_1 _ 1 + ехр( - Ь/2) ,
где с1 - минимальное значение коэффициента компетентности эксперта, признаваемого высоко компетентным. Значение с1 принимается достаточно близким к 1, например, с1 = 0,9. Отсюда:
Ь_21п- ^
1-с
Для определения потенциала эксперта используется следующая формула:
_ 50 +-
, 1уЬ ¿к
-3о
2Т Т^ ¿Гх
где 50 - начальныи потенциал эксперта; Т - контрольное число задач; dk - отклонение оценки, даннои экспертом в к-и задаче, от итоговои групповои оценки, полученнои в результате агрегирования; ¿к"3* - максимальное отклонение среди всех экспертов, участвовавших в решении к-и задачи.
Для задач ранжирования отклонение ¿к вычисляется по формуле:
п
к ' Ё /I'1 1 I' 1 _1
где п - ранг 1-го объекта, указанным экспертом (по итогам всех корректировок, направленных на повышение согласованности); п* - ранг 1-го объекта в итоговом ранжировании, полученном в результате агрегирования; п - число ранжируемых объектов.
Для случая кардинальных оценок отклонение ¿к вычисляется по формуле:
¿к _
^-V' *)2,
У /=1
где V' - оценка 1-го объекта, полученная от эксперта (по итогам всех корректировок, направленных на повышение согласованности); V* - результирующая оценка 1-го объекта, полученная в результате агрегирования; п - число оцениваемых объектов.
Значение Т (контрольное число задач) определяется как минимальное количество задач, в которых должен принять участие эксперт, чтобы повысить значение своего потенциала на величину 0,5 (например, с 0,5 до 1). Это же значение можно определить, как минимальное количество задач, в которых должен принять участие эксперт, чтобы уменьшить значение своего
потенциала на величину 0,5 (например, с 0,5 до 0).
Начальный потенциал 5о определяется как значение потенциала, соответствующее начальному значению со коэффициента компетентности эксперта в данной предметной области. Таким образом, его можно определить из следующего условия:
1
Сп =-
откуда
1 + exp(-b(s0 - 0,5))
= I -1 ln bd
2 b
Предложенный метод апостериорнои оценки компетентности экспертов позволяет учитывать динамику изменения компетентности экспертов по результатам мониторинга эффективности работы каждого эксперта.
Архитектура и особенности реализации программного комплекса поддержки принятия решений в распределенной среде
Предложенные модели и алгоритмы поддержки групповои экспертизы были реализованы в составе распределеннои системы поддержки принятия решении (СППР). СППР представляет собои программныи комплекс, ориентированныи на решение задач группового экспертного оценивания, с обеспечением возможности распределенного взаимодеиствия лиц, участвующих в процессе решения - в первую очередь ЛПР, экспертов и аналитиков. Такое взаимодеиствие становится возможным, благодаря функционированию СППР в сети Интернет и возможности удаленного доступа к неи для всех групп пользователеи. Поддерживаются следующие типы задач: отбор объектов из множества по определенным признакам; ранжирование объектов (формирование групповои ординальнои оценки); оценивание объектов (формирование групповои относительнои либо абсолютнои кардинальнои оценки). СППР охватывает все этапы процесса групповои экспертизы, предусмотренные обобщенным алгоритмом (см. рис. 1). При этом особое внимание уделяется обеспечению согласованности множества экспертных суждении, с применением разработанных моделеи управления согласованностью на основе механизмов обратнои связи с экспертами. Также поддерживается описанньш выше метод апостериорнои динамической оценки компетентности экспертов.
щ
Эксперт
Р0
Эксперт
—iH
31
Эксперт
ЛПР
Рис 4. Архитектура программного комплекса поддержки принятия решений в распределенной среде
Архитектура программного комплекса представлена на рис. 4. В основу ее построения была положена трехзвенная модель «клиент - сервер приложении - сервер баз данных». Вся бизнес-логика, основу которой составляет комплекс рассмотренных выше математических моделей поддержки групповои экспертизы реализована на уровне сервера приложении, что значительно упрощает дальнеишее расширение функциональности СППР. В основу реализации программного комплекса были положены следующие решения. В качестве СУБД была выбрана система PostgreSQL - свободно распространяемая объектно-реляционная СУБД, являющаяся однои из наиболее развитых открытых СУБД. В качестве языка программирования был выбран язык Ruby, при этом
использовался фреймворк Ruby on Rails и шаблон проектирования MVC («модель - представление -контроллер»).
СППР предполагает взаимодеиствие со следующими категориями пользователей
1. ЛПР. Представляет собои заказчика, «владельца проблемы». Является инициатором всего процесса и «потребителем» его результатов;
2. координатор (модератор). Управляет всем процессом решения задачи (от подбора группы экспертов до выдачи согласованного решения);
3. аналитик. В его функции входят формализация задачи, подбор альтернатив, выбор критериев, оценочных шкал и др., а также интерпретация и проверка корректности получаемых результатов;
4. эксперт. Принимает непосредственное участие в процессе подготовки решении, оценивании объектов. Данная категория пользователеи является основнои и самои многочисленнои;
5. главныи менеджер. Осуществляет общее руководство процессами решения задач, в частности выполняет назначения координаторов и аналитиков;
6. администратор. Отвечает за разработку, поддержку, сопровождение программнои части комплекса.
На рис. 5 показана UML-диаграмма взаимодеиствия различных категории пользователеи в режиме решения задачи. На клиентском уровне все взаимодеиствие осуществляется с помощью web-интерфейса.
Рис 5. Диаграмма взаимодействия различных категорий пользователей в режиме решения задачи Заключение
Разработка научно-методических основ и создание информационно-аналитических систем поддержки принятия групповых решении в распределеннои среде в настоящее время является актуальным направлением исследовании, в рамках которого ставятся и решаются задачи, связанные с созданием новых и развитием существующих математических моделеи принятия групповых решении, учитывающих распределенным характер взаимодеиствия ЛПР, экспертов, аналитиков и других участников данного процесса. В статье рассмотрен подход к математическому моделированию и программнои поддержке процесса группового экспертного оценивания в условиях распределенного взаимодеиствия его участников. В настоящее время создан пилотныи
прототип СППР, и выполняется комплекс исследовании, связанных с апробацией как самой СППР, так и реализованных в неи математических моделеи при решении прикладных задач. К направлениям дальнеишего развития СППР относятся расширение спектра поддерживаемых задач и математических методов, журналирование процессов, связанных с работои экспертнои группы, реализация методов априорного оценивания компетентности экспертов и формирования рекомендации по составу и численности экспертнои группы.
Литература
1. Губанов, Д.А. Сетевая экспертиза / Д.А. Губанов, Н.А. Коргин, Д.А. Новиков, А.Н. Раиков. - 2-е изд. - М. : Эгвес, 2011. -166 с.
2. Гуляницкии, Л.Ф. Один поход к формализации и исследованию задач группового выбора / Л.Ф. Гуляницкии, О.В. Волкович, С.А. Малышко // Кибернетика и системныи анализ. - 1994. - №3. - С. 120-127.
3. Литвак, Б.Г. Экспертные технологии в управлении / Б.Г. Литвак. - М.: Дело, 2004. - 400 с.
4. Павлов, А.Н. Информационные технологии для формирования коллективнои экспертнои оценки / А.Н. Павлов // Ситуационные центры: модели, технологии, опыт практическои реализации: материалы науч.-практ. конф. РАГС / Под общ. ред. А.Н. Данчула. - М.: Изд-во РАГС, 2007. - С. 150-159.
5. Павлов, А.Н. Особенности работы с экспертами в вычислительных сетях / А.Н. Павлов // Научно-техническая информация. Серия 1, Организация и методика информационнои работы. - 2006. - №7. - С. 14-23.
6. Подвесовскии, А.Г. Обобщенныи алгоритм определения согласованных групповых кардинальных оценок с учетом компетентности экспертов / А.Г. Подвесовскии, О.А. Михалева // Информационные технологии интеллектуальнои поддержки принятия решении: труды II междунар. конф. - Уфа: УГАТУ 2014. - Т. 1. - С. 58-64.
7. Постников, В.М. Анализ подходов к формированию состава экспертнои группы, ориентированнои на подготовку и принятие решении // Наука и образование: электрон. науч.-техн. журнал. - 2012. - № 5. - URL: http://technomag.edu.ru/doc/360720.html.
8. Раиков, А.Н. Сетевая экспертная поддержка решении / А.Н. Раиков // Управление большими системами. - 2010. -№ 30-1. - С. 758-773.
9. Славин, Б.Б. Облачныи сервис интеллектуальнои групповои экспертизы. URL: http://www.myshared.ru/slide/260122,
10. Славин, Б.Б. Современные экспертные сети / Б.Б. Славин // Открытые системы. - 2014. - №7. - С. 30-33. - URL: http://www.osp.ru/os/2014/07/13042916/.
11. Тоценко, В.Г. Групповые ранжирования с обратнои связью с экспертами с учетом их компетентности / В.Г. Тоценко // Проблемы управления и информатики. - 2006. - № 5. - С. 92-99.
12. Тоценко, В.Г. Исследование методов группового экспертного оценивания экспертами, работающими в INTERNET/ В.Г. Тоценко, В.В. Цыганок // Реестращя, збер^ання та оброб. даних. - 2004. - Т. 6. - № 2. - С. 81-87.
13. Тоценко, В.Г. Методы и системы поддержки принятия решении. Алгоритмическии аспект / В.Г. Тоценко. - Киев : Наукова думка, 2002. - 378 с.
14. Тоценко, В.Г. Об унификации алгоритмов организации экспертиз / В.Г. Тоценко // Проблемы правовои информатизации. - 2006. -№ 2 [12]. - С. 96-101.
15. Универсальная сервисная платформа для экспертных исследовании UniSample. URL: http://www.slideshare.net/kiselevdb/uni-sample.
16. Экспертные сети и технология посткраудсорсинга. - URL: http://www.starbase.ru.
References
1. Gubanov, D.A. Setevaya ekspertiza / D.A. Gubanov, N.A. Korgin, D.A. Novikov, A.N. Raykov. - 2-e izd. - M. : Egves, 2011. - 166 s.
2. Gulyanitskiy, L.F. Odin pokhod k formalizatsii i issledovaniyu zadach gruppovogo vybora / L.F. Gulyanitskiy, O.V. Volkovich, S.A. Malyshko // Kibernetika i sistemnyy analiz. - 1994. - №3. - S. 120-127.
3. Litvak, B.G. Ekspertnye tekhnologii v upravlenii / B.G. Litvak. - M.: Delo, 2004. - 400 s.
4. Pavlov, A.N. Informatsionnye tekhnologii dlya formirovaniya kollektivnoy ekspertnoy otsenki / A.N. Pavlov // Situatsionnye tsentry: modeli, tekhnologii, opyt prakticheskoy realizatsii: materialy nauch.-prakt. konf. RAGS / Pod obshch. red. A.N. Danchula. - M.: Izd-vo RAGS, 2007. - S. 150-159.
5. Pavlov, A.N. Osobennosti raboty s ekspertami v vychislitel'nykh setyakh / A.N. Pavlov // Nauchno-tekhnicheskaya informatsiya. Seriya 1, Organizatsiya i metodika informatsionnoy raboty. - 2006. - №7. - S. 14-23.
6. Podvesovskiy, A.G. Obobshchennyy algoritm opredeleniya soglasovannykh gruppovykh kardinal'nykh otsenok s uchetom kompetentnosti ekspertov / A.G. Podvesovskiy, O.A. Mikhaleva // Informatsionnye tekhnologii intellektual'noy podderzhki prinyatiya resheniy: trudy II mezhdunar. konf. - Ufa: UGATU, 2014. - T. 1. - S. 58-64.
7. Postnikov, V.M. Analiz podkhodov k formirovaniyu sostava ekspertnoy gruppy, orientirovannoy na podgotovku i prinyatie resheniy // Nauka i obrazovanie: elektron. nauch.-tekhn. zhurnal. - 2012. - № 5. - URL: http://technomag.edu.ru/doc/360720.html.
8. Raykov, A.N. Setevaya ekspertnaya podderzhka resheniy / A.N. Raykov // Upravlenie bol'shimi sistemami. - 2010. - № 301. - S. 758-773.
9. Slavin, B.B. Oblachnyy servis intellektual'noy gruppovoy ekspertizy. URL: http://www.myshared.ru/slide/260122,
10. Slavin, B.B. Sovremennye ekspertnye seti / B.B. Slavin // Otkrytye sistemy. - 2014. - №7. - S. 30-33. - URL: http://www.osp.ru/os/2014/07/13042916/.
11. Totsenko, V.G. Gruppovye ranzhirovaniya s obratnoy svyaz'yu s ekspertami s uchetom ikh kompetentnosti / V.G. Totsenko // Problemy upravleniya i informatiki. - 2006. - № 5. - S. 92-99.
12. Totsenko, V.G. Issledovanie metodov gruppovogo ekspertnogo otsenivaniya ekspertami, rabotayushchimi v INTERNET/ V.G. Totsenko, V.V. Tsyganok // Reestratsiya, zberigannya ta obrob. danikh. - 2004. - T. 6. - № 2. - S. 81-87.
13. Totsenko, V.G. Metody i sistemy podderzhki prinyatiya resheniy. Algoritmicheskiy aspekt / V.G. Totsenko. - Kiev: Naukova dumka, 2002. - 378 s.
14. Totsenko, V.G. Ob unifikatsii algoritmov organizatsii ekspertiz / V.G. Totsenko // Problemy pravovoy informatizatsii. - 2006.
-№ 2 [12]. - S. 96-101.
15. Universal'naya servisnaya platforma dlya ekspertnykh issledovaniy UniSample. URL: http://www.slideshare.net/kiselevdb/uni-sample.
16. Ekspertnye seti i tekhnologiya postkraudsorsinga. - URL: http://www.starbase.ru.
Поступила 14.10.2016
Об авторах:
Подвесовский Александр Георгиевич, заведующий кафедрой «Информатика и программное обеспечение» Брянского государственного технического университета, кандидат технических наук, доцент, [email protected];
Михалева Оксана Алексеевна, старшии преподаватель кафедры «Информатика и программное обеспечение» Брянского государственного технического университета;
Козлов Евгений Александрович, магистрант факультета информационных технологии Брянского государственного технического университета;
Вершинин Андрей Александрович, магистрант факультета информационных технологии Брянского государственного технического университета.
