CC BY
33
АНАЛИЗ НАПРАВЛЕНИЙ СОВЕРШЕНСТВОВАНИЯ ЭКСПЕРТНЫХ СИСТЕМ, ПРИМЕНЯЕМЫХ В СИСТЕМАХ МЕНЕДЖМЕНТА КАЧЕСТВА
Серенков П.С.
УДК 621.791
РЕФЕРАТ
ABSTRACT
ЭКСПЕРТНЫЕ СИСТЕМЫ, СИСТЕМЫ МЕНЕДЖМЕНТА КАЧЕСТВА, ДОСТОВЕРНОСТЬ ЭКСПЕРТНЫХ ОЦЕНОК
EXPERT SYSTEMS, QUALITY MANAGEMENT SYSTEMS, THE RELIABILITY OF EXPERT ESTIMATES
Предметом исследования является оценивание качества продукции и процессов в рамках СМК экспертными методами.
Тема статьи - комплексный анализ функционирования экспертных систем в рамках СМК для случая, когда данные о качестве представлены экспертными оценками.
Цель работы - идентификация и анализ источников потерь достоверности оценок, генерируемых экспертной системой, и меры снижения их влияния.
В результате комплексного анализа функционирования экспертных систем в рамках СМК сформулированы источники потерь достоверности оценок, генерируемых системой: на этапе выявления и идентификации факторов х; на этапах оцифровывания факторов X.; на этапах получения и проверки адекватности функций связи результативности СМК или отдельных бизнес-процессов с выявленными и идентифицированными факторами. Предложен комплекс подходов, методов и технологий, позволяющих минимизировать неочевидные «погрешности» оценивания показателей результативности СМК организации (бизнес-процесса).
Предлагаемая концепция совершенствования экспертных систем ориентирована на наименее информативный тип данных (экспертные оценки), имеет большой потенциал для практического применения в организациях любого профиля. Подход апробирован в ходе создания экспертной системы менеджмента процесса разработки государственных стандартов по критерию допустимого риска.
The results of a comprehensive analysis of expert systems functioning in the QMS framework for the case where data are presented as expert estimates are presented. The sources of estimates reliable losses are systematized: at the stage of factors identification and digitization, at the stage of obtaining an adequate function that relates effectiveness of QMS with identified factors. A set of approaches, methods and technologies to minimize the non-obvious estimates «errors» of effectiveness indicators are offered.
S
ВВЕДЕНИЕ
Тотальное внедрение стандартов СТБ ISO серии 9000 в практику бизнес-деятельности практически всех отраслей хозяйствования, несмотря на неоднозначность мнений, очевидно, стало знаковым явлением в формировании современного видения конкурентоспособной, ориентированной на стабильное развитие организации.
В последнее время в условиях кризиса и жесткой конкуренции появилась тенденция роста интереса к информационным технологиям, направленным на мобилизацию «внутренних резервов» менеджмента качества с точки зрения снижения издержек. Основным информационным механизмом СМК служат системы сбора и анализа данных, основное назначение которых - реализовать принцип менеджмента качества «принятие решений, основанное на фактах».
Традиционно контроль качества ассоциировался исключительно с производственными процессами, для которых типичной формой данных являются количественные, измеряемые с помощью технических средств данные о продукции и (или) процессе. Вовлечение в СМК непроизводственных процессов приводит к необходимости пересмотра требований в отношении структуры системы сбора и анализа данных, применяемых методов и средств.
ЭКСПЕРТНЫЕ СИСТЕМЫ КАК ОБЪЕКТ АНАЛИЗА И РАЗРАБОТКИ
Для непроизводственных процессов системы типичной формой данных являются так называемые экспертные оценки, не поддающиеся «точному измерению», так как являются субъективными. Соотношение процессов производственного и непроизводственного характера («носителей» данных) указывает на то, что СМК относятся к категории слабоструктурированных предметных областей, где качественные, нечеткие факторы имеют тенденцию доминировать [1]. Для таких предметных областей характерно:
• искусственно сформированное факторное пространство, как правило, большой размерности;
• использование данных, представленных в информативно бедных шкалах (номинальных и ранговых), что снижает достоверность их оценки по сравнению с измерением количественных
показателей;
• противоречивость данных, являющаяся следствием априорной неполноты исходной информации, непредсказуемой изменяемости внешней среды и т. п.
В теории принятия решений структура данных о предметной области определяет выбор методов получения эффективных управляющих решений. Переход от хорошо структурированных к слабоструктурированным предметным областям неизбежно приводит к необходимости отказа от строгих аналитических методов и перехода к нестрогим методам, например, принятию решений по прецедентности или с использованием продукционных правил типа «если, ... то». С этих позиций функции системы сбора и анализа данных о качестве непроизводственных процессов, особенно на верхних уровнях иерархии, трудно отделить от функций системы поддержки принятия решений [1, 2]. С позиций разработки их принято рассматривать как единую так называемую экспертную систему.
Особенностью процесса создания экспертной системы оценивания и управления результативностью бизнес-процессов в рамках СМК организации является тот факт, что на всех этапах ее разработки используются экспертные методы:
• на этапе выявления и идентификации факторов х.;
• на этапах оцифровывания факторов X.;
• на этапах получения и проверки адекватности функций связи результативности с выявленными и идентифицированными факторами и = и (X) [3].
Обычно для таких целей применяются специальные экспертные методы, известные как методы квалиметрии, позволяющие получить количественные данные (в результате тех или иных преобразований). Однако применение классических подходов квалиметрии для решения поставленной задачи на всех вышеперечисленных этапах обозначило целый ряд проблем, связанных с их корректностью [3]. Это связано с тем, что при всей своей простоте и законченности алгоритма данные методы не имеют должной обоснованности.
На этапе выявления и идентификации факторов традиционными для задач такого рода являются экспертные подходы к выявлению и
стратификации влияющих факторов, например, методы мозгового штурма, дельфийского оракула и т. п. Недостатки их с точки зрения выявления объективно полного множества всех влияющих факторов очевидны: субъективность экспертного мнения, проявляющаяся, например, в тенденциозности решений; затруднения, связанные с достижением консенсуса; инертность мышления и другие негативные психологические аспекты [2].
В системном анализе, как методологии решения проблем, основанной на концепции систем, задача выделения «всех элементов, связанных с данной проблемой», является центральной, так как определяет «целостность» системы [2]. Критерием «целостности» является «участие» выявленных факторов в процессе получения результата системы. Понятие процесса с этих позиций является центральным понятием системного анализа.
Установлено, что основным условием достоверности и прослеживаемости оценки показателя качества Y процесса является корректно построенная его функциональная модель, описывающая состав, последовательность, взаимодействия и взаимосвязи подпроцессов и задействованных ресурсов. При этом рационально для целей моделирования структуры процесса использовать стандарт функционального моделирования IDEF0, определяющий ресурсное наполнение процесса [2]. В таком виде функциональная модель процесса представляет собой упорядоченное множество источников влияющих факторов - ресурсов и функций. Непосредственно сами факторы в рамках каждого источника рационально в данном случае идентифицировать, используя в том числе и классические экспертные методы [2, 3, 4]. В совокупности такой подход представляет собой доказательную базу того, что все множество потенциально влияющих факторов выявлено.
Рациональность множества оцениваемых факторов обеспечивается путем решения двух задач: обеспечение полноты и неизбыточности множества факторов.
Первая задача обеспечения полноты множества факторов ставит своей целью получение информации, адекватной действительному состоянию процесса. Вторая задача обеспечения
неизбыточности множества факторов ставит своей целью повышение эффективности экспертной системы и собственно процесса принятия решений.
Для решения этих задач рационально использовать экспертные методы. В обоих случаях критерием формирования рационального массива факторов является оценка риска неадекватности экспертной системы. Для оценки риска можно рекомендовать широко используемый подход «анализ причин и последствий отказов» ^МЕА-анализ).
На этапе оцифровывания факторов (шкалирования исходной информации) наиболее часто используются такие методы квалиметрии, как метод рангов, метод взвешивания, метод предпочтения, метод последовательных сравнений и т. п.
Специфика так называемых непроизводственных бизнес-процессов заключается в том, что типичной формой данных являются так называемые экспертные оценки, не поддающиеся «точному измерению», так как являются субъективными. Экспертная система, оперирующая данными такой природы, в качестве самого слабого звена предполагает эксперта, выступающего в роли своеобразного «средства измерения». Суждения экспертов имеют нечисловой характер потому, что в мышлении человек, в том числе и эксперт, использует образы, слова, но не числа. Эксперт может сравнить два объекта, дать им оценки типа «хороший», «приемлемый», «плохой», упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого. Главный недостаток эксперта как «измерительного прибора» в том, что его суждения представлены в номинальной или порядковой шкале, то есть являются объектами нечисловой природы в том смысле, что их последующая обработка с помощью методов прикладной статистики по аналогии с результатами обычных физико-технических измерений некорректна. Попытки представить суждения экспертов как объекты числовой природы могут приводить к совершенно неадекватным результатам и прогнозам [4]. Поэтому первой задачей, возникающей при разработке методики сбора экспертных данных, является обеспече-
ние обоснованного механизма преобразования эвристических экспертных суждений в количественную форму.
С проблемой точности шкалирования связано также понятие согласованности мнений экспертов, оцениваемое, как правило, коэффициентами конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Однако согласно эконометрической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерного распределения мнений экспертов на множестве всех ранжировок [4].
В рамках проекта по повышению результативности деятельности по стандартизации были проведены комплексные исследования процесса экспертного оценивания альтернатив [3]. Результаты позволили сделать ряд выводов, которые были приняты во внимание при создании экспертной системы оценки и управления рисками разработки проектов государственных стандартов.
1. Несогласованность мнений экспертов вызвана двумя основными источниками: групповой вариацией мнений экспертов и персональной вариацией мнений отдельно взятого эксперта.
2. Составляющая суммарной несогласованности мнений вследствие персональной вариации отдельно взятого эксперта для класса задач экспертного оценивания предпочтений объектов в профессиональной сфере является доминирующей и имеет следующие свойства:
• внутренняя несогласованность оценок у каждого эксперта индивидуальна, причем диапазон различий несоизмеримо велик по отношению к различиям в профессионализме в рамках группы экспертов;
• персональная вариация оценок уменьшается с накоплением опыта экспертов, в процессе серии экспериментов, при этом каждый эксперт достигает необходимого уровня совершенства по-разному, то есть размер серии экспериментов сугубо индивидуален;
• эксперты теряют навыки экспертизы спустя достаточно короткий промежуток времени, и степень внутренней несогласованности опять возрастает;
• отсутствуют методы оценки (самооценки)
степени внутренней несогласованности эксперта, а также критерии ее соответствия установленным требованиям, что усугубляет ситуацию сбора и анализа экспертных данных.
3. Существующие подходы, методы, технологии нацелены на повышение точности и достоверности экспертных оценок главным образом за счет снижения групповой вариации мнений экспертов (разногласий в группе). Неявный для существующих методов источник несогласованности экспертных оценок - персональная вариация мнений экспертов - инициирует создание новых подходов к повышению точности и достоверности экспертизы за счет повышения объективности мнений каждого эксперта.
На этапах получения и проверки адекватности функций связи рассматривают два основных подхода к обоснованию функции полезности: эвристический и аксиоматический [3].
Эвристический подход заключается в том, что предлагается функция полезности того или иного вида без обоснования выбора вида функции. Среди наиболее известных эвристических подходов следует выделить два метода, реализующих линейную свертку: линейная квалиметри-ческая модель и аналитическая иерархическая процедура Саати [5].
Линейная квалиметрическая модель предполагает построение функции полезности как линейную комбинацию значений факторов, при условии, что факторы принимают положительные числовые значения, которые выражают степень проявления полезности [3].
Аналитическая иерархическая процедура Саати рассматривается как эвристический подход, моделирующий интуитивный способ оценки пользователем различных альтернатив. Модель также часто является аддитивной [5].
Методы линейной свёртки относятся к разряду не имеющих строгого обоснования эвристических подходов, которые в случае нелинейности действительной функции связи вносят существенную методическую погрешность и могут приводить к далеко не лучшим окончательным вариантам выбора [4]. Установлено, что в условиях неопределенности нельзя гарантировать пригодность фиксированных функций для конкретного случая. При моделировании такого рода задач самым уязвимым местом как раз яв-
ляется функция полезности, адекватно отражающая предпочтения отдельного эксперта.
Аксиоматический подход к построению функции полезности с позиций точности, обоснованности и достоверности экспертных оценок для решения поставленной задачи более привлекателен. Среди аксиоматических подходов следует отметить подход MAUT, предполагающий формулировку и проверку подробной системы аксиом относительно структуры функции полезности [3, 4]. Установлено, что при моделировании такого рода задач самым уязвимым местом как раз является функция полезности, адекватно отражающая предпочтения эксперта.
Подход, в рамках которого можно моделировать и решать задачу оценки результативности деятельности, исходя из обоснованной модели предпочтений человека и принимаемых им решений, называется объективным. В рамках этого подхода формируются цели и правила оценки проектов. Объективный подход обычно применяется на государственном уровне, а также на уровне крупных корпораций, когда речь идет о типичных, достаточно часто встречающихся рисках, решениях, ситуациях. Его часто применяют в компьютерных системах поддержки принятия решений.
В рамках количественного анализа рисков широкое распространение получила теория ожидаемой полезности Неймана - Моргенштер-на [6], применимая для случайных событий. Суть ее состоит в том, что принятие рациональных решений в условиях неопределенности может быть увязано с максимизацией ожидаемой полезности. В рамках теории используется аксиоматический подход, который гарантирует кван-тификацию предпочтений, что, собственно, и позволяет построить функцию полезности.
Однако теория ожидаемой полезности, являясь базовой современной концепцией принятия решений в условиях неопределенности, часто не выдерживает экспериментальной проверки. Возникают несоответствия результатов экспериментов и теории, которые принятого называть парадоксами, например парадокс Алле, парадокс Смита и др. [4].
В теории ожидаемой полезности при задании предпочтений используется понятие лотерей. Под влиянием работ Д. Канемана и А. Тверски их
называют перспективами - наборами возможных исходов и их вероятностей [7]. Поэтому для задач, где фигурируют неденежные ценности, применение теории лотерей выглядит сложным и искусственным приемом.
Тем не менее, в большинстве исследований подход фон Неймана - Моргенштерна выступает как концептуальный. Установлено, что на практике построение корректной функции полезности довольно сложно реализовать. Особенно в случаях, когда система поддержки принятия решений основана на данных экспертных суждений и должна реализовать основные функции эксперта. При его применении особое внимание следует уделять построению и анализу функции полезности, так как реализовать это на практике довольно сложно. Трудности, связанные с решением данной задачи, обусловлены двумя особенностями:
• недостаточным объемом данных;
• наличием взаимозависимости ряда переменных из общего набора хг , XX2 , ..., х^
факторов.
Недостаточный объем данных может быть восполнен высокой степенью доверия к результатам экспертного оценивания методом альтернатив [3, 4], а также сужением области поиска функции.
Независимо от выбранного подхода модель функции потерь качества для предметной области типа бизнес-процесс в общем виде можно
где и - оцениваемый показатель результативности процесса; х1, х2 , ..., хт - комплексные и элементарные факторы, влияющие на показатель результативности и; / - функция связи; а1 , а2 , ..., ап - параметры функции связи, подлежащие определению.
Практика построения экспертных систем в рамках современных СМК показывает, что мы, как правило, сталкиваемся с нелинейным характером функции связи (1). Для обоснования приемлемого типа функции связи (1) была сформулирована задача минимизации потерь качества экспертной системы. Спланирован и реализован комплекс экспериментов в рамках проекта по созданию экспертной системы для менеджмен-
записать:
U = f(xt, х2 ... хт, a, а2 ... ап), (1)
та рисков процесса разработки стандартов. Цель - оценка адекватности решаемой задаче математических функций различного типа: ква-лиметрическая модель, регрессионная линейная и нелинейная модели [8].
Результаты анализа и оценки адекватности исследованных моделей приведены на сравнительной диаграмме (рис. 1). Адекватность оценивалась через отношение числа совпадений оценок экспертов с оценками, полученными с помощью соответствующей модели с общим числом оценок. Очевидно, что адекватность модели для целей и задач проектируемой экспертной системы возрастает с повышением уровня функции связи. В большей степени несостоятельны методы квалиметрии - простейшая линейная свертка.
связи / должна быть увязана процедура входного шкалирования, так как не все методы математического анализа приемлемы для данных, представленных шкалой интервалов. При этом особое место независимо от выбранного метода должна занимать процедура статистического обоснования адекватности модели функции связи /. Установлено, что функция, корректно обеспечивающая доверительную взаимосвязь экспертных данных, есть функция распределения случайной величины. Сформулирована гипотеза об эквивалентном преобразовании экспертных оценок {х1 , х2 ... хт} в случайные величины {и1 ,и2 ... ит} со значениями функции желательности F(u;), заданными на промежутке [0, 1] значениями интегральной функцией равномерного
Рисунок 1 - Результаты анализа и проверки адекватности исследованных моделей
В свою очередь повышение уровня модели функции связи (1) экспертной системы вызывает необходимость повышения информативности шкал оценивания как факторов {х1 , х2 ... хт}, так и показателя качества и, по крайней мере, до уровня шкалы интервалов. Следует иметь в виду, что повышение информативности шкалы фактора вызывает увеличение неопределенности оценки (дисперсии). В соответствии с этим следует разработать процедуру корректного перехода в общем случае от шкалы номиналов через шкалу рангов к шкале интервалов в условиях контролируемого роста неопределенности оценки, используя, например, метод функций желательности.
Очевидно также, что с выбором функции
распределения.
Тогда значение показателя качества и можно представить как интегральную функцию совместного распределения и = Г(ир и2,.., ип) =
= Р(Х1 < х1, Х2 < х2 . Хт < хт) с ОДн°-мерными маргинальными функциями распределения, вид которой определяется конкретной задачей.
В частности, в рамках упоминаемого выше проекта по созданию экспертной системы для менеджмента рисков процесса разработки стандартов предлагаемый подход был реализован в виде многокритериальной функции полезности с использованием квази-копулы полезности
[3, 8].
Еще один аспект построения модели функ-
С
68
ции связи следует иметь в виду. Как уже отмечалось, особенностью эксперимента, в котором участвуют только экспертные данные, точность экспертной оценки отклика и падает с ростом количества одновременно учитываемых факторов, и при числе факторов п > (5.7) эксперт уже не в состоянии адекватно оценить результат и. Основоположником метода анализа иерархий Саати установлено, что эксперту гораздо легче на каждом шагу сравнивать только два объекта [3]. Организация эксперимента (опроса) в виде попарного сравнения влияющих факторов, получившего название метода парных сравнений, существенно снижает «погрешность» оператора как вклад в суммарную погрешность оценки (1), выдаваемой экспертной системой.
Причем крайне важно для корректного получения и оценки адекватности модели функции связи (1) экспертной системы организовать эксперимент не просто по аналогии с методом парных сравнений, но и формировать каждый вопрос эксперту в соответствии с планом эксперимента таким образом, чтобы каждый раз у сравниваемых векторов и = Г(ир и2,..., ип) изменялись значения только по одному фактору х..
ВЫВОДЫ
В результате комплексного анализа функционирования экспертных систем в рамках СМК сформулированы источники потерь достоверности оценок, генерируемых системой: на этапе выявления и идентификации факторов х.; на этапах оцифровывания факторов X.; на этапах получения и проверки адекватности функций связи результативности СМК или отдельных бизнес-процессов с выявленными и идентифицированными факторами. Предложен комплекс подходов, методов и технологий, позволяющих минимизировать неочевидные, но весьма существенные «погрешности» оценивания показателей результативности СМК организации (бизнес-процесса).
Предлагаемая концепция совершенствования экспертных систем доказательна, так как основана на системном подходе, универсальна, так как ориентирована на наименее информативный тип данных (экспертные оценки), имеет большой потенциал для практического применения в организациях любого профиля. Подход апробирован в ходе создания экспертной системы менеджмента процесса разработки государственных стандартов по критерию допустимого риска [4].
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. Муратова, Е.А. (2004), Алгоритм формирования знаний для экспертных систем в слабоструктурированных предметных областях, Томск, 182 с.
2. Серенков, П.С., Соломахо, В.Л. (2008), Концепция инженерной составляющей систем менеджмента качества как организационно-технической основы их создания и совершенствования, Методы менеджмента качества, 2008, № 6, С. 16-21.
3. Серенков, П.С., Романчак, В.М., Гуревич, В.Л. (2011), Модуль экспертной системы оценива-
REFERENCES
1. Muratova, E.A. (2004), Algoritm formirovaniya znaniy dlya ekspertnyih sistem v slabostrukturirovannyih predmetnyih oblastyah [The algorithm for generating knowledge for expert systems in the semi-domains], Tomsk, 182 p.
2. Serenkov, P.S., Solomaho, V.L. (2008), The concept of engineering component of quality management systems as the organizational and technical basis for their creation and improvement [Kontseptsiya inzhenernoy sostavlyayuschey sistem menedzhmenta kachestva kak organizatsionno-tehnicheskoy
(-
ния качества разработки стандарта по критерию допустимого риска, Приборы и методы измерений, 2011, № 2, С. 104-111.
4. Серенков, П.С., Романчак, В.М., Гуревич, В.Л., Янушкевич, А.В. (2013), Анализ источников неопределенностей экспертных оценок, используемых в процессе принятия решений в рамках СМК, Методы менеджмента качества, 2013, № 5, С. 8-14.
5. Саати, Т. (1989), Принятие решений. Метод анализа иерархий, Москва, Радио и связь, 316 с.
6. Нейман, Дж., Моргенштерн, О. (1970), Теория игр и экономическое поведение, Москва, Наука, 707 с.
7. Kahneman, D., Tversky, A. (1979), Prospect Theory: An analysis of Decision under Risk, Econometrica, 1979, № 47, pp. 263-291.
8. Серенков, П.С., Гуревич, В.Л., Романчак, В.М., Янушкевич, А.В. (2014), Методы менеджмента качества. Методология управления риском стандартизации, Минск, Новое знание, 256 с.
osnovyi ih sozdaniya i sovershenstvovaniya], Methods of Quality Management, № 6, pp. 16-21.
3. Serenkov, P.S., Romanchak, V.M., Gure-vich, V.L. (2011), The module of the expert system evaluating of the standard development quality on acceptable risk criteria [Modul ekspertnoy sistemyi otsenivaniya kachestva razrabotki standarta po kriteriyu dopustimogo riska], Devices and methods of measurement, № 2, pp. 104-111.
4. Serenkov, P.S., Romanchak, V.M., Gurevich, V.L., Yanushkevich, A.V. (2013), Analysis of the sources of expert assessments uncertainty used in the decision making process within the QMS [Analiz istochnikov neopredelennostey ekspertnyih otsenok, ispolzuemyih v protsesse prinyatiya resheniy v ramkah SMK], Methods of Quality Management, № 5, pp. 8-14.
5. Saati, T. (1989), Prinyatie resheniy. Metod analiza ierarhiy [Making decisions. Hierarchies analysis method], Moscow, Radio and Communications, 316 p.
6. Neyman, Dzh., Morgenshtern, O. (1970), Teoriya igr i ekonomicheskoe povedenie [Theory of Games and Economic Behavior], Moscow, Science, 707 p.
7. Kahneman, D., Tversky, A. (1979), Prospect Theory: An analysis of Decision under Risk, Econometrica, № 47, pp. 263-291.
8. Serenkov, P.S., Gurevich, V.L., Romanchak, V.M., Yanushkevich, A.V. (2014), Metodyi menedzhmenta kachestva. Metodologiya upravleniya riskom standartizatsii [Methods of Quality Management. The methodology of risk management of standardization], Minsk, New knowledge, 256 p.
Статья поступила в редакцию 02. 0б. 2015 г.
