Минимизация погрешностей оценивания показателей качества экспертными системами Текст научной статьи по специальности «Экономика и бизнес»

УДК 621.791

МИНИМИЗАЦИЯ ПОГРЕШНОСТЕЙ ОЦЕНИВАНИЯ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ЭКСПЕРТНЫМИ СИСТЕМАМИ

Серенков П. С. 1, Романчак В. М. 1, Гуревич В. Л. 2

1 Белорусский национальный технический университет, Минск, Республика Беларусь 2 Белорусский государственный институт стандартизации и сертификации, Минск, Республика Беларусь

Приведен комплексный анализ функционирования системы сбора и анализа данных в рамках систем менеджмента качества (СМК) для случая, когда данные о качестве представлены экспертными оценками. Предложена концепция корректной экспертной системы СМК, позволяющая минимизировать неочевидные, но весьма существенные погрешности оценивания показателей результативности и эффективности.

Введение

Тотальное внедрение стандартов СТБ ISO серии 9000 в практику бизнес-деятельности практически всех отраслей хозяйствования, несмотря на неоднозначность мнений, очевидно, стало знаковым явлением в формировании современного видения конкурентоспособной, ориентированной на стабильное развитие организации.

Последнее время в условиях кризиса и жесткой конкуренции появилась тенденция роста интереса к информационным технологиям, направленным на мобилизацию «внутренних резервов» менеджмента качества с точки зрения снижения издержек.

Основным информационным механизмом СМК служат системы сбора и анализа данных, основное назначение которых - реализовать принцип менеджмента качества «принятие решений, основанное на фактах». Традиционно контроль качества ассоциировался исключительно с производственными процессами, для которых типичной формой данных являются количественные, измеряемые с помощью технических средств данные о продукции и (или) процессе.

Вовлечение в СМК непроизводственных процессов приводит к необходимости пересмотра требований в отношении структуры системы сбора и анализа данных, применяемых методов и средств.

Экспертные системы как объект анализа и разработки

Действительно, для непроизводственных процессов системы типичной формой данных являются так называемые экспертные оценки, не поддающиеся «точному измерению», так как являются субъективными.

Соотношение процессов производственного и непроизводственного характера («носителей» данных) указывает на то, что СМК относятся к категории слабоструктурированных предметных областей, где качественные, нечеткие факторы имеют тенденцию доминировать.

Для таких предметных областей характерны:

•искусственно сформированное факторное пространство, как правило, большой размерности;

•использование данных, представленных в информативно бедных шкалах (номинальных и ранговых), что снижает достоверность их оценки по сравнению с измерением количественных показателей;

•противоречивость данных, являющаяся следствием априорной неполноты исходной информации, непредсказуемой изменяемости внешней среды и т.п.

В теории принятия решений структура данных о предметной области определяет выбор методов получения эффективных управляющих решений.

Переход от хорошо структурированных к слабоструктурированным предметным областям неизбежно приводит к необходимости отказа от строгих аналитических методов и перехода к нестрогим методам, например, принятию решений по прецедентности или с использованием продукционных правил типа «если, ... то». С этих позиций функции системы сбора и анализа данных о качестве непроизводственных процессов, особенно на верхних уровнях иерархии, трудно отделить от функций системы поддержки принятия решений [1, 3]. С позиций разработки их принято рассматривать как единую так называемую экспертную систему.

Одной из главных задач построения эффективных экспертных систем, которую надо решить в первую очередь, является задача построения ядра системы - модели функции потерь качества для предметной области - бизнес-процесса:

у = x2..xm, ■■■апX (1)

где У - оцениваемый показатель результативности продукции или процесса (показатель качества); хь х2 ...хт - комплексные и элементарные факторы, влияющие на показатель качества У, зарегистрированные на выходах дочерних процессов (более низкого уровня иерархии); / -функция связи, отражающая структуру взаимодействия дочерних процессов; аь а2, ...ап - параметры функции связи, подлежащие определению.

С позиций задач моделирования данных для поддержки принятия управленческих решений интерес представляет следующая классификация моделей (1):

•модели, в которых параметры аь а2, ...ап определяются постфактум, т.е. по результатам экспертного оценивания показателя результативности У при различных сочетаниях значений

ХЬ х2 . • • хт ;

•модели, в которых параметры аь а2, ...ап определяются непосредственно, например экспертным оцениванием.

К первой группе относятся регрессионные модели различного типа, ко второй группе -модели, построенные методами квалиметрии.

Моделирование экспертных данных обычно ассоциируется с линейным характером ядра экспертной системы. Для линейного случая функции (1) :

Y = aj • xj + a2 • Х2 +... + am • xm , (2)

методы квалиметрии значительно эффективнее, нежели методы регрессионного анализа. Причем в пользу этого утверждения свидетельствуют две основные причины.

Причина 1 - затраты на организацию и сбор данных (количество экспериментов). Построение регрессионной модели (2) предполагает применение теории планирования эксперимента. План эксперимента представляет собой упорядоченное количество строк таблицы, отражающих различные сочетания значений факторов xi, x2 ...xm, для каждого из которых следует оценить Y. Например, для плана полнофакторного эксперимента, предполагающего, что однофакторные зависимости монотонны и каждый фактор варьируется на двух уровнях ( max min

xi , xi ), количество экспериментов, необходимых для получения функции связи, будет

2 m

, где m - размерность пространства факторов. Очевидно, что объем массива данных, необходимый для целей обеспечения приемлемой точности функции связи, резко возрастает с увеличением количества факторов m.

В то же время построение модели (2) методами квалиметрии предполагает реализацию в общем случае только m однофакторных экспериментов по оцениванию коэффициентов весомости а1, а2, ... am.

Причина 2 - точность оценивания параметров модели. План эксперимента предполагает, что эксперт как «регистрирующее устройство» оценивает значение показателя качества

Y продукции и (или) процесса в текущей ситуации, характеризуемой m факторами, каждый из которых принимает определенное значение. Однако известно, что при числе одновременно учитываемых факторов m > 7 (реально m > 5) эксперт не в состоянии адекватно оценить результат Y.

В то же время квалиметрический подход предлагает эксперту значительно более комфортные условия - оценить теми или иными методами коэффициенты влияния (весомости) а1, а2, ...am модели (2). Очевидно, что в последнем случае точность (значимость) оценок ah а2, ...am, а следовательно, и адекватность модели при прочих равных условиях будут выше.

Таким образом, для экспертных систем, оперирующих большим количеством факторов, представленных экспертными оценками, методы квалиметрии для линейного случая функции (2) оптимальны.

Однако практика построения экспертных систем в рамках современных СМК показывает, что мы, как правило, сталкиваемся с нелинейным характером функции связи (1).

Для нелинейного случая методы квалиметрии несостоятельны. Что остается? Остается вернуться к регрессионной концепции модели функции связи (1).

Для обеспечения приемлемости регрессионной концепции модели функции связи (1) была сформулирована задача «минимизации потерь качества» экспертной системы. Структура решения этой задачи для ядра системы -априори нелинейной регрессионной модели функцией связи (1) - с позиций системного подхода представлена на рисунке 1.

Системный подход предполагает, что формально качеством процесса можно управлять двумя путями: 1)) через структуру самого процесса, 2) через качество продукции или информации, преобразуемых в рамках процесса.

Источники «потерь качества» экспертной системы (ядро системы - функция связи

Источники потерь, связанные со структурой процесса сбора экспертных данных

Источники потерь, связанные с ресурсами экспертной системы (элементами функции связи)

I.

8 л н

8 8

8 8 и Е

й 8

со а

8 <ц

8 8

й о

и И

а со

О «

й 8

и 8

8 <ц

Ч п

О

н и

<ц О

2 а 8

1

о 1-

о в

Ё <ц

а Й а о

и

й н в

я я

а

<ц

я

^ о

& и р ^

о

со

О Щ

а а л с

8 «

о а 8

Я

О 1-

о

о 1-

о

я _ а я о л

^ н ^ а И Й

О сЗ 5

е^в

н я о

13

л

я н а

а <и С с

8 2 и л

а 8

8

Ч св

^ й

3 о

й о л

е ё

о

и о в

<ц

в о

1

Факторы

X], х2 ... Хт

«

8 « Н О

сЗНО «88 8 а Ч ЯИР

£ 8 8

и

8 «

О '

о ю О

§ |

: о

-Ч 8

¡Г О

н 3

8 ^

О со

а 8

О 13

8 «

о а 8

X И

О &

О . §

6 -в1

1

Функция связи /

Рисунок 1 - Системный подход к формированию ядра корректной экспертной системы

По аналогии с данным тезисом определены два направления совершенствования ядра экспертной системы СМК. В контексте решаемой задачи эти направления сформулированы как две группы источников потерь качества экспертной системы (рисунок 1).

Анализ первой группы источников потерь предполагает получение ответов на следующие вопросы:

1. В каких точках факторного пространства должен быть поставлен эксперимент по оцениванию 7?

2. Как будет организован эксперимент по оцениванию 7 в каждой ситуации (конкретной точке факторного пространства{хь х2 ...хт})?

3. По каким правилам (ограничениям) будет оценивать эксперт значение показателя качества 7 в каждой ситуации?

Технология организации сбора данных экспериментальными методами имеет научную основу - теорию планирования эксперимента [2]. В основе решения задачи корректного заполнения факторного пространства на множестве {хь х2 ...хт} лежит концепция оптимальности планов эксперимента. В теории планирования эксперимента различные критерии оптимальности планов используются как механизм управления точностью оценки отклика 7. Например, организация эксперимента в соответствии с D - оптимальным планом предполагает, что модель (1), полученная в результате обработки полученных данных, гарантированно может прогнозировать оценку отклика 7 с известной, постоянной для всех точек факторного пространства дисперсией. Подобными свойствами обладают только планы активного эксперимента [2].

Следует иметь в виду, что в случае неуправляемого (пассивного) сбора данных точность и достоверность прогноза регрессионной модели (1) в различных точках факторного пространства непредсказуемы и поэтому необходимы дополнительные теоретические и (или) экспериментальные исследования по оценке этой методической составляющей неопределенности отклика 7.

Как уже отмечалось, особенностью эксперимента, в котором участвуют только экспертные данные, точность экспертной оценки отклика 7 падает с ростом количества одновременно учитываемых факторов, и при числе факторов т > (5.7) эксперт уже не в состоянии адекватно оценить результат 7. Основопо-

ложником метода анализа иерархий Т. Саати установлено, что эксперту гораздо легче на каждом шагу сравнивать только два объекта [3]. Организация эксперимента (опроса) в виде попарного сравнения влияющих факторов, получившего название метода парных сравнений, максимально снижает «погрешность» оператора как вклад в погрешность ядра модели экспертной системы (1).

Рационально для корректной реализации регрессионной концепции модели функции связи (1) экспертной системы организовать эксперимент по аналогии с методом парных сравнений, т.е. формировать строку плана эксперимента (таблица 1) только из двух факторов {х,, х} в предположении, что в настоящий момент только эти два фактора представляют модель оценивания 7.

Однако практика организации эксперимента по такой схеме показывает, что эксперт в каждом случае становится заложником «эффекта избыточности информации». Оценивая значение отклика 7 в каждой точке факторного пространства только по двум факторам {хг-, х;}, эксперт склонен невольно учитывать остальные (т - 2) влияющие факторы, которые создают избыточный информационный фон, существенно влияющий на мнение эксперта.

Установлено, например, что дисперсия оценок k экспертами отклика 7 по двум сильно влияющим факторам из массива т {хь х2 ...хт} значительно меньше, чем дисперсия оценок отклика 7 по двум слабо влияющим факторам из того же массива. Данный факт свидетельствует в пользу правомочности такой аналогии.

Для снижения данной «погрешности» оператора и ее вклада в погрешность модели ядра экспертной системы (1) следует определить пошаговый алгоритм оценивания 7, включающий комплекс правил ограничительного типа, минимизирующий влияние шума - остальных факторов, а также согласующих шкалы оценок факторов и отклика 7.

Анализ второй группы источников потерь (рисунок 1) предполагает получение ответов на следующие вопросы:

1. Как обеспечить уверенность в том, что множество факторов i = 1. т отвечает критерию необходимости и достаточности?

2. Каково влияние шкалирования факторов х, на оцениваемый показатель качества 7?

3. Какой тип аналитической функции связи / наиболее рационален?

В системном анализе как методологии решения проблем, основанной на концепции систем, задача выделения «всех элементов, связанных с данной проблемой», является центральной, так как определяет «целостность» системы [1, 4]. Критерием «целостности» является «участие» выявленных факторов в процессе получения результата системы. Понятие процесса с этих позиций является центральным понятием системного анализа.

Установлено, что основным условием достоверности и прослеживаемости оценки показателя качества У процесса является корректно построенная его функциональная модель, описывающая состав, последовательность, взаимодействия и взаимосвязи подпроцессов и задействованных ресурсов. При этом рационально для целей моделирования структуры процесса использовать стандарт функционального моделирования IDEF0, определяющий ресурсное наполнение процесса [1, 4]. В таком виде функциональная модель процесса представляет собой упорядоченное множество источников влияющих факторов - ресурсов и функций. Непосредственно сами факторы в рамках каждого источника рационально в данном случае идентифицировать, используя экспертные методы [3]. В совокупности такой подход представляет собой доказательную базу того, что все множество потенциально влияющих факторов выявлено.

Рациональность множества оцениваемых факторов модели (1) обеспечивается путем решения двух задач: обеспечения полноты и неизбыточности множества факторов.

Первая задача обеспечения полноты множества факторов ставит своей целью получение информации, адекватной действительному состоянию процесса. Вторая задача обеспечения неизбыточности множества факторов ставит своей целью повышение эффективности экспертной системы и собственно процесса принятия решений.

Для решения этих задач рационально использовать экспертные методы. В обоих случаях критерием формирования рационального массива факторов является оценка риска неадекватности модели (1). Для оценки риска можно рекомендовать широко используемый подход «анализ причин и последствий отказов» ^МЕА-анализ) [4].

Проблема шкалирования факторов связана с точностью воспроизведения экспертом линг-

вистического содержания каждого фактора на конкретном уровне через его количественную оценку. Традиционно классическая квалимет-рия предполагает, что ответы эксперта измеряются в номинальной или порядковой шкале. При этом ответы эксперта являются ранжировками, результатами парных сравнений или другими объектами нечисловой природы, но не числами. Очевидно, что попытки обработки мнений экспертов, выраженных таким образом, с помощью методов прикладной статистики являются несостоятельными, а выводы, полученные в результате обработки такого рода данных, могут не иметь отношения к реальности.

Возврат к регрессионной концепции модели функции связи (1) экспертной системы вызывает необходимость повышения информативности шкал оценивания как факторов {х1, х2 ...х,„}, так и показателя качества У, по крайней мере до уровня шкалы интервалов. Следует иметь в виду, что повышение информативности шкалы фактора вызывает увеличение неопределенности оценки (дисперсии). В соответствии с этим следует разработать процедуру корректного перехода в общем случае от шкалы номиналов через шкалу рангов к шкале интервалов в условиях контролируемого роста неопределенности оценки, используя, например, метод функций желательности.

Очевидно, что процедура входного шкалирования должна быть увязана с выбором функции связи /, так как не все методы математического анализа приемлемы для данных, представленных шкалой интервалов. При этом особое место независимо от выбранного метода должна занимать процедура статистического обоснования адекватности модели функции связи f. Установлено, что функция, корректно обеспечивающая минимальную иерархию экспертных данных, есть функция распределения случайной величины. Сформулирована гипотеза о эквивалентном преобразовании экспертных оценок {х1, х2 . ..хт} в случайные величины {и1, и2 ...ит} со значениями функции желательности F(u1), заданными на промежутке [0, 1] значениями интегральной функцией равномерного распределения.

Тогда значение показателя качества У можно представить как интегральную функцию совместного распределения У = F(ul, и2, ... ,ит) = = Р(Х1 < х1, Х2< х2,..., Хт< хт) с одномерными маргинальными функциями распределения, вид

которой определяется конкретной задачей. Установлено, что построение оценок маргинальных распределений при большом количестве факторов и определение вида функции связи представляет собой нетривиальную задачу.

Выводы

В результате комплексного анализа функционирования СМК с позиций принципа «управление, основанное на фактах» предложена концепция корректной экспертной системы СМК организации (бизнес-процесса), позволяющая минимизировать неочевидные, но весьма существенные погрешности оценивания показателей результативности и эффективности.

Предлагаемая концепция доказательна, так как основана на системном подходе, универсальна, так как ориентирована на наименее информативный тип данных (экспертные оценки), имеет большой потенциал для практического применения в организациях любого профиля. Подход апробирован в ходе создания экспертной системы менеджмента процесса разработки

государственных стандартов по критерию допустимого риска [4].

Список цитируемых источников

1. Серенков, П. С. Концепция инженерной составляющей систем менеджмента качества как организационно-технической основы их создания и совершенствования / П. С. Серенков, В. Л. Соломахо // Методы менеджмента качества. - 2008. - № 6. - С. 16-21.

2. Монтгомери, О. К. Планирование эксперимента и анализ данных / О. К. Монтгомери; пер. с англ. - Ленинград : Судостроение, 1980. - 382 с.

3. Муратова, Е. А. Алгоритм формирования знаний для экспертных систем в слабоструктурированных предметных областях : дис. канд. техн. наук: 05.13.01 / Е. А. Муратова. - Томск, 2004. - 182 с.

4. Серенков, П. Концепщя управлшня системою техшчного нормування i стандартизацп на принципах процессного тдходу з викори-станням моделi менеджменту ризишв / П.Серенков, В. Гуревич // Стандартизащя, сертифтащя, яюсть. - 2007. - № 1. - С. 18-24.

Serenkov P. S., Romanchak V. M., Gurevich V. L. Error minimization of estimate quality by expert systems

The complex analysis of information gathering and analyzing system in the context of quality management system (QMS) is given for the case when quality data are presented in the form of expert judgments. The concept of the correct expert QM system is proposed. This concept helps to minimize unobvious but rather essential errors of effectiveness and efficiency indices estimation.

Поступила в редакцию 08.06.2010