CC BY
59
П.С. Серенков, В.М. Романчак
УДК 621.791
Качество как субъективно измеряемая величина
П.С. Серенков, В.М. Романчак
Белорусский национальный технический университет, пр-т Независимости, 65, г. Минск 220013, Беларусь
Поступила 22.12.2018 Принята к печати 26.02.2019
Идентифицирована проблема обеспечения достоверности результатов измерений характеристик качества как субъективных величин и их корректного применения в логико-математических моделях принятия решений. Целью данной работы являлось повышение достоверности экспертного оценивания единичных характеристик качества процессов, продукции, систем.
Рассмотрены основные методологические подходы к субъективным измерениям, представленным классической, операциональной и репрезентативной теориями измерений. Наиболее приемлемой для целей обеспечения достоверности экспертного оценивания единичных характеристик качества определена репрезентативная теория, предполагающая, что измерить субъективную величину можно только в номинальной или порядковой шкалах. Установлено противоречие: возможности измерения единичных характеристик качества в порядковой шкале не соответствуют потребностям специалистов в области качества, использующих субъективные измерения для решения задач анализа и принятия решений, требующих применения логико-математических моделей; оценки должны быть выражены минимум в шкале интервалов. Обосновано наилучшее решение данной проблемы в использовании шкалы рейтингов, обладающей свойствами как порядковой, так и интервальной шкал.
В рамках проекта развития экспертных методов измерения качества сформулированы два фундаментальных элемента методологии субъективных измерений субъективных величин с позиций репрезентативной теории: 1) шкала рейтингов как модифицированная шкала рангов, 2) метод организации процесса измерения как метод альтернативного оценивания предпочтений эксперта.
Представлена аксиоматика шкалы рейтингов, обладающей свойствами как порядковой, так и интервальной шкал. Предложен алгоритм реализации метода альтернативного оценивания предпочтений эксперта, в основу которого положен специальный двухэтапный план альтернативного опроса эксперта и статистический критерий устойчивости предпочтений. В совокупности методология субъективных измерений субъективных величин обеспечивает корректность формирования шкалы рейтингов и преобразования значений характеристик качества в виде рейтингов в соответствующие значения величин, выраженных как минимум в шкале интервалов.
Ключевые слова: субъективные измерения, субъективные величины, шкала рейтингов, метод альтернатив.
DOI: 10.21122/2220-9506-2019-10-1-99-110
Адрес для переписки: Address for correspondence:
П.С. Серенков P.S. Serenkov
Белорусский национальный технический университет, Belarusian National Technical University,
пр-т Независимости, 65, г. Минск 220013, Беларусь Nezavisimosty Ave., 65, Minsk 220013, Belarus
e-mail: pavelserenkov@bntu.by e-mail: pavelserenkov@bntu.by
Для цитирования: For citation:
П.С. Серенков, В.М. Романчак. P.S. Serenkov, V.M. Romanchak.
Качество как субъективно измеряемая величина. [Quality as Subjectively Measured Value].
Приборы и методы измерений. Devices and Methods of Measurements.
2019. - Т. 10, № 1. - С. 99-110. 2019, vol. 10, no. 1, pp. 99-110 (in Russian).
DOI: 10.21122/2220-9506-2019-10-1-99-110 DOI: 10.21122/2220-9506-2019-10-1-99-110
П.С. Серенков, В.М. Романчак
Quality as Subjectively Measured Value
P.S. Serenkov, V.M. Romanchak
Belarusian National Technical University, Nezavisimosty Ave., 65, Minsk 220013, Belarus
Received 22.12.2018
Accepted for publication 26.02.2019
Abstract
The paper identifies the problem of ensuring the reliability of measurement results of quality characteristics as subjective values and their correct application in logical and mathematical models of making decisions. The purpose of this study is to increase the reliability of expert evaluation of individual characteristics of the quality of processes, products, systems.
The article describes basic methodological approaches to subjective measurements represented by the classical, operational and representational theories of measurement. The most acceptable for the purposes of ensuring the reliability of the expert evaluation of the single quality characteristics a representative theory, suggesting that the subjective value can be measured only in nominal or ordinal scales was determined. The contradiction is established: the possibility of measuring of single quality characteristics in the ordinal scale does not meet the needs of specialists in the field of quality, whouse subjective measurements to solve problems of analysis and decision-making, requiring the use of logical and mathematical models; in that way estimates should be expressed at least in the interval scale. The article substantiates the best solution of this problem by use of the rating scale which has properties of both ordinal and interval scales.
Within the framework of the expert methods of quality measurements development two fundamental elements of the methodology of subjective measurements of subjective values from the standpoint of representative theory are formulated: 1) the rating scale as a modified scale of ranks, 2) the method of organization of the measurement process as a method of alternative assessment of expert preferences.
Much attention is given to axiomatic of the rating scale having properties of both ordinal and interval scales. The algorithm of implementation of alternative assessment's of expert preferences method which is based on a special two-stage plan of alternative expert survey and statistical criterion of preferences' stability was suggested. In conjunction, the methodologies of subjective measurements of subjective values ensure the correctness of the rating scale's formation and conversion of the values of quality characteristics in the form of ratings in the corresponding values expressed at least in the scale of intervals.
Keywords: subjective measurements, subjective values, rating scale, method of alternatives.
DOI: 10.21122/2220-9506-2019-10-1-99-110
Адрес для переписки: Address for correspondence:
П.С. Серенков P.S. Serenkov
Белорусский национальный технический университет, Belarusian National Technical University,
пр-т Независимости, 65, г. Минск 220013, Беларусь Nezavisimosty Ave., 65, Minsk 220013, Belarus
e-mail: pavelserenkov@bntu.by e-mail: pavelserenkov@bntu.by
Для цитирования: For citation:
П.С. Серенков, В.М. Романчак. P.S. Serenkov, V.M. Romanchak.
Качество как субъективно измеряемая величина. [Quality as Subjectively Measured Value].
Приборы и методы измерений. Devices and Methods of Measurements.
2019. - Т. 10, № 1. - С. 99-110. 2019, vol. 10, no. 1, pp. 99-110 (in Russian).
DOI: 10.21122/2220-9506-2019-10-1-99-110 DOI: 10.21122/2220-9506-2019-10-1-99-110
Введение
По определению, качество - это степень, с которой совокупность собственных характеристик продукции (услуги) удовлетворяет требованиям потребителя1. Качество в данной интерпретации является комплексной оценкой - результатом комплексирования оценок единичных характеристик. Исследования в этом направлении направлены главным образом на разработку корректных моделей комплексирования. Например, квалиметрия, как научное направление, рассматривает главным образом задачи и развивает методы выбора и структурирования характеристик качества, а также модели их комплек-сирования [1]. В то же время методы измерений единичных характеристик рассматриваются как устоявшиеся и по умолчанию сводятся к двум базовым - балльные оценки и парные сравнения по методу Саати [2].
В данной статье мы рассмотрим проблему недостижения качества, связанную с недостоверностью измерения (оценивания) единичных характеристик.
Из определения качества следует, что «степень удовлетворенности» - очевидно субъективная оценка потребителя. Здесь кроется фатальная ошибка, свойственная подавляющему большинству методов измерения [3]. Даже если «совокупность собственных характеристик продукции» представлена физическими величинами, значения которых получены объективно в результате измерений (испытаний) с помощью технических средств, субъективное восприятие потребителем качества и объективное его значение связаны в общем случае нелинейно. Причем вид этой связи априори неизвестен и в каждом случае индивидуален.
Пример. По результатам маркетинговых исследований установлено, что повышение точности средства измерения в 1,2 раза по сравнению с базовым вариантом приведет к повышению спроса (показателя прогнозируемой удовлетворенности) потребителя на продукцию в 2,0 раза. В то же время повышение точности в 2,0 раза вызовет повышение спроса потребителя всего в 2,2 раза.
А между тем потребитель отдает предпочтение той продукции, у которой не технические (физические) характеристики выше,
1 ISO 9000:2015 «Системы менеджмента качества. Основные положения и словарь»
а субъективное восприятие этих характеристик. Следствием предпочтения является принятие решения о финансировании, приобретении, реструктуризации. Очевидны риски некорректного принятия решений на основе недостоверной информации.
Субъективные измерения часто относят к категории так называемых психофизических измерений [4-6]. Базовый случай - субъективное измерение нефизической величины - предмет рассмотрения в данной статье. Это наиболее распространенный случай для практики решения задач анализа и принятия решений в отношении качества. В то же время это наиболее проблемный случай с позиций достоверности результатов и общезначимости применяемых теоретических подходов, методов, инструментов. Целью данной работы являлось повышение достоверности экспертного оценивания единичных характеристик качества процессов, продукции, систем.
Анализ субъективных измерений нефизических величин
Анализ субъективных измерений нефизических величин проведем с позиций проблемы обеспечения достоверности результатов и их использования для решения задач анализа и принятия решений, требующих применения логико-математических моделей.
Современная практика измерений руководствуется тремя основными методологическими подходами, представленными классической, операциональной и репрезентативной теориями измерений.
Фундаментальные различия между теориями связаны с элементами системы измерений или шкалы измерений, типовая структура которой представлена на рисунке 1 [7, 8].
Классическая теория субъективных измерений прежде всего ассоциируется с Фехнером, который утверждал, что измерение является просто «оценкой количества». Единственным отношением объектов эмпирической системы является установление того, сколько раз единица количества того же сорта содержится в нем [4]. При этом результаты измерения всегда являются натуральными числами, из чего следует, что к ним может быть применима любая форма валидного числового вывода [9, 10]. Ограничения на использование алгебраических процедур в числовой системе, связанные с осмысленностью выводов
по результатам измерении, не применимы. Т. е. для этоИ теории все измерения являются
фактически измерениями на одном и том же типе шкалы - шкалы отношении.
Рисунок 1 - Система измерений как шкала Figure 1 - Measurement system as a scale
В настоящее время в субъективных измерениях классическая теория измерений практически целиком вытеснена репрезентативной и операциональной теориями.
Операциональная теория субъективных измерений ассоциируется с Бриджмэном [9, 10], который утверждал, что между эмпирической и числовой системами нет связи. С операциональной точки зрения измерение является просто операцией, которая порождает числа. Числа представляют собой нечто самодостаточное и независимое от представлений о шкалах.
Также как и классическая теория, операциональная теория измерений отвергает всяческие ограничения на использование алгебраических процедур в числовой системе в зависимости от типа шкалы. Это наиболее «либеральная» теория в части признания адекватности отношений объектов эмпирической системы результатам числовых преобразований, а также осмысленности выводов по результатам измерений. Наибольшее распространение теория получила в так называемых психофизических измерениях.
Репрезентативная теория субъективных измерений ассоциируется со Стивенсом [6-11], который сформулировал концепт осмысленности измерения и научного предположения. Суть концепта сводится к достаточно жесткой взаимосвязи отношений объектов эмпирической системы и алгебраических процедур в числовой системе, т. е. Стивенс рассматривает заслуживающее
доверие измерение как приписывание чисел объектам по определенным правилам [7]. При этом различным правилам соответствуют различные типы шкал измерении.
Осмысленным высказыванием считается такое, в котором определенное им отношение отражает отношение в эмпирической структуре. Например, чтобы произведение двух чисел было осмысленным, должно существовать эмпирическое событие, которое соответствует этому произведению. Если такого события нет, произведение является бессмысленным по определению [8].
Для разработки теоретических подходов, методов, инструментов для измерения показателеи качества, как субъективных величин, наиболее приемлема репрезентативная теория как наиболее консервативная в обеспечении достоверности и осмысленности результатов измерении, корректности научных предположении.
В настоящее время репрезентативная теория измерении в достаточнои степени сформировалась, по краинеи мере, в части общих представлении, подходов, методов, аксиоматики. Методически последовательно концепция ре-презентативнои теории измерении представлена Кноррингом [7]. Считается, что система измерений определена, если определены все три ее элемента (см. рисунок 1):
- эмпирическая система (физические объекты, ощущения, суждения, отношения между которыми задаются аксиоматически);
- числовая система, логико-математические отношения в которой задаются аксиоматически;
- функция f гомоморфного отображения эмпирической системы на числовую, причем такая, что по отношениям между числовыми образами можно судить об отношениях между реальными объектами. Иными словами, f - система правил, обеспечивающая адекватность отношений в эмпирической и числовой системах.
Система измерений формирует понятие шкалы измерений. Практикой установлено пять основных типов шкал, различающихся наборами отношений объектов в эмпирической
Типы шкал и их характеристики Types of scales and their characteristics
системе. Более «сильные» шкалы передают большее число отношений в эмпирической системе, т. е. выше их степень информативности. Информативность в логико-математическом выражении удобнее определять функцией отображенияД. С помощью функции отображения каждому i-му объекту эмпирической системы х. приписывается число (числовой образ) у. = Дх). Физические и нефизические величины имеют принципиально различные способы отображения.
Для шкалы каждого типа существует своя группа допустимых преобразований (таблица 1).
Таблица 1/ТаЫе 1
Шкала Scale
Отношения объектов эмпирической системы
Object relations of the empirical system
Функция отображения Display function
Реализации шкалирования
Implementation of scaling
Номинальная Nominal
Ранговая Rank
Отношение эквивалентности Equivalence relation
+ Отношение строгого порядка
+ Strict order relation
Присвоение объектам индивидуальных имен (чисел) Assigning individual names (numbers) to objects
Ранжирование Ranking
Идентификация, классификация, кластеризация, перестановки Identification, classification, clustering, permutations
Порядок следования Sequence
Интервальная Interval
Отношений (пропорциональная)
Relations (proportional)
Абсолютная Absolute
+ Отношение эквивалентности интервалов
+ Equivalence of intervals relation
+ Отношение пропорциональности (эквивалентности отношений) + Proportionality relation (equivalence of relations)
Все возможные отношения
All possible relations
Отображение с точностью до линейного
преобразования Displaying with accuracy up to a linear transformation
v. = ax. + b
• i i
Отображение с точностью до константы
Displaying with accuracy up to constants
v. = ax.
• i i
Отображение как тождественное преобразование Displaying as an equivalent transformation
v. = x.
• 1 1
Изменение размера единицы,
изменение (сдвиг) начала отсчета Changing of unit size, changing (shifting) of the reference point
Изменение размера единицы, зафиксировано начало отсчета (имеется естественный нуль)
Changing of unit size, fixed reference point (there is a natural zero)
Как следует из таблицы 1, последние три шкалы (интервальная, пропорциональная, абсолютная) предполагают наличие «единицы измерений» и функцию отображения f, выраженную в строгой линейной алгебраической форме, т. е. это информационно «сильные» шкалы, их еще называет метрическими. Метрические шкалы - инструмент объективных измерений.
Репрезентативная теория измерений предполагает, что измерить нефизическую величину можно только в номинальной или ранговой шкалах [11]. Низкая информативность порядковой шкалы (номинальную рассматривать далее не будем) обусловлена тем, что «единица измерения величины» отсутствует, строгие алгебраические операции недопустимы (см. таблицу 1). У нефизических величин, которые существуют только в сознании людей, нет размеров - поэтому их нельзя делить или вычитать [11]. Значение нефизической величины можно определить только косвенно.
Налицо противоречие: возможности числовой системы порядковой шкалы не соответствуют потребностям специалистов в области качества, использующих субъективные измерения для решения задач анализа и принятия решений. Т. е. при сборе первичной информации (опросе экспертов) регистрировать оценки (в числовой или иной форме) с приемлемой степенью достоверности возможно максимум в ранговой шкале. А для решения задач анализа и принятия решений, требующих применения логико-математических моделей, оценки должны быть выражены минимум в шкале интервалов.
Наилучшее решение данной проблемы заключается в использовании промежуточных шкал, обладающих свойствами как порядковой, так и интервальной шкал. Подобными свойствами обладают так называемые ассоциативные шкалы, наличие которых эмпирически обосновано в [3]. Ассоциативные шкалы на всем диапазоне измерений позиционируются как порядковые, но на малых участках (в пределах двух соседних рангов) обладают свойствами интервальных шкал. Для данного типа шкал исследуемое свойство объектов оценивается по некоторому другому свойству, измеряемому в метрической шкале. Допустимый вид функции отображения f в этих шкалах -дробно-линейные алгебраические преобразования.
Следует отметить, что задача формализации промежуточных шкал как полноценных систем измерений нефизических величин, обладающих
свойством общезначимости, остается нерешенной до конца. В частности, по причине невозможности указать общий вид допустимых преобразований в аналитической форме.
Основы методологии субъективных измерений нефизических величин
В рамках проекта развития экспертных методов измерения качества нами предпринята попытка создания методологии субъективных измерений нефизических величин и представления их отношений в шкале интервалов, которая обеспечивает логико-математическую корректность алгоритма измерений и применяемых методов обработки и интерпретации информации, что, в конечном счете, позволяет говорить об общезначимости сформулированной системы измерений.
В основу методологии положены следующие фундаментальные элементы:
1. Промежуточная шкала, обладающая свойствами как неметрической (порядковой), так и метрической (интервальной) шкал. Отличительная особенность - шкала свойств объектов эмпирической системы представляет собой ранговую шкалу с дополнительными отношениями между объектами эмпирической системы, которую мы назвали рейтинговой. Рейтинг - более информативная оценка свойств объектов категории «ранг +».
2. Метод альтернативных форм как метод организации процесса субъективных измерений, с одной стороны, позволяющий корректно измерять объекты эмпирической системы в шкале рейтингов, с другой стороны, обеспечивающий надежность экспертных оценок.
3. Аксиоматика функции отображения, теоретически обосновывающая корректность преобразования отношений свойств объектов эмпирической системы, выраженных в рейтинговой шкале, в значения величин, характеризующих эти свойства, выраженные в метрической (интервальной) шкале. Аксиоматика обеспечивает свойство общезначимости методологии для широкого круга величин и решаемых задач.
Рейтинговая шкала свойств объектов эмпирической системы
В отличие от физических величин, измеряемых в метрических шкалах, для нефизических величин единственным достоверным способом
измерения является оценка их проявления по шкале рангов [11]. Значения нефизической величины нельзя вычитать или делить [11]. Это означает, что способ измерения нефизической величины не определен, получить значение нефизической величины можно косвенно. Для этого, на наш взгляд, следует ввести понятие «последовательность одинаково отличающихся объектов». Это означает, что эксперт может построить или указать последовательность объектов, которые одинаково отличаются друг от друга. Этой потенциальной возможности эксперта есть многочисленные подтверждения [11, 12].
Будем считать, что если объекты кажутся эксперту одинаково отличающимися, то результат сравнения последовательных пар должен быть постоянной величиной.
Аксиоматически введем основные определения в отношении объектов ю, i = 1, 2, ..., n, оцениваемая характеристика качества которых x. меняется равномерно в зависимости от порядкового номера объекта.
Определение 1. Если ю ю2, ..., ю. - последовательность одинаково отличающихся объектов, то результат сравнения последовательных пар объектов R (i, i+1) является постоянной величиной, R(i, i+1) = C, где C = const.
Определение 2. Если ю1, ю2, ..., ю. - последовательность одинаково отличающихся объектов, то порядковый номер i будем называть значением рейтинга.
Одинаково отличающиеся объекты могут служить опорными точками для оценки значения величины произвольного объекта.
Аксиоматика функции отображения
Очевидно, что для предложенной рейтинговой шкалы функция отображения также должна обладать специальной аксиоматикой в силу необходимости обеспечения адекватности преобразования оценок в виде рейтингов в значения величин, характеризующих отношения свойств объектов эмпирической системы, выраженные в интервальной шкале.
Приведем основные теоретические положения модели системы измерений субъективных величин последовательности одинаково отличающихся объектов как механизма преобразования измерительной информации. Критерий - общезначимость модели для широкого круга величин и решаемых задач.
Определение 3. Из определения 1 следует, что разности или отношения значений величин х. объектов ю. постоянны, поэтому:
x, ,-x. = a,
i+1 j '
или -i±1 = b, x,.
(1) (2)
1 = 1, 2, 3, ...; а и Ь - некоторые постоянные.
Определение 4. Свойство результатов сравнения значений величин, определенное на множестве последовательных пар (х. ; х), можно продолжить естественным образом на множество произвольных пар (х. ; х):
x,-Xj = a (i-j),
или
- = V
(3)
(4)
Определение 5. Результат сравнения одинаково отличающихся объектов R(i, у) - это числовая функция R(i, у), определенная на множестве пар (1, у), значение которой пропорционально разности рейтингов и не зависит от способа сравнения. Выражения (3) и (4) можно записать, используя функцию R(i, у):
R(i, У) = т(1-у), (5)
х. - ху или
где ^ у) = | ( ) . ' (6)
1т(х.)- 1п(ху ), х1 > 0, ху > 0
где т - некоторое число, которое назовем масштабом шкалы; 1 и у - значения рейтинга.
Теперь мы можем сформулировать аксиому нефизического измерения ранжированных величин.
Аксиома 1. Результат сравнения R(i, ]') для нефизической величины X не зависит от способа сравнения.
Аксиома 1 отражает особенность измерения нефизических величин. Нефизическая величина существует только в сознании людей. У нее нет измеряемых размеров и, соответственно, нельзя определить способ сравнения. Эксперт может только построить последовательность одинаково отличающихся объектов и определить ранг (рейтинг) объекта.
Аксиома 2. Значение измеряемой нефизической величины X зависит от способа измерения (сравнения).
Аксиома 2 отражает особенность неаддитивного измерения величины. Первичным для измерения нефизических величин является рейтинг,
x
x
значения величины определяются на основании рейтинга. Тем самым мы отделяем процесс измерения от выбора шкалы измерения.
В качестве значения величины х. объекта ю ,
г г '
г = 1, 2, ..., п, для случая неаддитивных величин можно, в конце концов, взять меру (рейтинг) объекта. Например, удобно принять, что Я(г, г+1) = 1, г = 1, 2, 3, тогда Я(г, /) = г-/; г, / = 1, 2, 3, ..., п. Однако, как значение характеристики качества, рейтинг - малоинформативная информация. Но это не единственный способ сравнивать значения величины.
Если эксперт правильно оценил рейтинг оцениваемой величины, то, выбрав способ сравнения (3) или (4), можно с помощью (6) найти значения величины X. Функция (6) соответствует двум различных способам сравнения значений величин. Причем значения величины X для первого и второго способа сравнения будут не совпадать. Такой результат эксперимента противоречит привычной точки зрения. Считается, что значения величины не должны зависеть от способа сравнения. Здесь нет логического противоречия, поскольку размер величины в данном случае - это следствие математической обработки. Это числа, которые исследователь для удобства приписывает объектам.
Поэтому нельзя утверждать, что выбран объективно «лучший» способ сравнения, можно говорить о том, что выбран субъективно более «удобный» способ.
Метод альтернативных форм как метод организации процесса субъективных измерений
Ключевым моментом методологии субъективных измерений нефизических величин выступает шкала рейтингов. Дополнительным свойством шкалы является равенство интервалов между двумя любыми соседними рейтингами. Очевидно, что рейтинговая шкала уникальна для каждого конкретного случая измерений величин х объектов ю .
г г
Для организации процесса измерений отношений объектов ю. в виде оценок их рейтингов необходимо решить две задачи:
1. По предъявленному для измерений множеству объектов юг , обладающих величинами х. , построить шкалу рейтингов (рангов с гарантированно одинаковыми расстояниями между соседними рангами).
2. Разработать методику измерения как экспертного оценивания неизвестной величины х объекта ю в виде рейтинга - числа, с помощью которого посредством функции отражения Д будет в дальнейшем определена оценка значения величины х в шкале интервалов, пригодная для использования логико-математических моделей оценивания качества продукции, процессов, систем.
Дополнительно установлено, что в процессе субъективных измерений нефизических величин имеют место высокие риски получения недостоверной информации [12].
Решением поставленных задач является разработанный нами специальный метод организации процесса измерения - метод альтернативного оценивания предпочтений эксперта, основанный на методе оценивания разности. Мы будем называть его метод альтернатив [11, 12].
Приведем алгоритм реализации метода:
1. Формируем вербально цифровую шкалу парного оценивания предпочтительности объектов ю1, ю2, ..., юп между собой относительно присущих им неизвестных величин х х ..., хп, в которой интервалы между показателями соседних уровней предпочтительности считаются одинаковыми.
Нами предлагается вариант половинного деления интервальной шкалы - обобщенная дихотомическая шкала сравнительной оценки предпочтительности двух объектов. Один из вариантов реализации шкалы - шкала Саати [2].
Число интервалов шкалы выбирается из ряда 1, 21, 22, 23, ..., 2п. Преимущество такой шкалы состоит в адаптивном выборе количества уровней, исходя из сложности решаемой задачи и квалификации экспертов.
Интервальная шкала допускает положительные линейные преобразования: g(x) = ах + Ь(а > 0).
2. Объекты ю1, ю2, ... , юп предварительно ранжируем по степени предпочтительности. Чтобы определить рейтинги объектов ю1, ю2, ... , юп , сравниваем их попарно в соответствии с двумя альтернативными планами проведения опроса эксперта. В соответствии с выбранной в п.1 шкалой определяем для каждого случая оценку предпочтительности объектов между собой как разность их рейтингов Я(г, ]).
План А - «каждый с одним». Оцениваются значения Я(р, /), / Ф р; / = 1, 2, ., п, при этом величины х/ объектов ю/ сравниваются с одной и той же величиной хр объекта юр , р е {1, 2, ..., п}:
^ j) = xp - x , j Ф P.
(7)
План В - «каждый с предыдущим». Оцениваются значения R(i,у), 1 = 1, 2, ..., п - 1;у = 1 + 1, при этом сравниваются последовательно пары идущих друг за другом величин х. и х объектов
ю и ю ,, соответственно:
j j+1
(8)
R(i, 1 + 1) = х.- х , 1 = 1, 2, ..., п - 1.
3. На основании альтернативных форм (7) и (8) составляем соответствующие две альтернативные системы линейных уравнений:
^у) = т(р -у) = гАр - гА] ,у ф р;у = 1, ^ .. п; (9)
R(i, j + 1) = m(i - (j + 1)) = в - г^^ i = 1, 2, ..., n - 1; p е {1, 2, ..., n},
где т - масштаб шкалы; гАр, гАу - оценки рейтингов объектов ю ю2, ..., юп из выражения (9); г , альтернативные оценки рейтингов тех же
6. Используя значения рейтингов г.. теперь можно определить численные значения величин объектов ю,, т , ..., ю в шкале интер-
1' 2' ' п 1'2' ' п г
валов.
В прикладных задачах оценки в шкале интервалов может быть не достаточно. В этом случае бывает целесообразно уровень информативности шкалы интервалов, в которой мы получили оценку величины, повысить до уровня шкалы отношений. Метод альтернатив позволяет это сделать корректно. Покажем это на примере.
Пример. Служба качества организации разрабатывает модель оценивания результативности системы менеджмента качества (СМК) вида:
(10) Y = C x + C2y + ... + Cz ,
1 2 ^ n '
(12)
В,(1+1)
объектов из выражения (10).
4. Решаем альтернативные системы уравнений (9) и (10) и для каждой находим соответственно альтернативные оценки рейтингов гА и
гв,. , 1 = 1, п.
5. Сопоставляем альтернативные значения
рейтингов гА и г , 1 = 1, ..., п и принимаем или отвергаем гипотезу о надежности измерения.
Для этого сформулируем эмпирический критерий К1 надежности оценок рейтинга, используя альтернативные системы сбора данных.
Критерий К Оценки рейтинга надежны, если решения альтернативных систем (9) и (10) связаны статистически значимой, адекватной, возрастающей линейной зависимостью:
гВ,. = а1гА,1 + а2 + ^ (11)
где 1 = 1, ..., п; а1, а2 - неизвестные постоянные, а1 ф 0; е - случайная ошибка с математическим ожиданием Е(е) = 0; гА. и гв. - значения рейтинга (решение альтернативных систем уравнений (9) и (10)).
В качестве критерия линейности логично принять коэффициент детерминации регрессионной модели R2. Достаточно высокий коэффициент детерминации R2 позволяет сделать вывод об устойчивости предпочтений экспертов и доверии к экспертным оценкам [12].
После проверки оценивания предпочтений экспертов по критерию К1 в качестве верифицированных значений рейтингов г. можно принять среднее значение из гА . и гв. .
где У - оценка результативности СМК; х, у, ..., г - частные показатели результативности; С. -коэффициенты весомости соответствующих частных показателей.
Показатель х - средний уровень компетентности персонала. Оцениванию качества подлежит множество однородных объектов ю. (сотрудники организации ю1, ю2, ..., юМ , обладающих характеристиками качества х. соответственно х1, х ..., хм). Очевидно, что х - субъективная величина, измеряемая субъективно (оцениваемая экспертно). Анализ требуемых возможных отношений объектов (компетентности сотрудников) предполагает, что оценка х должна быть определена в метрической шкале (как минимум в шкале интервалов), так как:
а) оценка х определяется как среднее арифметическое:
x = — X x,
M i=1,M J
(13)
где х. - оценка компетентности конкретного сотрудника; М - число оцениваемых сотрудников;
б) оценка х участвует в полиноминальной модели первого порядка (12).
Сформируем модель оценивания показателя х на основе метода альтернатив. Обозначим ю1, ю2, ., ю6 - группу из шести реальных сотрудников, компетентность которых необходимо оценить. Введем еще двух виртуальных сотрудников ю0 и ю7 причем таких, что ю0 - сотрудник, компетентность которого х0 соответствует минимально допустимым требованиям, ю7 - сотрудник, компетентность которого х7 полностью соответствует требованиям. Для попарного оценивания предпочтительности объектов ю0, ю2, ., ю7 между собой
воспользуемся вербально цифровой шкалой парных сравнений аналогичной Саати [2].
Результаты реализации алгоритма метода альтернатив представлены в таблице 2, где гА .- нормализованные значения рейтинга
для плана А; гв . - нормализованные значения рейтинга для плана В; г. - среднее значение рейтинга, рассчитанное по формуле:
r = (r
i v у
+ r
A,i B,i
)/2.
Результаты оценивания рейтинга компетентности персонала Results of the evaluation of the rating of staff competence
Таблица 2/Table 2
Результаты опроса эксперта методом альтернатив
Results of the expert survey by the method of alternatives
Результаты расчета рейтинга сотрудников и значений их компетентности
Results of calculating the rating of employees and the values of their competence
План A R(p, j) = Х - Х., План B R(i+1, i) =x.+1 - х.
Plan A P = 7 Plan B ю г r, A,i r B,i r x.
Х7 - Х6 0 Х7 - Х6 0 Ю0 0,00 0,00 0,00 4,0
Х7 - Х5 0 Х6 - Х5 0 ю1 0,13 0,11 0,12 4,7
Х7 - Х4 1 Х5 - Х4 1 ю2 0,50 0,33 0,42 6,5
Ю3 0,75 0,67 0,71 8,3
Х7 - Х3 2 Х4 - Х3 2
Ю4 Ю5 0,88 0,89 0,88 9,3
Х7 - Х2 4 Х3 - Х2 3 1,00 1,00 1,00 10,0
Х7 - Х1 7 Х2 - Х1 2 Ю6 1,00 1,00 1,00 10,0
Х7 - Х0 8 Х1 - Х0 1 Ю7 1,00 1,00 1,00 10,0
На рисунке 2 представлена графическая интерпретация критерия К1 надежности оценок рейтинга методом альтернатив.
Рисунок 2 - Графическая интерпретация критерия K надежности оценок рейтинга методом альтернатив (регрессия значений рейтингов rB. на rA.)
Figure 2 - Graphical interpretation of the criterion K of rating assessment reliability by the method of alternatives (regression of rating values r. to rAi)
Визуальный анализ графика показывает, что эмпирические данные (точки) сгруппированы вблизи линии регрессии гВ = -0,0476 + 1,0249 rA , причем значения статистики Фишера (F(1,4) = 272,32) и /»-уровня (p < 0,00001) подтверждают гипотезу об адекватности регрессионной
модели. Кроме того коэффициент детерминации Я2 показывает, что на 97,4 % линейная регрессия объясняет зависимость между значениями рейтинга гВ и гА. Делаем вывод, что измерение рейтинга достоверно, эксперт уверенно оценивал компетентность сотрудников.
Теперь мы можем рассчитать в шкале отношений значения величины «компетентность» для каждого сотрудника, выбрав удобный для восприятия человеком интервал значений. Пусть естественная оценка сотрудника, компетентность которого соответствует минимальным требованиям, выбрана четыре балла (х0 = 4) и оценка сотрудника, компетентность которого полностью соответствует требованиям, выбрана десять баллов (х7 = 10). Тогда значения величины х. , рассчитываются по формуле:
X = Х0 + (х7 - х0)гг .
Полученные значения величины х. (см. таблицу 2) теперь можно использовать для субъективной характеристики уровня качества в задачах квалиметрии. Так мы можем рассчитать искомое среднее значение величины компетентности шести (М = 6) штатных сотрудников X = 8,1, которое можно подставлять в модель (12).
Заключение
В рамках решения задачи обеспечения достоверности субъективных измерений нефизических величин приведен анализ современных теорий измерений. Сделан вывод о том, что для разработки теоретических подходов, методов, инструментов для измерения показателей качества, как субъективных величин, наиболее приемлема репрезентативная теория как наиболее консервативная в обеспечении достоверности и осмысленности результатов измерений, корректности научных предположений.
Идентифицировано основное противоречие существующих моделей систем измерений: эксперт способен регистрировать оценки характеристик качества с приемлемой степенью достоверности максимум в ранговой шкале, в то время, как для решения задач анализа и принятия решений оценки должны быть выражены минимум в шкале интервалов.
Обосновано решение данной проблемы за счет использования промежуточной шкалы -шкалы рейтингов, обладающей свойствами как порядковой, так и интервальной шкал.
Для организации процесса субъективных измерений, обеспечивающего измерения в шкале рейтингов предложен специальный метод альтернативных форм, основанный на методе оценивания разности и позволяющий корректно сформировать шкалу рейтингов, преобразовать их в соответствующие значения величин, выраженных в шкале интервалов.
Приведена аксиоматика системы измерений субъективных величин с применением шкалы рейтингов. Обеспечено свойство общезначимости методологии для широко круга величин и решаемых задач.
Список использованных источников
1. Маругин, В.М. Квалиметрический мониторинг строительных объектов / В.М. Маругин, Г.Г. Азгаль-дов. - СПб. : Политехника, 2011. - 345 с.
2. Саати, Т. Принятие решений. Метод анализа иерархий: пер. с англ. / Т. Саати. - М. : Радио и связь, 1989. - 316 с.
3. Пахомов, А.П. Проблема осмысленности психологических измерений / А.П. Пахомов // Психологический журнал. - 2006. - Т. 27, № 5. - С. 75-82.
4. Фёдоров, А.А. Проблема измерения «психического» / А.А. Фёдоров // Перспективы психологической науки и практики: сборник статей Международной
научно-практической конференции. - М. : ФГБОУ ВО «РГУ им. А.Н. Косыгина». - 2017. - С. 157-159.
5. Бугаев, Ю.В. Состоятельность статистических оценок Терстоуна-Мостеллера / Ю.В. Бугаев [и др.] // Вестник ВГУИТ, 2015. - № 1. - С. 82-85.
DOI: 10.20914/2310-1202-2015-1-82-85
6. Носс, И.Н. Введение в практику психологического эксперимента / И.Н. Носс. - М. : Пер Сэ, 2006. -304 с.
7. Кнорринг, В.Г. Развитие репрезентативной теории измерений / В.Г. Кнорринг // Измерения, контроль, автоматизация: [сб. науч.-техн. обзоров]. -1980. - № 11-12. - С. 3-10.
8. Толстова, Ю.Н. Краткая история развития репрезентативной теории измерений / Ю.Н. Толстова // Заводская лаборатория. - 1999. - № 3. - С. 49-57.
9. Гусев, А.Н. Психологические измерения. Теория. Методы / А.Н. Гусев, И.С. Уточкин. - М. : Аспект Пресс, 2011. - 317 с.
10. Фер, P.M. Психометрика:Введение/Р. М. Фер, Берн Р. Бакарак; пер. с англ. А.С. Науменко, А.Ю. Попова; под ред. Н.А. Батурина, Е.В. Эйдмана. -2010. -Челябинск : Издательский центр ЮУрГУ. - 445 с.
11. Романчак, В.М. Субъективное оценивание вероятности / В.М. Романчак // Информатика. - 2018. -Т. 15, № 2. - С. 74-82.
12. Серенков, П.С. Методы менеджмента качества. Методология управления риском стандартизации / П.С. Серенков [и др.]. - Минск : Новое знание; М. :ИНФРА-М. - 2014. - 255 с.
References
1. Marugin V.M., Azgal'dov G.G. Kvalimetricheskij monitoring stroitel'nykh ob'ektov [Qualimetric monitoring of construction sites]. St. Petersburg, Politehnika Publ., 2010, 345 p.
2. Saati T. Prinyatie reshenij. Metod analiza ierarkhij [Decision Making. Method of the Analysis of Hierarchies]. Moscow, Radio i sviaz Publ., 1989, 316 p.
3. Pakhomov A.P. [The Problem of meaningfulness of psychological measurement]. Psikhologicheskij zhurnal [Psychological journal], 2006, vol. 27, no. 5, pp. 75-82 (in Russian).
4. Fedorov A.A. Problema izmereniya «psikhiches-kogo» [The problem of measurement of «mental»]. Moscow: FGBOU VO, «Russian state University named after A.N. Kosygin», 2017, pp. 157-159 (in Russian).
5. Bugaev Y.V., Nikitin B.E., Shurupova I.J., Ba-bayan M.K. [The Consistency of Statistical Estimates of Thurstone-Mosteller]. Vestnik Voronezhskogo univer-siteta inzhenernykh tekhnologij [Proceedings of the Voronezh State University of Engineering Technologies], 2015, no. 1, pp. 82-85 (in Russian).
DOI: 10.20914/2310-1202-2015-1-82-85
6. NOSS I.N. Vvedenie v praktiku psikhologicheskogo ehksperimenta [Introduction to the practice of psychological experiment]. Moscow, Per Se Publ., 2006, 304 p.
7. Knorring V.G. [The development of the representational theory of measurement]. Izmerenija, kontrol', avtomatizacija: sb. nauch.-tehn. obzorov [Measurement, control and automation: proceedings.-techne. reviews'], 1980, no. 11-12, pp. 3-10 (in Russian).
8. Tolstova Yu.N. [A brief history of the development of representative measurement theory]. Zavodskaya laboratoriya [Industrial laboratory], 1999, no. 3, pp. 4957 (in Russian).
9. Gusev A.N., Utochkin I.S. Psikhologicheskie izme-reniya. Teoriya. Metody [Psychological Measurements.
Theory. Methods]. Moscow, Aspekt Press Publ., 2011, 317 p.
10. Fer P.M., Bacharach B.R. Psikhometrika. Vvedenie [Psychometrics: an Introduction]. Chelyabinsk, Izdatel'skij centr JuUrGU Publ., 2010, 445 p.
11. Romanchak V.M. [The measurement of subjective probability]. Informatika [Informatics], 2018, vol. 15, no. 2, pp. 7-16 (in Russian).
12. Serenkov P.S., Gurevich V.L., Romanchak V.M., Yanushkevich A.V. Metody menedzhmenta kachestva. Metodologiya upravleniya riskom standartizatsii [Methods of quality management. The methodology of risk management standardization]. Minsk-Moscow, INFRA-M Publ., 2014, 255 p.
