О модифицированном коэффициенте конкордации, учитывающем в большей степени согласованность лучших альтернатив Текст научной статьи по специальности «Математика»

Оригинальная статья / Original article УДК 519.234.6

DOI: 10.21285/1814-3520-2017-10-32-39

О МОДИФИЦИРОВАННОМ КОЭФФИЦИЕНТЕ КОНКОРДАЦИИ, УЧИТЫВАЮЩЕМ В БОЛЬШЕЙ СТЕПЕНИ СОГЛАСОВАННОСТЬ ЛУЧШИХ АЛЬТЕРНАТИВ

© Ю.В. Лубенец1

Липецкий государственный технический университет, Российская Федерация, 398600, г. Липецк, ул. Московская, 30.

РЕЗЮМЕ. ЦЕЛЬ. Оценка согласованности мнений экспертов является важным средством проверки достоверности результатов экспертного опроса. Наиболее часто в качестве такой оценки применяется коэффициент конкор-дации Кендалла. Однако этот коэффициент не может в полной мере применяться для установления хорошей согласованности мнений экспертов. МЕТОДЫ. Рассматриваются модифицированные коэффициенты конкорда-ции для оценки отклонения мнения экспертов от полной согласованности в случае строгой ранжировки. Вводится коэффициент, позволяющий в большей степени оценивать отклонения для лучших альтернатив по сравнению с худшими, что может быть полезно в решении некоторых практических задач. РЕЗУЛЬТАТЫ. Оцениваются взаимосвязи различных вариантов коэффициента конкордации для некоторых случаев. Проведена апробация введенного коэффициента. ВЫВОДЫ. Показано, что введенный коэффициент полезен, если в большей степени важна согласованность экспертов в оценке лучших альтернатив.

Ключевые слова: коэффициент конкордации, оценка согласованности, экспертная оценка, строгая ранжировка.

Формат цитирования: Лубенец Ю.В. О модифицированном коэффициенте конкордации, учитывающем в большей степени согласованность лучших альтернатив // Вестник Иркутского государственного технического университета. 2017. Т. 21. № 10. С. 32-39. DOI: 10.21285/1814-3520-2017-10-32-39

ON MODIFIED COEFFICIENT OF CONCORDANCE BETTER CONSIDERING COHERENCE OF BEST ALTERNATIVES Yu.V. Lubenets

Lipetsk State Technical University,

30, Moskovskaya St., Lipetsk 398600, Russian Federation.

ABSTRACT. PURPOSE. Evaluation of expert opinion consistency is an important means of expert survey result validity check. Kendall's coefficient of concordance is mostly used for such assessments. However, this coefficient cannot be applied at full extent for the determination of good consistency of expert opinions. METHODS. Modified concordance coefficients are considered to evaluate the deviation of expert opinions from full consistency in the case of strict ranking. A coefficient is introduced that allows better assessment of deviations for better alternatives as compared with worse ones. This can be useful in solving some practical problems. RESULTS. The relationships of different variants of the concordance coefficient have been assessed for some cases. The introduced coefficient has been tested in practice. CONCLUSIONS. It is shown that the introduced coefficient is useful if the consistency of experts in best alternative evaluation is more important.

Keywords: coefficient of concordance, consistency assessment, expert evaluation, strict ranking

For citation: Lubenets Yu.V. On modified coefficient of concordance better considering coherence of best alternatives. Proceedings of Irkutsk State Technical University. 2017, vol. 21, no. 10, pp. 32-39. (In Russian) DOI: 10.21285/18143520-2017-10-32-39

Введение

В задачах теории принятия решений вопрос согласованности мнений играет важную роль при обработке результатов

экспертного опроса. Наличие хорошей согласованности мнений экспертов позволяет считать данные их опроса, а, следователь-

1Лубенец Юрий Владимирович, кандидат физико-математических наук, доцент кафедры прикладной математики, e-mail: [email protected]

Yuri V. Lubenets, Candidate of Physical and Mathematical Sciences, Associate Professor of the Department of Applied Mathematics, e-mail: [email protected]

но, и решение, принимаемое на основе этого опроса, более достоверными. В то же время отсутствие хорошей согласованности результатов экспертного опроса может порождать вопросы о корректности его проведения или компетенции экспертов.

Наиболее часто для оценки согласованности мнений нескольких экспертов используется коэффициент конкордации Кендалла [1]. Несложность его вычисления и возможность проверки статистических гипотез о его значимости обусловили его широкое применение в самых различных областях исследований, однако, по сути, этот коэффициент отражает величину отклонения суммы рангов альтернатив от

Методы, резуль

Коэффициент конкордации и его модификации. Проводится результат опроса т экспертов, оценивающих п альтернатив решения какой-либо задачи. Каждый эксперт ранжирует альтернативы следующим образом: лучшая альтернатива получает ранг 1, следующая - 2 и так далее; наихудшая альтернатива получает ранг п. Здесь рассматривается только строгая ранжировка, одинаковые (связанные) ранги отсутствуют. По результатам опроса экспертов может быть заполнена таблица следующего вида (табл. 1).

Требуется по этой таблице оценить согласованность мнений экспертов. Самым распространенным способом такой оценки является вычисление коэффициента кон-кордации Кендалла. Для этого сначала вычисляются суммы рангов альтернатив у

случая полной несогласованности и не может в полной мере отражать наличие хорошей согласованности. Это, в частности, отмечалось в работах [2, 3], там же был предложен альтернативный вариант коэффициента конкордации, оценивающий отклонение суммы рангов альтернатив от случая полной согласованности. Автором статьи вводится другой модифицированный коэффициент конкордации, также рассматривающий отклонение от случая полной согласованности, но позволяющий учитывать отклонения в оценках лучших альтернатив в большей степени, чем в оценках худших альтернатив.

и их обсуждение

всех экспертов и находятся квадраты их отклонений от среднего значения суммы рангов, равного m(n +1)/2. Затем вычисляется коэффициент конкордации по фор-

12S о

муле W = ——--, где S - сумма квад-

m (n - n)

ратов отклонений сумм рангов альтернатив от среднего значения суммы рангов. Заметим, что коэффициент конкордации можно интерпретировать как величину, пропорциональную наблюдаемому значению критерия Пирсона для проверки гипотезы о равномерном распределении сумм рангов альтернатив. При этом равенство сумм рангов альтернатив соответствует случаю полной несогласованности, который допускает различные интерпретации. В статье не будут рассматриваться особенности

Таблица 1

Пример таблицы опроса экспертов

Table 1

Example of expert survey table_

Эксперты / Альтернативы / Alternatives

Expert 1 2 3 n - 1 n

1 1 2 3 n - 1 n

2 2 1 4 n - 1 n

m 1 3 2 n n - 1

определения коэффициента конкордации в случае, когда m - нечетное число, а n -четное.

В работе [2] было отмечено, что коэффициент конкордации фактически определяет не близость к случаю полной согласованности, а только величину отклонения от случая полной несогласованности, что не одно и то же. Там же введен альтернативный вариант коэффициента конкорда-ции для устранения этого недостатка и рассматриваются отклонения сумм рангов альтернатив от сумм их рангов в случае полной согласованности. В результате было выявлено, что у всех экспертов ранги всех альтернатив совпадают, а их суммы образуют арифметическую прогрессию m, 2m,..., nm. Суммы рангов альтернатив упорядочиваются по возрастанию, и рассматриваются квадраты их отклонений от указанных сумм случая полной согласованности. Коэффициент вычисляется по формуле Wa = 12А—, где А - сумма квад-m (n —n)

ратов отклонений сумм рангов альтернатив от случая полной согласованности.

Определим другой модифицированный коэффициент конкордации Wp. Так же, как и для альтернативного варианта, рассмотрим квадраты отклонений сумм рангов альтернатив от случая полной согласованности, суммы рангов также упорядочим по возрастанию. Но в отличие от альтернативного варианта, в качестве величины отклонения возьмем не сумму квадратов отклонений, а сумму отношений квадратов отклонений к сумме рангов для случая полной согласованности и обозначим ее через T. Заметим, что это делается аналогично наблюдаемой величине критерия Пирсона, где в качестве теоретических величин берутся суммы рангов случая полной согласованности. Тогда введем

T

коэффициент Wp = 1 — —, где Tmax -

max

максимальное значение T.

Найдем теперь T . Несложно увидеть, что максимальное значение T будет

достигаться, если все суммы рангов альтернатив равны средней сумме рангов. В самом деле, при любых суммах рангов можно последовательно увеличивать отклонение от меньших сумм рангов, что будет приводить к увеличению значения T до тех пор, пока все суммы рангов не станут одинаковыми. Тогда

T = У

max

k=1

= mË

( (n + 1)m /2 — km )2 km

((n +1)/2 — k)2 _

k=1

n f , l\2

k

= mZ

k=1

(n +1)2

4k

— (n +1) + k

(1)

= m

(n +1)2

Hn — n(n +1) +

n(n + 1)

m(n +1) 4

( Hn (n +1) — 2n ),

1

где Hn = У 1 - n-е гармоническое число

k

k=1

(n-я частичная сумма гармонического ряда). Таким образом, получаем:

Wp = 1 —

4T

m(n +1) ( Hn (n +1) — 2n )

(2)

Этот модифицированный коэффициент конкордации имеет следующую особенность. Он, как и коэффициент, рассматриваемый автором ранее [4], в большей степени учитывает различия во мнениях экспертов относительно лучших альтернатив по сравнению с худшими, что может быть полезно в определенных практических задачах. Как и обычный коэффициент конкордации, коэффициент Wp принимает значения от 0 до 1, причем Wp = 1 только в случае полной согласованности. Значимость коэффициента Wp при m > 5 и n > 7 может быть проверена с помощью критерия Пирсона.

С помощью написанной программы были выполнены расчеты возможных зна-

n

чений введенного коэффициента при различных значениях т и п. Объем вычислений для этой цели весьма значителен. Например, при т = 3 и п = 8 всего имеется

(8!)3 = 65 548 320 768 000 различных способов заполнения таблицы опроса экспертов. К счастью, всегда можно упорядочить по возрастанию первую строку, перенумеровав альтернативы, поэтому достаточно

рассмотреть (8!)2 = 1625 702 400 таблиц и

умножить на 8! полученные частоты.

На рис. 1 приведено распределение коэффициента Жр для случайно заполненных таблиц при т = 3 и п = 8 (по горизонтальной оси указаны сотые доли значений коэффициента, по вертикальной - абсолютные частоты). Как можно заметить, после нормировки распределение для 1 - Жр асимптотически стремится к распределению что и следует из определения этого коэффициента.

Связи между модификациями коэффициентов конкордации для некоторых случаев. Рассмотрим случаи, когда суммы рангов альтернатив образуют

арифметическую прогрессию. К этим случаям, в частности, относятся случаи и полной согласованности, и полной несогласованности. Обозначим: б - разность прогрессии и а + ё - ее первый член, т.е. сумму рангов лучшей альтернативы. Заметим, что (п + 1)(т - ё) = 2а.

Тогда

Т = ^ (а-к(т - ё))2 _

k=1

km

1 ^ ( a2

m

= — ^--2a(m - d)+k(m - d)2

k=1 v

(n + 1)(m - d)2 4m

( En (n +1) - 2n ).

Wp = 1 - (1 - d / m)2.

(3)

Для суммы квадратов отклонений коэффициента конкордации в этом случае находим:

k=1

S = a + kd -

m(n +1) ^2 _ d2 (n3 - n) " 12 '

З ООО ООО ООО ООО

2 5ОО ООО ООО ООО

2 ООО ООО ООО ООО

1 5ОО ООО ООО ООО

1 ООО ООО ООО ООО

5ОО ООО ООО ООО

Рис. 1. Гистограмма распределения коэффициента Wp для m = 3 и n = 8 Fig. 1. Histogram of Wp coefficient distribution for m = 3 and n = 8

О

залось диаметрально противоположным (табл. 2).

Здесь имеем следующие значения коэффициентов:

W = 0,25, Wp = 1 — Wa = 0,75.

Коэффициент конкордации Кендал-ла не выявляет наличия существенной связи между мнениями экспертов, что показывают альтернативные коэффициенты в равной степени.

Рассмотрим еще 2 варианта таблиц. В первом случае (табл. 3) у последних двух экспертов поменяем местами оценки лучших, по мнению большинства экспертов, альтернатив. Во втором случае (табл. 4) у тех же экспертов поменяем местами оценки худших, по мнению большинства экспертов, альтернатив.

Обратим внимание на то, что коэффициенты конкордации Кендалла и альтернативные варианты коэффициента конкордации в этих обоих случаях совпадают: W = 0,263, 1 — Wa = 0,754. В то же время в первом случае Wp = 0,780, а во втором случае Wp = 0,750.

Приведенные данные свидетельствуют о том, что модифицированный коэффициент в большей степени учитывает согласованность лучших альтернатив.

Таблица 2 Таблица опроса экспертов

Table 2

Experts survey table_

Эксперты / Альтернативы / Alternatives

Experts 1 2 3 4 5 6 7

1 1 2 3 4 5 6 7

2 1 2 3 4 5 6 7

3 1 2 3 4 5 6 7

4 1 2 3 4 5 6 7

5 1 2 3 4 5 6 7

6 1 2 3 4 5 6 7

7 7 6 5 4 3 2 1

8 7 6 5 4 3 2 1

Получаем формулу

W = (d / m)2. (4)

Для альтернативного варианта коэффициента конкордации получаем:

: na2

А = У( a + kd — km ) =

k=1

n n

— 2a(m — d)У k + (m — d)2 У k2 =

k=1 k=1 42/,„3

_ (т - d)2(п - п) ~ 12 '

Тогда

Жа = (1 - d / т)2. (5)

Таким образом, для таких сумм рангов получаем следующие связи между рассмотренными коэффициентами:

Жр = 1 - (1 -7ж)2 = 1 - . (6)

Рассмотрим следующий пример. Проводится опрос 8 экспертов, которые оценивают 7 альтернатив. В результате опроса мнение шести экспертов полностью совпало, а мнение еще двух экспертов ока-

Таблица 3

Повышение согласованности для лучших альтернатив

Table 3

increasing coherence for the best alternatives_

Эксперты / Альтернативы / Alternatives

Experts 1 2 3 4 5 б 7

1 1 2 3 4 5 б 7

2 1 2 3 4 5 б 7

3 1 2 3 4 5 б 7

4 1 2 3 4 5 б 7

5 1 2 3 4 5 б 7

б 1 2 3 4 5 б 7

7 б 7 5 4 3 2 1

8 б 7 5 4 3 2 1

Таблица 4

Повышение согласованности для худших альтернатив

Table 4

_Increasing coherence for the worst alternatives_

Эксперты / Альтернативы / Alternatives

Experts 1 2 3 4 5 б 7

1 1 2 3 4 5 б 7

2 1 2 3 4 5 б 7

3 1 2 3 4 5 б 7

4 1 2 3 4 5 б 7

5 1 2 3 4 5 б 7

б 1 2 3 4 5 б 7

7 7 б 5 4 3 1 2

8 7 б 5 4 3 1 2

Апробация введенного модифицированного коэффициента конкордации

В качестве применения введенного коэффициента был проведен опрос некоторых выпускников магистратуры направления «Прикладная математика» Липецкого государственного технического университета. Им было предложено оценить по уровню освоения ими профессиональных компетенций ФГОС высшего образования. Выпускники упорядочили 9 профессиональных компетенций (ПК) в порядке усвоения ими от лучшей к худшей. В табл. 5 приведены данные проведенного опроса среди 10 выпускников магистратуры.

Коэффициент конкордации Кендал-ла здесь равен 0,521, что показывает только наличие некоторой связи между данными. Сделать выводы о хорошей согласованности этих оценок с помощью коэффи-

циента конкордации Кендалла не представляется возможным.

Введенный модифицированный коэффициент конкордации равен 0,961, при этом наблюдаемое значение равно 16,716. Поскольку критическое значение ^ для числа степеней свободы 8 и уровня значимости 0,05 равно 16,919, нет оснований отклонять гипотезу о полной согласованности при данном уровне значимости. Аналогичный результат можно было бы получить по рассчитанному автором критическому значению Wp = 0,940 при m = 10, n = 9, а = 0,05. Так как наблюдаемое значение больше критического, можно сделать вывод о хорошей согласованности полученных данных.

Таблица 5

Результаты опроса выпускников

Table б

Graduate survey results_

Эксперты / Experts ПК-1 ПК-2 ПК-3 ПК-4 ПК-5 ПК-6 ПК-7 ПК-В ПК-9

1 3 4 2 5 9 В 1 7 6

2 3 5 4 2 6 9 1 В 7

3 3 5 7 2 В 4 1 9 6

4 2 6 3 7 В 4 1 9 5

5 1 В 4 5 7 3 2 6 9

6 6 7 3 2 4 5 1 В 9

7 1 В 6 9 5 4 2 3 7

В 1 9 2 6 7 4 3 В 5

9 5 9 1 2 В 7 4 3 6

10 2 5 3 В 9 4 1 6 7

Следует отметить, что по результатам опроса наилучшую степень освоения получила ПК-7 (способность разрабатывать и исследовать математические модели объектов, систем, процессов и технологий, предназначенных для проведения расчетов, анализа, подготовки решений). Также высокую степень освоения показали компетенции ПК-1 (способность анализировать сложные технические системы управления) и ПК-3 (способность разрабатывать научно-

Коэффициент конкордации Кендал-ла не в полной мере достаточен для оценки согласованности мнений экспертов: он только выявляет наличие какой-либо связи и хорошо показывает ее отсутствие. Для оценки близости мнений экспертов к случаю полной согласованности можно использовать альтернативный вариант коэффициента конкордации, предложенный в работе [2], или модифицированный коэффициент конкордации, вводимый в этой

техническую документацию, оформлять научно-технические отчеты, обзоры, публикации по результатам выполненных исследований), что отражает их особую важность для подготовки магистров. Наименьшую степень освоения показала ПК-5 (способность организовывать работу исполнителей, находить и принимать управленческие решения в области организации труда), которая и востребована в меньшей степени, чем другие компетенции.

статье. Принципиальное отличие между ними состоит в том, что последний в большей степени учитывает согласованность лучших альтернатив. Как показано, в определенных случаях оба альтернативных коэффициента совпадают. В случаях, когда в большей степени для исследователя важна согласованность экспертов в оценке лучших альтернатив, имеет смысл использовать введенный автором данной статьи коэффициент.

Библиографический список

1. Kendall M. Rank correlation methods. London: Griffin, 1970. 202 p.

2. Попов Г.А., Попова Е.А. Альтернативный вариант коэффициента конкордации // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и

информатика. 2013. № 2. С. 158-167. 3. Попов Г.А., Попова Е.А. Асимптотическое поведение альтернативного варианта коэффициента конкордации // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информати-

ка. 2014. № 1. С. 153-160. кластеризации признаков // Вестник ЛГТУ. 2015.

4. Лубенец Ю.В. Применение коэффициента, ос- № 1. С. 14-21.

нованного на проверке гипотезы о независимости, к

References

1. Kendall M. Rank correlation methods. London: Griffin, 1970, 202 p.

2. Popov G.A., Alternative of coefficient of concordance. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia: Upravlenie, vychis-litel'naia tekhnika i informatika [Vestnik of Astrakhan State Technical University. Series: Management, Computer Science and Informatics]. 2013, no. 2, pp. 158167. (In Russian)

3. Popov G.A., Popova E.A. Asymptotic behavior of

Критерии авторства

Лубенец Ю.В. подготовил статью и несет ответственность за плагиат.

Конфликт интересов

Автор заявляет об отсутствии конфликта интересов.

Статья поступила 29.07.2017 г.

alternative of concordance coefficient. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universi-teta. Seriia: Upravlenie, vychislitel'naia tekhnika i in-formatika [Vestnik of Astrakhan State Technical University. Series: Management, Computer Science and Informatics]. 2014, no. 1, pp. 153-160. (In Russian) 4. Lubenets Yu.V. Application of the coefficient based on independence hypothesis testing to attributes clustering. Vestnik LGTU [Bulletin of Lipetsk State Technical University]. 2015, no 1, pp. 14-21. (In Russian)

Authorship criteria

Lubenets Yu.V. has prepared the article and bears the responsibility for plagiarism.

Conflict of interests

The authors declare that there is no conflict of interests regarding the publication of this paper.

The article was received 29 July 2017