CC BY-NC-ND
0
DOI: 10.17323/2587-814X.2024.1.52.64
Непараметрическая процедура сравнения эффективности работы подразделений сетевой организации
П.А. Колданов a ©
E-mail: pkoldanov@hse.ru
В.А. Колданов b ©
E-mail: vlad.kold@gmail.com
a Лаборатория алгоритмов и технологий анализа сетевых структур, Национальный исследовательский университет «Высшая школа экономики»
Адрес: Россия, 603093, г. Н. Новгород, ул. Родионова, 136
b Нижегородский государственный инженерно-экономический университет Адрес: Россия, 606340, Нижегородская область, г. Княгинино, ул. Октябрьская, д. 22А, корпус 2
Аннотация
Для решения задачи сравнительного анализа эффективности работы филиалов по небольшому объему наблюдений случайной природы актуальным является непараметрический подход, не требующей вероятностной модели наблюдений. Актуальной также является задача сравнения результатов непараметрического подхода с результатами, полученными в рамках традиционно применяемой Гауссовской модели. Кроме того, актуальной является проблема получения непротиворечивого сравнения группы (не менее трех) филиалов. В настоящее время непараметрический подход и соответствующее сравнение с известными результатами решения рассматриваемой в настоящей работе задачи, полученного в рамках нормальной модели, отсутствуют. Кроме того, поиску методов получения непротиворечивых решений уделяется недостаточно внимания. Настоящая работа в определенном степени закрывает эти пробелы. Для решения этих задач в настоящей работе используются методы непараметрической статистики и теории одновременной проверки многих гипотез. В работе предлагается процедура сравнительного анализа эффективности работы нескольких подразделений сетевой организации по небольшому объему наблюдений, основанная на тестах Манна—Уитни. Проводится сравнение результатов предлагаемой непараметрической
■ процедуры с результатами, основанными на обобщениях тестов Стьюдента. Предлагается способ уменьшения числа возникающих проблем несовместимости, основанный на поиске подходящего уровня значимости. Приводится пример полностью непротиворечивого сравнения эффективности работы филиалов.
Ключевые слова: сетевая организация, эффективность деятельности филиалов, тесты Манна—Уитни, проблема несовместимости
Цитирование: Колданов П.А., Колданов В.А. Непараметрическая процедура сравнения эффективности работы подразделений сетевой организации // Бизнес-информатика. 2024. Т. 18. № 1. С. 52-64. Б01: 10.17323/2587-814Х.2024.1.52.64
Введение
Различные аспекты проблемы сравнения эффективности деятельности организаций обсуждаются во многих работах, например [1-3]. При этом, как правило, сравнения проводятся по многим показателям. Очевидно, успех таких сравнений зависит от того, насколько адекватно и качественно удается провести сравнения по отдельным показателям, особенно если они имеют случайную природу. В этом последнем случае общепринятым является применение методов математической статистики. Такие методы делятся на:
♦ параметрические, которые основаны на конкретной вероятностной модели анализируемых показателей. При этом в качестве вероятностной модели чаще всего используется нормальное распределение [4, 5],
♦ непараметрические, свободные от детальной вероятностной модели, а иногда и от предположения о случайном характере анализируемых данных [3, 6-9].
Многие задачи, в том числе и задача настоящей работы, могут быть рассмотрены в рамках обоих подходов. В этом случае возникает необходимость сравнения выводов процедур, опирающихся на параметрическую модель, с выводами непараметрических процедур. Такое сравнение является одной из целей настоящей работы.
Известно много результатов сравнения параметрических и непараметрических тестов проверки гипотезы против альтернативы. При конечном объеме наблюдений такое сравнение проводится на основе анализа функции мощности тестов, опреде-
ляемой вероятностью отвержения гипотезы. При неограниченном объеме наблюдений сравнение тестов проверки гипотезы против альтернативы основано на вычислении показателей асимптотической эффективности [10]. Специфика рассматриваемой в настоящей работе задачи заключается в необходимости выбора одного из многих решений по небольшому объему наблюдений.
В настоящей работе предлагается процедура сравнительного анализа эффективности деятельности подразделений сетевой организации. Результаты применения такой процедуры могут быть использованы для принятия обоснованных управленческих решений руководством сетевой организации. При этом под эффективностью деятельности подразделения понимается отношение числа продаж определенного товара (например, числа автомобилей) к числу потенциальных покупателей. Под сетевой организацией понимается совокупность подразделений, работающих по общей схеме. Примерами таких организаций являются сеть филиалов крупной автомобильной компании или сеть магазинов «Пятерочка» и т.д.
В настоящей работе в качестве иллюстративного примера рассматривается задача поддержки управленческих решений руководством сети филиалов крупного университета. На подготовительные курсы таких филиалов принимаются все желающие. Естественной характеристикой эффективности работы персонала таких филиалов является отношение числа слушателей подготовительных курсов к числу потенциальных абитуриентов. Информация о сравнительной эффективности является основой для принятия стратегических решений по развитию сети филиалов.
Сетевую организацию удобно представить в виде графа. Вершины этого графа соответствуют подразделениям. Специфика рассматриваемого нами графа заключается в том, что в нем могут быть как направленные, так и ненаправленные ребра. Ненаправленное ребро между вершинами /, ] добавляется в граф тогда и только тогда, когда принимается решение, что /-ое и у-ое подразделения работают одинаково эффективно. Направленное ребро от вершины / к вершине ] добавляется в граф тогда и только тогда, когда принимается решение, что /-ое подразделение работает более эффективно, чем у-ое. Заметим, что обычно в графах используются либо только направленные, либо только ненаправленные ребра [11—15]. Мы будем пользоваться и теми, и другими просто потому, что они лучше позволяют подчеркнуть некоторые структуры анализируемого графа, которые характеризуют специфику анализируемой сетевой организации. К числу таких структур мы будем относить клики [16] (совокупность вершин, любые две из которых соединены ненаправленным ребром), которые характеризуют совокупность подразделений, относительно которых принимается решение о том, что они работают одинаково эффективно. В дальнейшем такие клики мы будем называть классами эквивалентности. Другим примером структуры является полный подграф только с направленными ребрами. Такую структуру мы будем называть структурой упорядочения или доминирования.
Во многих задачах, в частности, в анализируемом нами примере, число продаж естественно рассматривать как случайную величину. При этом анализ реальных данных, особенно когда их мало, может приводить к появлению противоречивых выводов. В этом случае соответствующий граф содержит некоторые логически противоречивые структуры, например подграфы из трех вершин, два ребра между которыми ненаправленные, а одно — направленное. Такого типа проблема возникала в [17] при обсуждении задачи проверки гипотез однородности не менее трех совокупностей и называлась проблемой несовместимости. Прикладные задачи, в которых возникает проблема несовместимости (проблема непротиворечивого объединения результатов сравнения эффективности пар подразделений), рассматривались в работах [4, 5] в рамках нормальной модели. Решение проблемы несовместимости было основано на введении дополнительного параметра А и переходе к задачам сравнения эффективности двух подразделений с точностью А. При этом
если эффективности подразделений /, у отличались меньше, чем на А, то принималось решение, что их эффективность одинакова (с точностью А). Такой прием позволяет решить проблему несовместимости, но приводит к дополнительной проблеме выбора А. Другая цель настоящей работы заключается в поиске способов решения проблемы несовместимости без введения вспомогательного параметра А.
В настоящей работе, в отличии от [4, 5], предположение о нормальном распределении числа продаж не используется. Попарное сравнение эффективности двух подразделений основано на применении тестов Манна—Уитни. Процедура сравнительного анализа подразделений по эффективности основана на комбинировании непараметрических тестов попарного сравнения двух подразделений. При этом используется графическое представление, которое оказывается удобным для визуализации возникающих проблем несовместимости. Предлагаемая непараметрическая процедура применяется к анализу данных, приведенных в [4], и приводится пример, в котором проблему несовместимости удается решить за счет анализа ^-значений и подходящего выбора уровней значимости тестов попарных сравнений. Проводится сравнение с результатами, полученными в рамках нормальной модели.
Статья организована следующим образом: в разделе 1 приведены основные обозначения и постановка задачи; в разделе 2 описана непараметрическая процедура сравнительного анализа подразделений по эффективности и ее графическое представление; в разделе 3 приводятся иллюстративный пример, пример решения проблемы несовместимости и проводится сравнение с результатами, полученными в [4].
1. Постановка задачи
Данные о числе продаж удобно представить в виде матрицы || х ||, где || || — отношение числа продаж к числу потенциальных покупателей в подразделении] в /-ый временной период,] = 1, ..., Ы, где N — количество подразделений сетевой организации, / = 1, ..., т , где ту — количество анализируемых временных периодов работы -ого подразделения. Будем считать, что наблюдения х.п представляют собой значения случайных величин X, которые описывают отношение численности продаж к числу потенциальных покупателей в подразделении ] во временной период /. Предположим, что все вре-
менные периоды одинаковы, а случайные величины X независимы при всех] = 1, ..., N / = 1, ..., т. и при фиксированном ] одинаково распределены, как X. Пусть Е.(х) — функция распределения случайной величины X.
1
Задача, рассматриваемая в настоящей работе, заключается в построении и применении для анализа конкретных данных статистической процедуры различения гипотез вида:
Ух Ух
(1)
При этом гипотеза И1 означает, что эффективность всех подразделений одинакова, гипотеза И2 означает, что подразделение 1 работает более эффективно, чем остальные подразделения, эффективность которых одинакова, и т.д. Заметим, что соотношения (1) не описывают все возможные соотношения между функциями распределения Р(х), ] = 1, ..., N. Мы ограничиваемся рассмотрением только этих гипотез, так как нас интересует только наличие систематического сдвига, к которому может приводить разная эффективность работы различных подразделений сетевой организации.
Как и в [4] будем использовать метод построения процедур со многими решениями, предложенный в [17]. Этот метод основан на сведении многоальтернативной задачи к совокупности соответствующим образом подобранных двухаль-тернативных порождающих задач. В нашем случае для различения (1) естественно рассматривать двухальтернативные задачи проверки гипотез ^ : ^.(х) > Дх),Ух,Уг,./ = 1, ..., N.
При фиксированных /, ] комбинация тестов ф.., ф одновременной проверки гипотез И и И., с ненулевой вероятностью может приводить к логически несостоятельному (при данном х) решению об отвержении обеих гипотез, т.е. к проблеме несовместимости. Как показано в [17], для исключения такого противоречия достаточно потребовать, чтобы уровни значимости а а, тестов ф ф, удовлетворяли условию ад + а, < 1. В этом случае комбинация тестов ф ф, приводит к совместной процедуре различения трех гипотез
Н*:Е(х)=Е(х)-, Н3и:Е(х)>Е(х).
(2)
Однако объединение таких процедур с тремя решениями при различных /, ] может привести к противоречию, а именно: с ненулевой вероятностью может быть принято решение о том, что (например):
^(х) = Е2(х) и Г2(х) = Е3(х), но Е1(х) ^ Е3(х).
Для исключения указанного противоречия в [4], следуя предложению [17], рассматривалась несколько измененная система порождающих гипотез. При этом исследования были ограничены случаем, когда %(х) представляет собой нормальное распределение. В обозначениях настоящей работы измененная система порождающих гипотез имеет вид:
/г'..:^.(х) + А>Е (х),Ух,= 1,..„ЛГ.
При комбинировании тестов ф' ф одновременной проверки гипотез И', И получаем процедуру различения трех гипотез:
Я;2:|,Р(х)-^(х)|<А;
Н«:Е(х)>Е(х) + Д.
(3)
При этом проблема получения противоречивых выводов не возникает. Вместе с тем введение параметра А формально изменяет исходную задачу.
В настоящей работе параметр А не вводится и предположение о нормальном распределении не делается. При этом один из интересных вопросов заключается в поиске вариантов непротиворечивого объединения статистических правил с тремя решениями без введения параметра А.
Заметим, что в настоящее время в интенсивно развивающейся теории одновременной проверки многих гипотез не делается акцент на необходимости решения проблемы несовместимости [18—21]. При этом начиная с работы [22] проблема несовместимости рассматривается как слишком сильное требование, накладываемое на процедуру одновременной проверки многих гипотез. В рамках теории одновременной проверки многих гипотез в основном изучаются подходы к построению процедур, контролирующих вероятность хотя бы одной ошибки первого рода, доли ошибок первого рода и некоторые другие. В настоящей работе напротив, мы делаем акцент на решении проблемы несовместимости, что позволяет провести адекватное сравнение с результатами, полученными в [4].
2. Непараметрическая процедура сравнительного анализа и ее визуализация
2.1. Процедура с тремя решениями
Одна из наиболее эффективных непараметрических процедур различения гипотез (2) основана на статистике Манна—Уитни [6, 9]. Статистика Манна—Уитни имеет вид:
Ф^х^^Цх^х.), (4)
/•=1 5=1
где ДА) — индикатор события А.
При фиксированных /, у процедура с тремя решениями различения гипотез (2) в терминах р-значе-ний может быть записана в виде
4
£
V
й1
Р,*"3
Р\ > а1> РЪу>аг -
(5)
где й.. — решение о принятии гипотезы Щ (к = 1, 2, 3); р1, ръ. — соответствующие р-значения, а именно:
(6)
где а, а3 — уровни значимости тестов проверки гипотез Н.} и Н3 соответственно.
V ч
При этом предполагается, что среди наблюдаемых значений х.1,...,х. и х11,...,х1 нет равных. Необходимые корректировки в случае равных наблюдений можно внести, опираясь на методику, изложенную в [9].
Таблицы распределения статистики (4) при малых т,, т. приведены в [9]. При больших т, т. можно использовать нормальное распределение
N
т, ■ т] /и, • т] ■ (/и, + т] +1)
2 12
N /
которое рекомендуется использовать при шт(т,, т.) > 50 [9].
Из (6) очевидно, что при фиксированных /, ] справедливо р\ + р1 = 1. Поэтому для применения процедуры с тремя решениями (5) достаточно информации о минимальном р-значении:
Р. = Р1 ).
(7)
2.2. Процедура со многими решениями и ее графическое представление
Процедуру различения гипотез (1) будем получать комбинированием процедур (5).
Такая процедура может быть записана в виде:
5 = (<р(1,2),ф(2,3),...,ф(ЛГ-1,ЛГ)).
(8)
Через //, / = 1, ..., N обозначим эффективность работы /-го подразделения. В рассматриваемой задаче между эффективностями работы подразделений сетевой организации / ..., /N) возможны два типа отношений (доминирование или эквивалентность). Запись/> / означает, что /-ое подразделение работает более эффективно (доминирует), чем .-ое подразделение. Запись/ = / означает, что /-ое и .-ое подразделения работают одинаково эффективно (эквивалентность). Для наглядного анализа результатов применения процедуры (8) воспользуемся методикой, предложенной в [23—25].
При данном векторе / ...,/) введем матрицу Б с элементами
' I /,•>/; 0, /,=/, -1, /,<Л
и матрицу В с элементами
Ъ..
У
1. /, > Л
0, иначе.
Легко показать [24], что матрица В связана с матрицей Б соотношением
Б = В — Вг,
где Вг — транспонированная матрица В.
Соотношения, описываемые матрицей В, удобнее интерпретировать, если строки и столбцы матрицы В переставлены таким образом, чтобы получить верхнюю треугольную форму (т.е. собрать по возможности все единицы над главной диагональю матрицы В). Для получения верхней треугольной формы матрицы В можно упорядочить по убыванию строки (и столбцы) матрицы Б по суммам элементов строк. Заменив элементы —1 полученной матрицы на 0, получим матрицу В, наиболее согласованную с верхней треугольной формой. Матрица В, наиболее согласованная с верхней треугольной формой, позволяет выделить так называ-
емые «классы эквивалентности» («undifferentiated classes» [25]). Термин «класс эквивалентности» будет использоваться для обозначения наибольшего множества подразделений, эффективности работы которых значимо неотличимы друг от друга. Термин «наибольший» означает, что для любого подразделения i, которое не принадлежит данному классу эквивалентности, существует по крайней мере одно подразделение j из этого класса, такое что эффективности работы подразделений i и j значимо различимы. Матрица B, наиболее согласованная с верхней треугольной формой, показывает классы эквивалентности, как квадратные подматрицы, симметричные относительно главной диагонали, все элементы которых равны 0.
Очевидно, что пересекающиеся классы эквивалентности, получающиеся при применении процедуры 8, означают существование проблемы несовместимости. Матрицу D удобно визуализировать в виде графа G = (V, E), где V = {1, 2, ..., N} — множество вершин графа, E = {eij} — множество ребер графа. Если элемент dij матрицы D равен 1, то в граф G добавляется направленное ребро от вершины i к вершине j. При этом вершина i доминирует вершину j. В [11] вершина i называется родителем вершины j, а вершина j — ребенком вершины i. Если вершина i соединена направленным путем длины больше 1 с некоторой вершиной к, то вершина i называется предком вершины к, а вершина к — потомком вершины i. Если элемент dij матри-
цы Б равен 0, то в граф О добавляется ненаправленное ребро между вершинами , и ]. Если элемент йг = —1 , то, так как йг = —й,, граф О уже содержит направленное ребро от вершины ] к вершине ,. При этом очевидно, что все вершины этого графа, соответствующие подразделениям из некоторого класса эквивалентности, соединены между собой ненаправленными ребрами и поэтому представляют собой клики графа О. Ниже мы будем отдельно изображать подграфы только с направленными ребрами и только с ненаправленными ребрами.
Заметим, что предлагаемое представление будет явно отображать существование проблем несовместимости полученных выводов, в случае их наличия. Очевидно, что если в представлении различные классы эквивалентности содержат одинаковые вершины, то проблема несовместимости имеет место.
3. Иллюстративный пример
Рассмотрим задачу сравнительного анализа эф-фективностей работы филиалов университета, которая была кратко описана во введении. Обозначим 1/ — первый филиал университета, 2/ — второй филиал университета и т.д. Данные для анализа заимствованы из [4] и приведены в таблице 1.
Минимальные ^-значения (7) тестов (5) приведены в таблице 2.
Таблица 1.
Данные о числе слушателей подготовительных курсов в различных филиалах
1f 2f 3f 4f 5f 6f 7f 8f
103 131 187 154
92 212 262 92 151 99 235
122 197 376 129 164 268 338 77
48 143 283 146 141 217 239 63
86 95 231 125 140 231 187 59
89 70 203 127 173 175 123 78
147 92 276 183 141 137 139 82
134 95 258 213 187 242 185 28
Количество потенциальных абитуриентов в /-ом филиале
6390 7090 28900 6320 6320 11130 4660 2530
Таблица 2.
Минимальные ^-значения
1/ 2/ 3/ 4/ 5/ 6/ 7/
2/ Р'и 0,4392
3/ Р\> 0,0023 Р\ъ 0,0103
4/ < 0,0364 к 0,0652 < 0,0001
5/ 0,0006 Р\5 0,0469 Р\ь 0,0002 Р\5 0,1678
6/ р\6 0,3063 Р\ь 0,4775 Р\е 0,0070 ^46 0,0760 Л 0,0020
7/ р\п 0,0002 Р'п 0,0011 Р* 0,0002 Р1„ 0,0200 0,0012 Р\п 0,0003
8/ РЪш 0,0147 />28 0,0539 Р* 0,0007 Р\* 0,1725 Л 0,1830 0,0256 Рп 0,0175
3.1. Построение классов эквивалентности
Рассмотрим прежде всего традиционный уровень значимости ау = 0,05, V /, у = 1, ..., 8. Матрица Б0 05 приведена в таблице 3.
Таблица 3.
Матрица #0,05
1/ 2/ 3/ 4/ 5/ 6/ 7/ 8/ £
1/ - 0 1 -1 -1 0 -1 -3
2/ 0 - 1 0 -1 0 0 -1
3/ -1 -1 - -1 -1 -1 -1 -7
4/ 1 0 1 - 0 0 0 1
5/ 1 1 1 0 - 1 0 3
6/ 0 0 1 0 -1 - -1 -2
7/ 1 1 1 1 1 1 - 1 7
8/ 1 0 1 0 0 1 -1 - 2
Графическое представление матрицы Ба 05 пока
зано на рисунке 1.
1/
2/
3/
4/
6/ 5/
Рис. 1. Графическое представление матрицы О0 05.
Матрица В0 05, полученная из матрицы Б0 05, приведенная к верхней треугольной форме, показана в таблице 4.
Таблица 4.
Матрица В0,05, приведенная к верхней треугольной форме
7/ 5/ 8/ 4/ 2/ 6/ 1/ 3/
7/ - 1 1 1 1 1 1 1
5/ - 0 0 1 1 1 1
8/ - 0 0 1 1 1
4/ - 0 0 1 1
2/ - 0 0 1
6/ - 0 1
1/ - 1
3/ -
Графическое представление матрицы В0 05, приведенной к верхней треугольной форме, показано на рисунке 2.
Рис. 2. Графическое представление матрицы В0 05, приведенной к верхней треугольной форме.
Номер филиала обозначен цифрой.
На рис. 2 легко видеть, что в данном графе шесть клик: {7}, {4, 5, 8}, {2, 4, 8}, {2, 4, 6}, {2, 6, 1}, {3}. Отметим, что эти клики имеют общие вершины, например, вершина 4 принадлежит трем кликам. Это свидетельствует о существовании проблемы несовместимости. Таким образом, при а = 0,05, V/, ] = 1, ..., 8 непересекающиеся классы эквивалентности не выделяются.
Хорошо известно, что строгих правил выбора уровня значимости а не существует. Возможный способ уменьшения числа возникающих проблем несовместимости может быть основан на изменении уровня значимости а. Анализ ^-значений, приведенных в таблице 2, подсказывает целесообразность построения и изучения графических моделей при выборе а , V /,. = 1, ..., 8 из интервала =0,076; р\5 =0,1678). Для определенности выберем ад = 0,1, V /, ] = 1, ..., 8. Матрица Б01 приведена в таблице 5.
Таблица 5.
Матрица Б 1
1/ 2/ 3/ 4/ 5/ 6/ 7/ 8/ I
1/ - 0 1 -1 -1 0 -1 -3
2/ 0 - 1 -1 -1 0 -1 -3
3/ -1 -1 - -1 -1 -1 -1 -7
4/ 1 1 1 - 0 1 0 3
5/ 1 1 1 0 - 1 0 3
6/ 0 0 1 -1 -1 - -1 -3
7/ 1 1 1 1 1 1 - 1 7
8/ 1 1 1 0 0 1 -1 - 3
Графическое представление матрицы Б01 показано на рисунке 3.
Рис. 3. Графическое представление матрицы О01. Номер филиала обозначен цифрой.
Матрица В01, полученная из матрицы Б01, приведенная к верхней треугольной форме, показана в таблице 6.
Таблица 6.
Матрица В01, приведенная к верхней треугольной форме
7/ 5/ 8/ 4/ 2/ 6/ 1/ 3/
7/ - 1 1 1 1 1 1 1
5/ - 0 0 1 1 1 1
8/ - 0 1 1 1 1
4/ - 1 1 1 1
2/ - 0 0 1
6/ - 0 1
1/ - 1
3/ -
Графическое представление матрицы В0,1, приведенной к верхней треугольной форме, показано на рисунке 4.
Рис. 4. Графическое представление матрицы В01, приведенной к верхней треугольной форме.
Номер филиала обозначен цифрой.
На рисунке 4 легко видеть, что в данном графе четыре клики {7}, {4, 5, 8}, {2, 6, 1}, {3} причем эти клики не имеют общих вершин. Это свидетельствует о том, что при ау = 0,1, V /, ] = 1, ..., 8 проблема несовместимости не возникает, т.е. классы эквивалентности не пересекаются.
3.2. Построение структур упорядочения
Графическое представление матрицы Б0 05 показывает структуру упорядочения филиалов по эффективности их работы, приведенную на рисунке 5.
Рис. 5. Непараметрическое упорядочение а = 0,05. Номер филиала обозначен цифрой.
Показаны только связи доминирования, связи эквивалентности и связи между предками и потомками не показаны. В частности, не проведено направленное ребро между вершинами 7 и 3, т.к. существует направленный путь 7 —> 4 —> 1 —> 3 от предка 7/ к потомку 3/, означающий строгое упорядочение: 7/ эффективнее 4/, 4/ эффективнее 1/, 1/ эффективнее 3/. Заметим, что в данном графе нет направленных путей 7 4 2 -> 3; 7 4 -> 6 -> 3; 7 —> 8 —> 2 —> 3. Это свидетельствует об отсутствии полного упорядочения между эффективностя-ми работы филиалов при а = 0,05. Учитывая, что
{4/, 5/, 8/} принадлежат одному классу эквивалентности, отсутствие таких путей приводит к логическим противоречиям. Подчеркнем, что при а = 0,1 полное упорядочение имеет место (см. рис. 6) и логические противоречия не возникают.
Рис. 6. Непараметрическое упорядочение а =0,1 Номер филиала обозначен цифрой.
3.3. Сравнение
На рисунке 7 показаны графы, построенные по результатам сравнения эффективностей работы филиалов как в предположении нормального распределения изучаемых случайных величин [4], так и в непараметрической постановке.
4 1
7 5 2 3)
8 6
Рис. 7. Параметрическое (слева), непараметрическое (справа) упорядочения при а = 0,05.
Номер филиала обозначен цифрой.
Графы упорядочения, представленные на рисунке 7, отличаются тремя ребрами, а именно: ребро (4, 6) присутствует при параметрическом упорядочении, и отсутствует при непараметрическом упорядочении; ребра (8, 1); (8, 6) присутствует при непараметрическом упорядочении, и отсутствует при параметрическом упорядочении.
Линейное упорядочение, построенное по схеме, предложенной в [4], соответствующее непараметрическому упорядочению (рис. 7, справа), имеет вид:
/3 < / < /6 < /2 < /4 < /8 < /5 < /7 с точностью Д. (9)
Получение такого линейного упорядочения, формально предложенного в [4] в несколько иной постановке (упорядочение с точностью А), осно-
вано на анализе числа направленных связей, выходящих из конкретной вершины или входящих в конкретную вершину. А именно, так как вершины 4, 5, 8 (рис. 7, справа) не соединяются направленными ребрами, то на первый взгляд кажется, что может быть вынесено решение /4 = /8 = /5 с точностью Д. Однако, так как вершина 4 доминирует только одну вершину 1 (из вершины 4 выходит одно направленное ребро), вершина 8 доминирует две вершины 1 и 6 (из вершины 8 выходит два направленных ребра), и вершина 5 доминирует три вершины 1, 2, 6 (из вершины 5 выходит три направленных ребра), то выносится решение /4 </8 < /5 с точностью Д. Запись/ < / с точностью Д означает, что / + Д < /8 или /4 — /8 |< Д . Аналогично, так как вершины 1, 2, 6 (рис. 7, справа) не соединяются направленными ребрами, то на первый взгляд кажется, что может быть вынесено решение/1 =/2 =/6 с точностью Д. Однако, так как вершина 1 — потомок всех вершин 4, 5, 8 (в вершину 1 входит три направленных ребра), вершина 6 — потомок двух вершин 5 и 8 (в вершину 6 входит два направленных ребра), вершина 2 — потомок одной вершины 5 (в вершину 2 входит одно направленное ребро), то выносится решение/1 </6 </ с точностью Д.
Линейное упорядочение, полученное в [4] имеет вид:
/3 < / = /6 < /2 < /8 < /4 < /5 < /7 с точностью Д. (10)
Упорядочения (9) и (10) отличаются очень незначительно. В самом деле, крайние элементы упорядочений совпадают, изменился знак /1 < /6 по сравнению со знаком /1 =/6, и нестрогое упорядочение / < / изменилось на упорядочение/ < /4. Но в обоих случаях значимого различия эффективности работы филиалов /8 и /4 не обнаружено. Это косвенно свидетельствует о приемлемости нормальной модели, предложенной в [4].
Классы эквивалентности, представленные на рисунке 8, отличаются тремя ребрами, а именно: ребро (4, 6) присутствует при непараметрическом построении классов эквивалентности, и отсутствует при параметрическом построении; ребра (8, 1); (8, 6) присутствует при параметрическом постро-
Рис. 8. Параметрические (слева), непараметрические (справа) классы эквивалентности при а = 0,05. Номер филиала обозначен цифрой.
ении классов эквивалентности, и отсутствует при непараметрическом построении. Это вполне согласуется со сравнением структур упорядочения (см. рис. 7).
Заключение
В работе построена непараметрическая процедура сравнительного анализа эффективности работы нескольких подразделений сетевой организации по небольшому объему наблюдений. Приведен пример применения предлагаемого подхода к сравнительному анализу эффективностей работы филиалов ВУЗа. Выполнено сравнение результатов сравнительного анализа, полученных предлагаемой непараметрической процедурой с результатами, полученными в рамках нормальной модели [4]. Показано, что результаты непараметрического упорядочения без введения дополнительного параметра неопределенности Д и результаты упорядочения, полученные в рамках нормальной модели с введением Д, достаточно близки. Приведен пример полного непротиворечивого сравнения эффективности работы нескольких подразделений сетевой организации. ■
Благодарности
Результаты разделов 1 и 2 подготовлены в рамках Программы фундаментальных исследований Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ). Результаты раздела 3 подготовлены при поддержке гранта Российского научного фонда (проект 22-11-00073).
Литература
1. Алескеров Ф.Т., Белоусова В.Ю. Эффективное развитие филиальной сети коммерческого банка // Управление в кредитной организации. 2007. № 6. С. 23-34.
2. Крюков А.М. Анализ эффективности деятельности филиалов и подразделений — необходимое условие устойчивости бизнеса // Стратегические решения и риск-менеджмент. 2010. Т. 4. С. 84—87. https://doi.org/10.17747/2078-8886-2010-4-84-87
3. Мызникова М.А. Качество стратегического управления в условиях неопределенности: оценка в контексте устойчивого развития // Бизнес-информатика. 2022. Т. 16. № 3. С. 36-52. https://doi.Org/10.17323/2587-814X.2022.3.36.52
4. Колданов А.П., Колданов П.А. Статистические процедуры со многими решениями в задаче анализа итогов приема в филиалы ВУЗа // Бизнес-информатика. 2012. Т. 19. № 1. С. 24-31.
5. Koldanov PA. Efficiency analysis of branch network // Models, Algorithms, and Technologies for Network Analysis (eds. B.I. Goldengorin, V.A. Kalyagin, P.M. Pardalos). Springer Proceedings in Mathematics & Statistics. 2013. Vol. 59. P. 71-83. https://doi.org/10.1007/978-1-4614-8588-9_5
6. Хеттманспергер T. Статистические выводы, основанные на рангах. М.: Финансы и статистика, 1987.
7. Кендалл М. Ранговые корреляции. М.: Статистика, 1975.
8. Холлендер М., Вулф Д. Непараметрические методы статистики. М.: Финансы и статистика, 1983.
9. Lehmann E.L. Nonparametrics: Statistical methods based on ranks. San Francisco: Hoden-Day, 1975. https://doi.org/10.1002/zamm.19770570922
10. Кендалл М., Стюарт А. Статистические выводы и связи. М.: Наука, 1973.
11. Jordan M.I. Graphical models // Statistical Science. 2004. Vol. 19. No. 1. P. 140-155. https://doi.org/10.1214/088342304000000026
12. Newman M.E.J. Networks. An introduction. New York: Oxford University Press, 2010.
13. Opsahl T., Panzarasa P. Clustering in weighted networks // Social Networks. 2009. Vol. 31. No. 2. P. 155-163.
14. Horvath S. Weighted network analysis. Applications in genomics and systems biology. New York: Springer, 2011. https://doi.org/10.1007/978-1-4419-8819-5
15. Li S., He J., Zhuang Y. A network model of the interbank market // Physica A: Statistical Mechanics and its Applications. 2010. Vol. 389. No. 24. P. 5587-5593. https://doi.org/10.1016/j.physa.2010.08.057
16. Boginski V., Butenko S., Pardalos P.M. Statistical analysis of financial networks // Computational Statistics & Data Analysis. 2005. Vol.48. No. 2. P. 431-443. https://doi.org/10.1016/jxsda.2004.02.004
17. Lehmann E.L. A theory of some multiple decision problems, I // The Annals of Mathematical Statistics. 1957. Vol. 28. No. 1. P. 1-25. https://doi.org/10.1214/aoms/1177707034
18. Bretz F., Hothorn T., Westfall P. Multiple comparisons using R. New York: Chapman and Hall/CRC, 2010. https://doi.org/10.1201/9781420010909
19. Hochberg Y., Tamhane A.C. Multiple comparison procedures. New York: John Wiley & Sons, 1987. https://doi.org/10.1002/9780470316672
20. Handbook of Multiple Comparisons / [Edited by X. Cui, T. Dickhaus, Y. Ding, J.C. Hsu]. New York: Chapman and Hall/CRC, 2021. https://doi.org/10.1201/9780429030888
21. Dickhaus T. Simultaneous statistical inference. With applications in the life sciences. Heidelberg: Springer Berlin, 2014. https://doi.org/10.1007/978-3-642-45182-9
22. Gabriel K.R. Simultaneous test procedures - some theory of multiple comparisons // The Annals of Mathematical Statistics. 1969. Vol. 40. No. 1. P. 224-250. https://doi.org/10.1214/aoms/1177697819
23. Cliff N. Complete orders from incomplete data: Interactive ordering and tailored testing // Psychological Bulletin. 1975. Vol. 82. No. 2. P. 289-302. https://doi.org/10.1037/h0076373
24. Cliff N. Dominance statistics: Ordinal analyses to answer ordinal questions // Psychological Bulletin. 1993. Vol. 114. No. 3. P. 494-509. https://doi.org/10.1037/0033-2909.114.3.494
25. Donoghue J.R. Implementing Shaffer's multiple comparison procedure for a large number of groups // Recent Developments in Multiple Comparison Procedures (Eds. Benjamini, Y., Bretz, F. and Sarkar, S.), Institute of Mathematical Statistics, Beachwood, Ohio, 2004. P. 1-23.
Об авторах
Колданов Петр Александрович
д.ф.-м.н.;
старший научный сотрудник, лаборатория алгоритмов и технологий анализа сетевых структур, Национальный исследовательский университет «Высшая школа экономики», Россия, 603093, г. Н. Новгород, ул. Родионова, 136;
E-mail: pkoldanov@hse.ru
ORCID: 0000-0001-5961-0282
Колданов Владимир Александрович
к.ф.-м.н.;
доцент, кафедра математики и вычислительной техники, Нижегородский государственный инженерно-экономический университет, Россия, 606340, Нижегородская область, г. Княгинино, ул. Октябрьская, д. 22А, корпус 2;
E-mail: vlad.kold@gmail.com
ORCID: 0009-0006-1924-746X
Nonparametric procedure for comparing the performance of divisions of a network organization
Petr A. Koldanov a
E-mail: pkoldanov@hse.ru
Vladimir A. Koldanov b
E-mail: vlad.kold@gmail.com
a Laboratory of Algorithms and Technologies for Network Analysis, HSE University Address: 136, Rodionova St., Nizhny Novgorod 603093, Russia
b Nizhny Novgorod State University of Engineering and Economics Address: 22A, building 2, Oktyabrskaya St., Nizhny Novgorod Region, Knyaginino 606340, Russia
Abstract
To solve the problem of comparative efficiency analysis of branch operations for a small volume of randomly observed data, a non-parametric approach is relevant, since it does not require a probabilistic model of observations. Comparing the results of the non-parametric approach with the results obtained within the traditionally used Gaussian model is also relevant. Additionally, obtaining a consistent comparison of a group (of no less than three) branches is important. Currently, the non-parametric approach and the corresponding comparison with the known results of solving the problem considered in this work obtained within the framework of the normal model are absent. In addition, insufficient attention is paid to the search for methods of obtaining consistent solutions. This work to some extent fills these gaps. This work uses non-parametric statistical methods and theory of simultaneous hypothesis testing to address these problems. This paper proposes a procedure for comparative analysis of the efficiency of several units within a network organization with a small volume of observations based on the Mann-Whitney tests. We carry out a comparison of the results obtained from the proposed non-parametric procedure with results based on extensions of Student's t-tests. We propose a method for reducing the number of compatibility problems based on the search for an appropriate significance level. We provide an example of a fully consistent comparison of the efficiency of branch operations.
Keywords: network organization, efficiency of branch operations, Mann—Whitney tests, incompatibility problem
Citation: Koldanov P. A., Koldanov V.A. (2024) Nonparametric procedure for comparing the performance of divisions
of a network organization. Business Informatics, vol. 18, no. 1, pp. 52-64. DOI: 10.17323/2587-814X.2024.1.52.64
References
1. Aleskerov F.T., Belousova V. (2007) Effective development of the branch network of a commercial bank. Upravleniye v kreditnoy organizatsii (Management in a credit institution), no. 6, pp. 23-34 (in Russian).
2. Kryukov A.M. (2010) Efficiency analysis of branch and division activities is a prerequisite for business stability. Strategic decisions and risk management, vol. 4, pp. 84-87 (in Russian). https://doi.org/10.17747/2078-8886-2010-4-84-87
3. Myznikova M.A. (2022) Quality of strategic management under ambiguity: Assessment within the framework of sustainable development. Business Informatics, vol. 16, no. 3, pp. 36-52. https://doi.org/10.17323/2587-814X.2022.336.52
4. Koldanov A.P., Koldanov P.A. (2012) Multiple decision procedures for the analysis of higher school entry selection results. Business Informatics (Biznes-informatika), vol. 19, no. 1, pp. 24-31 (in Russian).
5. Koldanov PA. (2013) Efficiency analysis ofbranch network. Models, Algorithms, and Technologiesfor Network Analysis (eds. B.I. Goldengorin, VA Kalyagin, P.M. Pardalos). Springer Proceedings in Mathematics & Statistics, vol. 59, pp. 71-83. https://doi.org/10.1007/978-1-4614-8588-9_5
6. Hettmansperger T. (1987) Statistical Inference Based on Ranks. Moscow: Finance and Statistics (in Russian).
7. Kendall M. (1975) Rank correlations. Moscow: Statistics (in Russian).
8. Hollander M., Wolfe D. (1983) Nonparametric statistical methods. Moscow: Finance and Statistics (in Russian).
9. Lehmann E.L. (1975) Nonparametrics: Statistical methods based on ranks. San Francisco: Hoden-Day. https://doi.org/10.1002/zamm.19770570922
10. Kendall M., Stuart A. (1973) Statistical Inferences and relationships. Moscow: Science (in Russian).
11. Jordan M.I. (2004) Graphical models. Statistical Science, vol. 19, no. 1, pp. 140-155. https://doi.org/10.1214/088342304000000026
12. Newman M.E.J. (2010) Networks. An introduction. New York: Oxford University Press.
13. Opsahl T., Panzarasa P. (2009) Clustering in weighted networks. Social Networks, vol. 31, no. 2, pp. 155-163.
14. Horvath S. (2011) Weighted network analysis. Applications in genomics and systems biology. New York: Springer. https://doi.org/10.1007/978-1-4419-8819-5
15. Li S., He J., Zhuang Y. (2010) A network model of the interbank market. Physica A: Statistical Mechanics and its Applications, vol. 389, no. 24, pp. 5587-5593. https://doi.org/10.1016/j.physa.2010.08.057
16. Boginski V., Butenko S., Pardalos P.M. (2005) Statistical analysis of financial networks. Computational Statistics & Data Analysis, vol.48, no. 2, pp. 431-443. https://doi.org/10.1016Zj.csda.2004.02.004
17. Lehmann E.L. (1957) A theory of some multiple decision problems, I. The Annals of Mathematical Statistics, vol. 28, no. 1, pp. 1-25. https://doi.org/10.1214/aoms/1177707034
18. Bretz F., Hothorn T., Westfall P. (2010) Multiple comparisons usingR New York: Chapman and Hall/CRC. https://doi.org/10.1201/9781420010909
19. Hochberg Y., Tamhane A.C. (1987) Multiple comparison procedures. New York: John Wiley & Sons. https://doi.org/10.1002/9780470316672
20. Handbook of Multiple Comparisons (2021) (eds. X. Cui, T. Dickhaus, Y. Ding, J.C. Hsu)._New York: Chapman and Hall/CRC. https://doi.org/10.1201/9780429030888
21. Dickhaus T. (2014) Simultaneous statistical inference. With applications in the life sciences. Heidelberg: Springer Berlin. https://doi.org/10.1007/978-3-642-45182-9
22. Gabriel K.R. (1969) Simultaneous test procedures - some theory of multiple comparisons. The Annals of Mathematical Statistics, vol. 40, no. 1, pp. 224-250. https://doi.org/10.1214/aoms/1177697819
23. Cliff N. (1975) Complete orders from incomplete data: Interactive ordering and tailored testing. Psychological Bulletin, vol. 82, no. 2, pp. 289-302. https://doi.org/10.1037/h0076373
24. Cliff N. (1993) Dominance statistics: Ordinal analyses to answer ordinal questions. Psychological Bulletin, vol. 114, no. 3, pp. 494-509. https://doi.org/10.1037/0033-2909.1143.494
25. Donoghue J.R. (2004) Implementing Shaffer's multiple comparison procedure for a large number of groups. Recent Developments in Multiple Comparison Procedures (Eds. Benjamini, Y., Bretz, F. and Sarkar, S.), Institute of Mathematical Statistics, Beachwood, Ohio, pp. 1-23.
About the authors
Petr A. Koldanov
Dr. Sci. (Phys.-Math.);
Senior Research Fellow, Laboratory ofAlgorithms and Technologies for Networks Analysis, HSE University (campus in Nizhny Novgorod), 136, Rodionova St., Nizhny Novgorod 603093, Russia; E-mail: pkoldanov@hse.ru ORCID: 0000-0001-5961-0282
Vladimir A. Koldanov
Cand. Sci. (Phys.-Math.);
Associate Professor, Department of Mathematics and Computer Science, Nizhny Novgorod State University of Engineering and Economics, 22A, building 2, Oktyabrskaya St., Nizhny Novgorod Region, Knyaginino 606340, Russia; E-mail: vlad.kold@gmail.com ORCID: 0009-0006-1924-746X
