CC BY
5
УДК 514.172
Геометрия отрезка в семействе кластерных разбиений конечного множества
С.В. Дронов
Алтайский государственный университет (Барнаул, Россия)
The Geometry of a Segment in a Family of Cluster Partitions of a Finite Set
S.V. Dronov
Altai State University (Barnaul, Russia)
Рассматривается метрическое пространство семейства всех разбиений конечного множества на непустые дизъюнктные подмножества в кластерном расстоянии, предложенном автором в одной из предыдущих работ. Исследуется связь между структурой этого пространства и частичным порядком по включению на семействе разбиений. Оказывается, что при определении отрезка в этом пространстве в границах Л и Б как множества тех С, что сумма расстояний от него до Л и до В равна расстоянию от Л до В, он оказывается согласованным с частичным порядком. Это выражается в том, что расстояние между разбиениями соответствует наименьшей длине пути между ними по цепочкам в решетке соответствующего частичного порядка. Тем не менее определенный описанным образом отрезок обладает значительными отличиями от обычных отрезков в векторных пространствах, поэтому полной аналогии с теоремами обычной геометрии, к сожалению, не получается. Полученные результаты могут быть использованы при построении новых алгоритмов кластерного анализа, а также для нахождения точных вероятностных распределений расстояния между в некотором смысле правильным разбиением.
Ключевые слова: кластерная метрика, разбиения конечного множества, частичный порядок, отрезок в метрическом пространстве.
БО! 10.14258^уави(2018)1-13
The paper considers the metric space of a family of all partitions of a finite set into non-empty disjoint subsets in the cluster distance proposed by the author in one of the previous papers. The relation between this space structure and the partial order generated by the inclusion on a family of partitions is investigated. It is found out that the segment it is coordinated with the partial order when the segment is determined in such space with the boundaries of A and B as the set of those C that the sum of the distances from it to A and B is equal to the distance from A to B. This is expressed by the fact that the distance between partitions corresponds to the smallest path length between them along the chains in the lattice of the corresponding partial order. Nevertheless, the segment defined this way has significant differences from ordinary segments in vector spaces. Therefore, it is not possible to completely carry out the analogy with theorems of usual geometry. The obtained results can be used in the construction of new algorithms for cluster analysis, as well as for finding the exact probability distributions of the distance between, in some sense, a correct partition and a partition constructed from the data of real observations.
Key words: cluster metric, partitions of a finite set, partial order, a segment in a metric space.
1. Вводные замечания. Постановка задачи. При обработке результатов практически любых экспериментов очень часто встает проблема классификации объектов наблюдения по близости некоторых их признаков. Методики, согласно которым может производиться такая классификация, традиционно объединяются в группу алгоритмов, называемых кластерными, а та область анализа данных, которая занимается их созданием и изучением, называется кластерным анализом
(например, [1,2]). При этом, в силу большого разнообразия методов, обычной является ситуация, когда в результате применения разных алгоритмов к одному и тому же множеству объектов получаются разные способы разбиения их на кластеры, что представляет на сегодня одну из важных проблем кластерного анализа (см. [3]). Поэтому актуальной является задача сравнения двух различных кластерных разбиений одного множества. Для такого сравнения на семействе всех возмож-
ных кластерных разбиений можно ввести метрику — расстояние между разбиениями. Это можно сделать разными способами. Один из них был реализован автором в [4]. Приведем здесь соответствующее определение.
Кластерное разбиение — это набор непустых дизъюнктных подмножеств основного множества и, объединение которых дает и. Кластерное разбиение далее условимся чаще называть просто разбиением, поскольку мы собираемся рассматривать все возможные такие наборы подмножеств и, не уточняя вид близости формирующих эти множества объектов. Разбиения будем обозначать полужирным шрифтом, множества, составляющие разбиение, — теми же прописными буквами.
Любой элемент х основного множества и входит в точно один из элементов каждого из кластерных разбиений Л, Б. Обозначим эти множества Ах,ВХ соответственно. Если |А| означает число элементов конечного множества А, то, по определению,
d(A, В) = ^ 1АхАВх1
хеи
где ААВ - симметрическая разность множеств.
В [4] также предложена другая формула для вычисления этой метрики, более простая в применении. Пусть А = [А1,..,Ак}, В = {В1,..., В„}. Тогда
к т
d(A, В) = ^^ 1А П Вй 1-1А^ I. (1)
¿=1 j=1
На семействе всех разбиений и, кроме образованной введением метрики структуры метрического пространства, имеется естественное отношение частичного порядка по включению. Будем писать А С В, если для произвольного А 6 А найдется В 6 В, такое, что А С В в обычном смысле. В этом случае каждое из множеств, составляющих В, возможно составить из элементов Л как из «кирпичиков»: для каждого значения i может быть указано такое множество натуральных чисел А('), что
т
и А(') = {1,...,п}; М В< = и А, (2)
¿=1 jeA(¿)
где п = \и I — число элементов основного множества. Если А С В, но А = В, то будем писать А с В.
По отношению ко включению С, используемому как частичный порядок, семейство всех разбиений и образует решетку (необходимые определения и свойства решеток приводятся в классической монографии [5], современная точка зрения — в [6]). При этом элементом решетки, кото-
рый меньше каждого из Л, В, будет их пересечение, т.е. разбиение, образованное всеми возможными непустыми пересечениями множеств А П В, А 6 А, В 6 В. Это пересечение далее будем обозначать ЛВ. Аналогичным образом может быть определено и объединение разбиений, которое больше каждого из них. В решетке разбиений множества и есть наибольший элемент — разбиение, состоящее из одного множества и, и наименьший — разбиение из п одноэлементных множеств.
Основной задачей работы является выяснение характера взаимодействия описанных структур метрического пространства и решетки на семействе разбиений. При этом главное внимание будет уделено понятию отрезка в семействе разбиений. Будем говорить, что разбиение С лежит на отрезке [А; В], если
d(A, В) = d(A, С) + d(C, В). (3)
В руководствах по метрической геометрии [7,8] в аналогичной ситуации для С, удовлетворяющего (3), используется термин «лежит между Л и В». Далее мы увидим, что наше определение отрезка, действительно, не отвечает общепринятым интуитивным представлениям о свойствах прямолинейного отрезка в евклидовом пространстве. Это связано в первую очередь с тем, что в метрическом пространстве разбиений отношение порядка не является линейным.
2. Связь кластерной метрики с величинами отдельных кластеров. Оказывается, расстояние между двумя разбиениями существенно связано не с составом образующих эти разбиения множеств, а лишь с их размерами. Более точно, имеет место следующее утверждение. Для разбиения А = {А1,...,Ак} введем обозначение
к
sqA = ^ Ш2.
¿=1
Лемма 1. Для произвольных двух разбиений d(A, В) = sqA + sqв - 2sqAB.
Доказательство. Пусть
В = {Въ..,Вт}, с = АВ = {СЪ..,С}}.
Для тех ], для которых соответствующее пересечение не пусто, найдется индекс такой, что A¿ П Bj = . Если формально ввести С0 = 0 и для остальных положить ) = 0, то
тк
= Д, = Bj,
j=l ¿=1 и принимает каждое ненулевое значение из
возможных номеров множеств в пересечении кластерных разбиений ровно один раз. К тому же
(У',3) |A¿ABjI = А + |Bj |-2|С^,я| (4)
даже для непересекающихся А¿, В3. Учитывая (1), (4), запишем
где двойная сумма ^берется по всем тем в, t из МА^), что в > t. Следовательно,
¿(А,в) = £ \а\Е
¿=1 ]=1
т к
+ Е \В3 \ Е \ — 2 Е \С8^,3) \2 =
3 = 1 ¿=1 ¿,3
к т /
= Е \A¿\2 + Е \Вз\2 — 2 Е С^2, ¿=1 3=1 в=1
и лемма доказана.
Поскольку непосредственно из определения пересечения разбиений следует, что при А С В справедливо АВ = А, и для произвольных двух разбиений АВ С А, АВ С В, то из леммы 1 немедленно вытекает Лемма 2.
• Если А С В, то ¿(А, В) = sqв — ЭДл;
• (УА, В) ¿(А, АВ) = sqA — sqAB. Сопоставление второго утверждения леммы 2
и леммы 1 дает очень важное для дальнейшего следствие.
Лемма 3. Для двух произвольных разбиений А, В основного множества
¿(А, В) = ¿(А, АВ) + ¿(АВ, А).
Теперь понятно, что величина sqA несет в себе важную информацию о разбиении А. Фактически эта величина представляет собой сумму квадратов натуральных чисел, которые в сумме равны п — числу элементов основного множества. Заметим, что квадрат суммы натуральных чисел всегда строго больше суммы их квадратов, следовательно, при разбиении одного или нескольких элементов А на части sqA строго уменьшается, а при объединении нескольких в одно множество — увеличивается. В частности, справедлива Лемма 4.
• Пусть С С А. Тогда sqc < sqA, причем равенство достигается только в случае С=А.
• Если sqAB > sqA, то В Э А, и sqAB = sqA. Лемма 5. Для разбиений С С А и произвольного разбиения В справедливо
sqA — sqc > sqAB — sqвc,
причем равенство достигается тогда и только тогда, когда В Э А.
Доказательство. Пусть А = i = 1,..., Щ,
С = [С3, в = 1,.., /}. Введем NA(i) = {в : Са С A¿}, i = 1,...,^ Тогда каждое из в : 1 < в < / попадает ровно в одно из введенных множеств. Пусть также с3 обозначает число элементов в Са. Отсюда
sqA — sqc =
2 ЕЕ
(5)
sqA =
Е( Е Ч = ^ + 2 ЕЕ
Допустим, что ВС = }, др = \Gp\.
Тогда все с3 есть суммы каких-то др. Введем NAB(r) — множество номеров тех Gp, которые содержатся в г-м множестве АВ. Тогда, полностью аналогично (5),
sqAв— sqвc =2 Е Е Е дрд*,
(6)
¿=1 ¿\т **Т
с3сн,
=1
¿=1 *¿
где ¿\т берется по тем г, что г-й элемент АВ содержится в A¿, ^ Е**т — двойная сумма по таким р^ € NАВ(г), что р < q.
Зафиксируем индекс 'I. Заметим, что, если Gp, Gq оба лежат в г-м элементе АВ, и г — один из индексов, входящих ^ Е¿\т, то Gp,Gq являются подмножествами некоторых Ся и Ct, и t,s € ЫА(,). Следовательно, произведение таких др,д<1 обязательно встретится после раскрытия скобок в (5). Поскольку это рассуждение можно провести для каждого gpgq и для каждого '¿, то правая часть (5) не меньше правой части (6), и неравенство леммы доказано.
Наконец, если В Э А, то при переходе к пересечению АВ хотя бы один элемент А разобьется на части. Это означает, что найдутся Gp, Gq, содержащиеся в одном элементе А, но в разных элементах АВ. Тем самым, gpgq в (5) будет присутствовать, а в (6) нет, и неравенство леммы станет строгим.
3. Строение отрезка в семействе разбиений. Определение отрезка [А; В] в семействе разбиений множества и было дано выше (см. (3)). Докажем сейчас некоторые его свойства. Из леммы 3, например, сразу следует, что АВ € [А; В]. Получим условие попадания С в [А; В] в терминах сумм квадратов sq.
Лемма 6 (основная). Пусть А, В, С — произвольные разбиения. С € [А; В] в том и только том случае, если
sqc + sq AB = sq AC + sqвc.
Доказательство. Определение (3) и лемма 1 дают необходимое и достаточное условие принадлежности С нужному отрезку:
sqA + sqв — 2sqAB = = sqA + sqc — 2sqAC + sqc + sqв — 2sqвc,
что после приведения подобных и сокращения на 2 совпадает с требуемым равенством.
Лемма 7. Пусть А С С С В. Тогда С лежит на отрезке [А; В].
2
Это утверждение немедленно следует из основной леммы, если заметить, что в рассматриваемом случае АВ = А, АС = А, ВС = С.
Лемма 8. Пусть С С АВ. Тогда О не лежит на отрезке [А; В].
Доказательство. В этом случае из леммы 4 получаем sqAB > Щс. К тому же С С А, С С В, откуда sqас = sqвc = sqc. Но тогда
sqАС + sqвc = 2sqc < sqc + sqAB.
Осталось применить основную лемму 6.
Лемма 9. Если С Э А и С С В или наоборот, то С не лежит на отрезке [А; В].
Доказательство. В рассматриваемой ситуации sqас = sqа, и условие принадлежности С из основной леммы может быть переписано в виде
sqc - sqA = sqвc - sqAB.
Но в соответствии с утверждением леммы 5 это равенство выполнено тогда и только тогда, когда В Э С. Лемма доказана.
Лемма 8 обеспечивает отсутствие элементов [А; В] «внутри» пересечения АВ. Но оказывается, что их нет и среди не сравнимых с этим пересечением разбиений.
Лемма 10. Если С Э АВ, то С не лежит на [А; В].
Доказательство. Если бы С лежало на отрезке, то из леммы 6 и леммы 5 мы бы получили
sqAC - sqAB = sqc - sqвc > ^АС - ^АВС,
откуда sqABC > sqAB, что, как следует из второго утверждения леммы 4, возможно лишь при условии С Э АВ.
Лемма 11. Пусть С Э АВ, и С не сравнимо ни с А, ни с В. Тогда С не может лежать на отрезке [А; В].
Доказательство. Предположим, что АВ состоит из множеств Dj^ = 1,..., q, х^ = \Dj |. В рассматриваемом случае АВС=АВ, а значит, все элементы разбиений С, АС и ВС можно составить из Dj, как из «кирпичиков», т. е. количества элементов любого из множеств указанных разбиений будут равны суммам каких-то из х^, причем в этих суммах каждого из разбиений каждое х^ будет участвовать ровно один раз. Отметим, что
sqAB
Е
3 = 1
а из условия С = АВ следует, что в аналогичной формуле для sqAC хотя бы в одном случае в квадрат будет возводиться сумма не менее чем двух разных х^.
В необходимом и достаточном условии для попадания С на отрезок (лемма 6) каждое слагаемое вида х= 1, ...^ и в левой, и в правой части встретится после раскрытия скобок ровно по
два раза. Значит, его выполнение будет определяться только удвоенными парными произведениями XiXj' i = j. Поскольку пересечение разбиений AB и BC совпадает с ABC = AB, то в правой части условия общее Xj у двух разных квадратов может быть максимум одно, а следовательно, каждое удвоенное произведение нужного нам вида встретится там не более одного раза.
К тому же если xixj образуется, например, при раскрытии скобок в sqac , то оно образуется и после преобразования sqC, потому что тогда Di ,Dj лежат в одном множестве AC, а значит, и в одном множестве C D AC. Это же можно сказать и о множествах, составляющих BC.
Наконец, поскольку C, A не сравнимы, то при переходе к их пересечению хотя бы один элемент C разобьется на части: Di,Dj, содержавшиеся в каком-то Cs, окажутся в разных множествах AC. Тогда получится, что левая часть условия содержит 2xixj, а правая — нет. Отсюда
sqc + sqAB > sqAC + sqBC,
условие попадания С в отрезок нарушено, и лемма доказана.
Мы подошли к основному результату работы.
Теорема. Разбиение С лежит на отрезке [А; В] тогда и только тогда, когда АВ С С С А или АВ С С С В.
Доказательство. Необходимость. Из лемм 8 и 10 обязательно С Э АВ. Согласно лемме 11, С сравнимо либо с А, либо с В. Если А, В не сравнимы, то по лемме 9 возможны только случаи С С А или С С В. Случай сравнимых А, В обосновывается перебором возможных ситуаций. Проверим достаточность. Если, например, АВ С С С В, то ВС = С и АС = АВ, следовательно, то, что С лежит на [А; В], получается из основной леммы 6. Теорема полностью доказана.
Следствие. Если С, Ю лежат на отрезке [А; В], то любое разбиение Е е [С; D] также лежит на этом отрезке.
Доказательство. Рассмотрим четыре случая, которыми исчерпываются все возможности согласно теореме. Пусть сначала АВ С С, D С А.
Тогда
АВ С CD С Е С С и D С А ^ Е е [А; В].
Ясно, что случай, когда оба С, Б лежат между АВ и В, полностью аналогичен.
Пусть теперь АВ С С С А, АВ С D С В. Тогда из двух правых включений следует, что CD С АВ, и значит, с учетом включений левых, СБ = АВ. Окончательно, если CD С Е С D, то
АВ = CD С Е С D С В ^ Е е [А; В].
Ситуация, когда Е располагается между СБ и С, и случай, при котором С, Б в своем расположении в разных частях [А; В] меняются местами, в своем рассмотрении от уже обоснованных не отличаются. Следствие доказано.
Сформулированное следствие показывает, в чем рассматриваемый отрезок разбиений конечного множества похож на отрезок прямой в евклидовом пространстве. Но отличий у этих отрезков гораздо больше. Например, в отрезке [А; В] невозможно указать начало и конец в силу симметричности определения (3). Приведенный ниже пример показывает, что если С, D е [А; В], то не всегда С е [А; D] или D е [А; С]. Рассмотрим и = {1, 2, 3, 4, 5},
А = {{1, 2, 3}; {4, 5}}, В = {{1, 2}; {3, 4}; {5}}, С = {{1, 2}; {3}; {4, 5}}, D = {{1, 2, 3}; {4}; {5}}.
Тогда АВ = {{1, 2}; {3}; {4}; {5}},
АС = С, AD = D; ВС = BD = CD = АВ.
Простые вычисления дают
¡Ял = 13; ¡яв = ¡яс = 9, ¡яп = 11, ¡ялв = 7,
что при использовании основной леммы 6 позволяет убедиться в справедливости С е [А; D] и D е [А; С], хотя С, Б лежат на отрезке [А; В].
Заметим, что в этом примере АВ С С, D С А. Тем не менее если, например,
АВ С С С А, АВ С D С В,
то С обязательно лежит на отрезке [А; Б].
4. Обсуждение и выводы. Теорема, доказанная в работе, показывает, что отрезок в семействе кластерных разбиений [А; В] как бы состоит из двух частей — [А; АВ] и [АВ; В]. При этом все линейно упорядоченные цепочки разбиений, начала и концы которых расположены в одной из этих частей, целиком содержатся как в этой части, так и в отрезке [А; В] — это вытекает из леммы 7
и следствия теоремы. Множество элементов частично упорядоченного множества, попарно сравнимых между собой, в котором есть наибольший и наименьший элементы, иногда также называют его отрезком (см., например, [9]). Поэтому можно сказать, что отрезки в смысле частичного порядка всегда лежат в рассмотренных нами отрезках целиком. Однако на самом деле каждая из двух частей отрезка (3) имеет более сложную, «расслоенную» структуру — не любые два ее элемента сравнимы между собой. Это было продемонстрировано примером, завершившим предыдущий раздел.
Таким образом, отрезок в пространстве кластерных разбиений совсем не похож на обычные отрезки, например, в векторных пространствах — отдельные его подотрезки внутри себя содержат не сравнимые между собой элементы. Именно поэтому определение прямой в общих метрических пространствах через понятие отрезка (точка лежит на прямой, проходящей через две другие точки, если какой-либо из возможных отрезков с концами в двух из этих точек содержит третью точку) невозможно. Упоминание об этом содержалось еще в [10].
Содержательное определение понятия прямой в изучаемом метрическом пространстве будет трудно дать также в силу конечности семейства кластерных разбиений. Так, в [11] указано на важность понятия выпуклости метрического пространства. В нашей терминологии выпуклость означает наличие внутри любого отрезка [А; В] разбиения С, не совпадающего ни с одним из его концов. Конечно же, АВ всегда там лежит, но если, например, разбиения А С В оказываются соседними в частичном порядке, то требуемого разбиения С, очевидно, не существует. Приведем соответствующий пример. Пусть и = {1, 2, 3,4},
А = {{1, 2}; {3}; {4}}, В = {{1, 2}; {3,4}}.
Ясно, что А С В, поэтому, согласно теореме, любое С из отрезка [А; В] должно удовлетворять условию А С С С В. То, что С Э А, означает, что объекты 1 и 2 в С должны попасть в один кластер. Если 3 и 4 попадут при этом в один кластер, то С = В, иначе С = А, и строго внутри отрезка разбиений нет.
Результаты работы могут быть применены, например, для нахождения точных вероятностных распределений расстояний между двумя кластерными разбиениями некоторого множества, если одно из них фиксировано, а другое может считаться случайным. Потребность в знании таких распределений возникает в самых разных областях, например, в доказательной медицине [12] или обработке социологических данных [13].
Библиографический список
1. Айвазян С.А., Бухштабер В.М., Еню-ков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. — М., 1989.
2. Mills P. Efficient statistical classification of satellite measurements. // International Journal of Remote Sensing. — 2011. — № 32 (21). DOI: 10.1080/01431161.2010.507795
3. Бериков В.С., Лбов Г.С. Современные тенденции в кластерном анализе // Всероссийский конкурсный отбор обзорно-аналитических статей по приоритетному направлению «Информационно-телекоммуникационные системы». — Новосибирск, 2008.
4. Dronov S.V., Dementjeva E.A. A new approach to post-hoc problem in cluster analysis // Model Assisted Statistics and Applications. -2012. — Vol. 7, № 1. DOI: 10.3233/MAS-2011-02-01.
5. Биргхоф Г. Теория решеток. — M. ; 1984.
6. Gratzer G. Lattice Theory: Foundations. — N.Y.: 2011.
7. Khamsi M.A. An Introduction to Metric Spaces and Fixed Point Theory. — San Francisco, CA: 2001.
8. Бураго Д.Ю., Бураго Ю.Д., Иванов С.В. Курс метрической геометрии. — М.; Ижевск, 2004.
9. Гуров С.И. Булевы алгебры, упорядоченные множества, решетки: определения, свойства, примеры. — М., 2013.
10. Дьёдонне Ж. Линейная алгебра и элементарная геометрия. — М., 1972.
11. Kaplansky I. Set Theory and Metric Spaces. — Washington, DC: 2001.
12. Sackett D.L., Rosenberg W.M., Gray J.A., Haynes R.B., Richardson W.S. Evidence Based Medicine: What It Is and What It Isn't // BMJ — 1996. - № 312 (7023). D0I:10.1136/bmj.312.7023.71
13. Bryukhanova E.A., Dronov S.V., Chekryzhova O.I. Spatial Approach to the Analysis of the Employment Data in Siberia Based on the 1897 Census (the Experience of the Multivariate Statistical Analysis of the Districts Data) // Journal of Siberian Federal University. Humanities & Social Sciences. — 2016. — № 7. DOI: 10.17516/1997-13702016-9-7-1651-1660.
