Формализация представлений о зависимости, связи Текст научной статьи по специальности «Математика»

УДК 51.001.57

В.Ф. Гречушников

ОАО «Шахта «Березовская»

Формализация представлений о зависимости, связи

Сделана попытка точно сформулировать понятия, лежащие в фундаменте математического моделирования в описательных науках. Это «признак», «свойство», «связь» (зависимость). Уделено внимание некоторым аспектам применения состоятельных, по терминологии А.Н. Колмогорова, мер зависимости случайных величин, полученных при обобщении понятия энтропии

1 Понятие формального свойства

Рассмотрим некоторое универсальное множество и. Пусть И;сИ подмножества множества и. Термины - признак, класс, подмножество, унарное отношение на и будем считать синонимами. Пусть теперь имеем набор признаков И , 1 е I, где I - индексное множество, причём эти признаки образуют разбиение 8 множества И. Существует эквивалентность, отвечающая разбиению 8 . Обозначим её а. Иными словами, 8 есть фактормножество множества И по отношению к а. Символически: 8 = И / а.

Назовём множество 8 формальным свойством. Отношение а назовем порождающим данное формальное свойство. Таким образом, свойство - это множество не менее чем второго порядка. Элементами этого множества являются признаки, которые сами являются множествами, и которые мы будем также называть значениями свойства. Также употребляется термин «пункты шкалы» [1]. Здесь свойство названо шкалой, а пункт есть не что иное, как значение свойства, признак. Кроме того, этот термин предполагает, что между значениями свойства могут быть дополнительно установлены некоторые другие отношения и, возможно, операции.

2 Примеры свойств

2.1 В некоторых случаях будет удобно рассматривать свойство «цвет», принимающее три значения (состоящее из трех признаков): {«красный», «желтый», «зеленый»}. Более общо: номинальное свойство - это монотетическая классификация или классификация, проведенная по единственному основанию. Классы её - это признаки (значения свойства). Укажем на отличие шкалы от свойства. Номинальная шкала - это реляционная система <И, а> [1]. Номинальное свойство - это фактормножество 8 = И / а.

2.2 Совокупность классов вычетов является формальным свойством. Пусть Ъ множество целых чисел, т е Ъ некоторое число, большее единицы. Рассмотрим совокупность классов выче-

тов по модулю числа m. Это разбиение множества Z всех целых чисел на m непересекающихся подмножеств: Z/m = {I0, Ib ... ,Im-1}. В каждое из подмножеств Ik с Z входят все числа, дающие остаток k при делении на m. Такое подмножество называется классом вычета k. Классы вычетов можно складывать и умножать. Если число m простое, то формальное свойство Z/m обладает многими свойствами действительных чисел или, как говорят, «богатой структурой». При m = 2 это формальное свойство имеет специальное название «четность» и выглядит так: Z/2={I0, I1}, где I0 -это класс вычета 0 по mod 2, т.е. четные числа, I1 - класс вычета 1 по mod 2, или нечетные числа.

2.3 Натуральные числа являются формальными свойствами. Каждому множеству A поставим в соответствие объект | А |, называемый мощностью этого множества, так, что | А | = | В | тогда и только тогда, когда существует взаимно однозначное отображение множества А на множество В [2]. В этом случае А и В равномощны. В частности, пустому множеству 0 поставим в соответствие в качестве мощности число 0, а множеству {a1, a2, ... an}, состоящему из n элементов (n=1, 2, ...), число n. Мощности множеств называются также кардинальными числами. Натуральное число есть кардинальное число конечного класса [3]. В соответствии с этим, например, число 2 есть класс всех пар, т.е. множество, элементами которого являются все двухэлементные подмножества. Отношение равномощности рефлексивно, симметрично и транзитивно и является поэтому отношением эквивалентности, порождающим кардинальные (в том числе натуральные) числа.

2.4 Рациональные и действительные числа являются формальными свойствами. Возьмем для примера рациональное число ЛА. Оно интерпретируется как отношение, в котором 1 находится с любым целым числом, начиная с 3 и выше, в котором 2 находится с любым целым, начиная с 5, и т.д. Иначе говоря, число ЛА становится классом всех упорядоченных пар (a, b), в которых a «менее чем вдвое меньше» чем b. Действительное число 1/п , например, выступает как отношение, в котором 1 находится с каждым целым числом, начиная с 4 и выше, 2 - с каждым целым от 7 и выше, 3 - с каждым целым от 10 и выше и т.д. [4].

Обратим внимание на терминологию. Везде для именования свойства используется существительное. Признаки именуются прилагательными. Например, свойство «опасность» имеет следующую структуру {опасный, неопасный}.

Из изложенного вытекают два условия «правильности» свойств:

- признаки образуют покрытие исходного множества. Нельзя сопоставлять два свойства не на пересечении их носителей;

- дизъюнктность признаков. Если два признака пересекаются, то мы вынуждены вместо них вводить новый - объединение этой пары. Если в результате такого рода объединений мы придем к единственному признаку, то информативность такого свойства равна нулю.

Оговоримся сразу, что не все свойства, изучаемые в анализе данных, имеют столь регулярное строение и в принципе ничто не мешает рассматривать свойства с порождающим отношением а, не являющимся отношением эквивалентности. Однако это ведет к значительному снижению информационной ёмкости свойства и, следовательно, малой прогностической ценности его.

3 Отношения связи

Рассмотрим теперь два свойства A = И / а = и В = И / р = {Ь]} с одним и тем же носителем И. Через а и р обозначены отношения эквивалентности, порождающие свойства А и В. Признаки а! е А и Ь е В связаны, если а! п Ь Ф 0. Совокупность связанных пар назовем отношением связи между свойствами А и В. Заметим, что для каждого а е А найдется хотя бы один Ь е В, связанный с а^ Это следует из того, что каждый элемент множества И обязательно входит в какое-либо а! е А и какое-либо Ь е В. Тем самым мы установили, что отношения связи обладают свойствами всюду определенности и сюръективности. Очевидно, что обратное отношение ф"1 также обладает этими свойствами. Таким образом, если произвольное отношение ф с А х В - это частично определенная многозначная функция А в В (частичное мультиотображение из множества А в множество В), то отношения связи это всюду определенные многозначные функции из множества А на множество В. Каждый а1 е А имеет хотя бы один образ, и каждый Ь е В имеет не менее одного прообраза. При этом матрица смежности отношения связи в каждом столбце и в каждой строке содержит не менее одной единицы.

4 Крайние случаи отношений связи

Пусть ф с A х B - отношение связи.

4.1 Полная односторонняя зависимость В от А имеет место, если отношение связи ф функциональное. Действительно, всюду определенное, функциональное и сюръективное отношение ф как раз и является отображением А на В. Более подробно остановимся на вопросе, что имеется в виду под полной зависимостью. Пусть нам предъявлен любой х е И и, кроме того, известно, в какой признак а! свойства А данный элемент попадает: х е а!. Тогда при помощи отношения связи мы можем однозначно решить вопрос о том, в какой из признаков Ь свойства В нужно отнести данный элемент. Другими словами, знание свойства А устраняет всякую неопределенность в отношении свойства В. В таблице 1 приведен график функционального отношения связи.

Ьз 1

Ь2 1

Ь1 1 1

а1 а2 а3 а4

Если вместо функциональности имеет место инъективность, то обратное отношение ф"1 будет отображением В на А, и мы имеем полную зависимость А от В.

4.2 Если функциональность и инъективность имеют место одновременно, то мы получим биекцию, взаимно-однозначное отображение А на В (другими словами, полную двухстороннюю зависимость свойств А и В).

4.3 Полная независимость. В случае полной независимости свойств А и В отношение ф полное. Обратное неверно. Если отношение связи полное, нельзя утверждать, что имеет место полная независимость.

Отношения связи определены именно для свойств, но не для признаков (значений свойств). Признаки могут быть совместны или несовместны (дизъюнктны). Например, все признаки одного свойства дизъюнктны.

5 Связь логическая

Примером формального свойства может служить истинность в классической математической логике. Это множество из двух элементов. Один из них называется истиной и обозначается символом 1, другой ложью и обозначается символом 0.

I = {1, 0}.

Алгебра, образованная множеством I вместе со всеми возможными операциями на нем, называется алгеброй логики. Нас будут интересовать бинарные операции на I со значениями в I -называемые функциями алгебры логики или просто логическими функциями. Всего их 16, и они приведены в таблице 2. Это хорошо известные: конъюнкция ¥1 , дизъюнкция ¥7 , импликация у13 и другие.

Таблица 2

а Ь ¥0 ¥1 ¥2 ¥з ¥4 ¥ 5 ¥б ¥7 ¥8 ¥9 ¥10 ¥11 ¥12 ¥13 ¥14 ¥15

0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1

0 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1

1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1

1 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1

Каждой из них однозначно соответствует бинарное отношение [2]. Они приведены в таблице 3 в виде матриц смежности.

Таблица 3

¥0 0 1 ¥1 0 1

0 0 0 0 0 0

1 0 0 1 0 1

¥4 0 1 ¥5 0 1

0 0 0 0 0 0

1 1 0 1 1 1

¥ 8 0 1 ¥9 0 1

0 1 0 0 1 0

1 0 0 1 0 1

¥12 0 1 ¥13 0 1

0 1 0 0 1 0

1 1 0 1 1 1

¥2 0 1

0 0 1

1 0

¥б 0 1

0 0 1

1 1

¥10 0 1

0 1 1

1 0

¥14 0 1

0 1 1

1 1 0

¥з 0 1

0 0 1

1 0 1

¥7 0 1

0 0 1

1 1 1

¥11 0 1

0 1 1

1 0 1

¥15 0 1

0 1 1

1 1 1

Из этой таблицы видно, что отношениями связи будут 7 из них. Матрицы смежности этих отношений содержат в каждом столбце и в каждой строке не менее одной единицы.

5.1 Полная двухсторонняя зависимость. Это два отношения у9 -эквивалентность и у6 - неравнозначность (соответствующая логической операции сумма по mod 2). Отношения эти таковы, что, определив значение одного из формальных свойств (в данном случае логических переменных a или b), мы полностью детерминируем значение другого свойства.

5.2 Слабая связь. Таких отношений 4. Это всевозможные виды следования:

у13 импликация a ^ b, уп импликация b ^ a,

у7 импликация - a ^ b, у14 импликация b a.

5.3 Полная независимость. Этому случаю соответствует у15 полное отношение.

6 Измерение

Вначале несколько цитат. Посмотрим варианты употребления термина «измерение»:

- измерение - процесс определения отношения измеряемой величины к другой однородной величине, принятой за единицу измерения [5];

- мы определяем измерение как акт присвоения чисел вещам (предметам или событиям) согласно некоторой системе правил [6];

- приписывание различным проявлениям некоторого свойства материальных объектов определенных действительных чисел с целью его познания называется измерением этого свойства [7];

- измерение - есть приписывание чисел вещам в соответствии с определенными правилами. Номинальное измерение - процесс группирования предметов в классы, когда объекты, принадлежащие к одному классу, идентичны в отношении некоторого признака или свойства [8];

- измерение некоторого фиксированного качества данного объекта есть процедура указания для градации качества, присущей измеряемому объекту, соответствующего пункта измерительной шкалы [1].

По-видимому, измерение в широком смысле - это опосредованное познание - через отношение изучаемого свойства P к уже изученному Q. При этом, как правило, P недоступно для непосредственного наблюдения, либо оно связано с большими затратами труда и времени.

Пусть P - «прямое» свойство, Q - «косвенное» и ф - отношение связи между ними. Измерением назовем тройку <P, Q ,ф>. Нас будет интересовать оценка возможности прогноза неизвестного P по известному Q. При этом ф выступает в роли «переносчика информации».

7 Взаимная информация

В п. 7.1 рассмотрим информационные меры зависимости на основе энтропии по Шеннону. Эта тема неоднократно рассматривалась и является общеизвестной. Нам это рассмотрение потребуется для лучшего понимания условий применения геометризованной энтропии и мер зависимости на ее основе. Об этом речь в пункте 7.2.

7.1. Пусть X и У - два дискретных множества. Х={хь х2,..., хм}, У={уь у2,..., ум}-

Рассмотрим систему (вероятностный ансамбль) {ХУ, р^}, рщ=Р(Х~хъ У~у|), которая образована всевозможными парами (хь у^еХУ. При задании системы ХУ определены также системы

M N

{X, ri}, ri=P(X~Xi) и {Y, Sj}, Sj=P(Y~yj), где r, = £ pv, Sj = £pv.

j=1 i=1

Тем самым определена вероятностная модель таблицы сопряженности - совместной встречаемости значений одного свойства с некоторыми значениями другого свойства. Отношение связи можно получить из таблицы сопряженности заменой ненулевых вероятностей единицами. Запишем энтропии полученных систем:

N M

h(x,y)=-££ pjl0§pj;

¿=1 ;=i

N

H(X) =-£ n log n;

i=1 M

H (Y) = -£ sj log sj.

j=i

Выражение для информации в симметричной форме:

I(X,Y)=H(X)+H(Y)-H(X, Y).

Соотношения между информацией условной и безусловной энтропии и энтропией сложного ансамбля хорошо иллюстрируются таблицей 4.

Таблица 4

H(X)

H(X/Y) I(X,Y) H(Y/X)

H(Y)

H(X,Y)

Получили распространение асимметричная и симметричная меры зависимости. Обе обращаются в нуль при равенстве нулю взаимной информации 1(Х,У).

I ( X ,У )

Асимметричная мера зависимости: К(У / X) = ^(у) обращается в 1 в случае полной зависимости У от Х.

I ( X ,У )

Симметричная мера зависимости: R(X,Y) = ■

H ( X, Y )

обращается в 1 в случае 1-1 зависимости Y и X.

Очевиден смысл этих показателей как меры относительной редукции неопределенности Y при получении знания о X. Недостаток их в том, что свойства, измеренные в числовых шкалах, нужно предварительно привести к номинальной шкале. При этом теряется информация о значениях переменных. Кроме того, число градаций-классов и их наполнение в значительной мере произвольны.

7.2 В работе [9] предложен новый подход к понятию вероятностного пространства. В геометризованном пространстве близости вводится энтропия, которая опирается не только на вероятности событий, но и на нормированное расстояние р между ними. Геометризованная энтропия определяется формулой

N N

B(X) = -£plog^(1-р)p.

¿=1 j=i

Удобно вместо нормированного расстояния ру ввести меру сходства ^1J=1-p1J. В-энтропия

NN

примет вид: B (X) = -X pi log ^Aypy.

¿=1 j=1

В том случае, когда ^1J=51J , где 51J -символ Кронекера, В-энтропия переходит в Н-энтропию, достигая при этом максимального значения при фиксированном распределении вероятностей p1 [9].

В-энтропия сложного ансамбля будет иметь вид:

N M N M

B (X, Y) = -XS Pk log ЕЕ ^ , (1)

i=1 k=1 j=1 1=1

где , ц1к - меры сходства. В силу ассоциативности умножения матриц В-энтропия сложного ансамбля симметрична B (X, Y) = B(Y,X). Здесь использована симметричность мер сходства.

Покажем теперь, что В-энтропия переходит в Н-энтропию в более широком классе случаев. Пусть X - вероятностный ансамбль, состоящий из элементарных событий (xb x2,..., xN}. Вероятности их осуществления гь r2,...,rN соответственно. Рассмотрим матрицу Л=[Ху], Lj=1,2, ... , N. Пусть Ху принимают значения из множества {0,1}, то есть Л является ноль-единичной матрицей. Кроме этого потребуем, чтобы Л была приводима к блочно-диагональному виду путем одновременной перестановки строк и столбцов. Другими словами, Л является характеристической матрицей некоторого отношения эквивалентности, порождающего разбиение множества Х. Каждый класс разбиения (обозначим его uk) является объединенным событием с вероятностью осуществления, равной сумме вероятностей элементарных событий в этот класс входящих. Пусть число

k

полученных классов L, N-число элементарных событий в k-том классе, k=1,2,...,L, Tk =XNi ,

i=1

Tk

pk = Xri вероятности объединенных событий. В результате получим новый вероятностный ан-

i=Tk-1 +1

L

самбль U={ubu2,...,uL} с H-энтропией: H (U) = S Pk log pk .

k=1

Геометрическая энтропия ансамбля Х с матрицей сходства Л в точности равна этой величине.

N N N1 N1 N1+N2 Nj+N2 Tl Tl

B(X) = -Zr =-Zr lo§Zr; - Z r log Zrj -•••- Z r log Zrj .

i=1 j=1 i=1 j=1 ¿=N1+1 j=N1+1 !=Tl-1+1 j=Tl-1+1

Поскольку логарифмы от индекса i не зависят, их можно вынести за знаки сумм. Опуская преобразования, запишем результат - выражение уже шенноновской энтропии для L событий, по-

лучившихся от слияния: B(X) = H(U) = —ZРкlogpk.

к=1

Так как единичная матрица является частным случаем блочно-диагональной, то полученный результат справедлив и для неё, что и было отмечено в начале этого пункта. Кратко полученный результат можно сформулировать так: B-энтропия правильно считает энтропию «четких» кластеров.

Если обе матрицы Л=[А,у] и M=[^lk] блочно-диагональные, то геометризованная энтропия сложного ансамбля B(X,Y) переходит в H-энтропию по следующему правилу:

LU LV

b(x,y) = H(U,V) = —ZZ qjlogqj, (2)

¿=1 j=1

где U получен «укрупнением» Х, как было показано выше, V аналогично получается из Y, а матрица Q получается из P «укрупнением» последней в два приема. Вначале рассчитывается матрица Q = [qkj-] k=1,2,^,LU; j=1,2,...,M; суммированием строк матрицы P = [pij] по формуле

_ Jk Sk _

qkj = ZPj , затем матрица Q по столбцам по аналогичной формуле q к = Z qa , Sk имеет та-

i=Tk—1 +1 l=Sk—1 +1

кой же смысл, что и Tk, только рассчитывается не для ансамбля U, а для ансамбля V. Порядок вычислений по двум предыдущим формулам значения не имеет. Доказательство аналогично приведенному выше для ансамбля Х с матрицей сходства Л.

Приведем пример расчета геометризованной энтропии сложного ансамбля с блочно-диагональными матрицами сходства.

Матрица сходства для столбцов [ц1к]

1

1

1 1 1

1 1 1

1 1 1

Матр. сходства для строк [Ху]

Таблица сопряженности [ри]

1 1 0,15 0,1 0,25

1 1 0,2 0,2

1 0,23 0,05 0,28

1 0,15 0,12 0,27

0,15 0,3 0,23 0,2 0,12 1

Результат умножения [ец]=[Хц] |р,||

0,15 0,3

0,15 0,3

0,23 0,05

0,15 0,12

0,15 0,3 0,45

0,28 0,28

0,27 | 0,27

0,15 0,3 0,55 | 1

Результат умножения [5к]=

0,15 0,3

0,15 0,3

0,28 0,28 0,28

0,27 0,27 0,27

ец] l^ikl

B (X,Y) = Pklog fk =1,9559

i=1 k=1

«Укрупненная» таблица сопряженности [qj

Нетрудно видеть, что Н-энтропия этого ансамбля, рассчитанная по формуле (2), также равна 1,9559 бит.

Запишем выражение для геометризованной информации:

1(Х,У)=Б(Х)+Б(У)-Б(Х,У).

Итак, мы установили, что информация по Шеннону является частным случаем геометризованной информации и появляется тогда, когда матрицы сходства в (1) имеют специальное строение, а именно являются блочно-диагональными. В свою очередь блочно-диагональная матрица сходства является характеристической матрицей отношения эквивалентности, порождающего «четкое» разбиение.

Аналогично пункту 7.1, вводятся меры зависимости с использованием геометризованной информации.

Асимметричная мера зависимости:

Симметричная мера зависимости:

Они также обобщают соответствующие Р-коэффициенты.

Наиболее широко среди мер зависимости известен, конечно, обычный коэффициент корреляции. Однако главным недостатком мер зависимости, основанных на линейной корреляции, является, как известно, возможность их обращения в нуль даже в случае существования детерминированной зависимости между парой исследуемых переменных. Кроме того, коэффициент корреляции не работает в нечисловых шкалах.

Принятая мера зависимости относится к классу состоятельных по введенной А.Н. Колмогоровым терминологии мер зависимости. Сильная состоятельность некоторой меры зависимости ц(Х,У) случайных величин X и У означает, что ц(Х,У)=0 тогда и только тогда, когда X и У стохастически независимы, а в случае детерминированной функциональной связи между X и У |и(Х,У)=1. Интерес к состоятельным мерам зависимости (в том числе нелинейным) проявляется, например, в теории автоматического управления при решении задачи идентификации объекта управления. Необходимо особо подчеркнуть, что введенная Б-мера дает возможность одновременного анализа разнотипных свойств без сведения их к одному типу шкал.

Выше мы установили границы применимости информации по Шеннону. Она находит применение, когда сопоставляются два «правильных» свойства или свойства, порожденные отношением эквивалентности. Однако характерной особенностью реальных классификаций является их размытость, нечеткость границ между классами. Кроме того, сама классификация зачастую описывается исследователем в терминах сходства (близости) одних объектов и удаленности других. Например, общепринятый подход при типологической группировке [10] можно кратко описать так:

- наибольшая однородность внутри групп (классов);

- возможно большее различие между группами.

Предложенные выше геометризованная информация и меры зависимости на её основе учитывают именно эти обстоятельства. Например, свойства могут быть получены факторизацией исходного множества по отношению толерантности (псевдоэквивалентности). В других случаях отвечающей существу задачи может оказаться обычная линейная метрика. Инвариантом остается лучшая приспособленность геометризованной информации к запросам практики.

1 Хованов, Н.В. Математические основы теории шкал измерения качества. -Л.: Изд. ЛГУ, 1982. - 186 с.

2 Мальцев, А.И. Алгебраические системы. - М.: Наука, 1970. - 392 с.

3 Тарский, А. Введение в логику и методологию дедуктивных наук. - М.: ИЛ, 1948. - 328 с.

СПИСОК ЛИТЕРАТУРЫ

4 Куайн, У.В. Основания математики //Математика в современном мире. - М.: Мир, 1967.

- 205 с.

5 Кондаков, Н.И. Логический словарь-справочник. -М.: Наука, 1976. - 720 с.

6 Холл, А. Опыт методологии для системотехники. - М.: Сов. радио, 1975. - 447 с.

7 Котов, В.Н. Применение теории измерений в биологических исследованиях. - Киев, 1985.

- 98 с.

8 Гласс, Дж. Статистические методы в педагогике и психологии/ Дж. Гласс, Дж. Стенли.

- М.: Прогресс, 1976. - 495 с.

9 Леус, В.А. О геометрическом обобщении энтропии// ППИ. - 2003. -Том 39. - Вып. 2. -С. 15-22.

10 Елисеева, И.И., Рукавишников В.С. Группировка, корреляция, распознавание образов/ И.И. Елисеева, В.С. Рукавишников. -М.: Статистика, 1977. - 144 с.