Принцип минимального информационного рассогласования в задаче распознавания дискретных объектов Текст научной статьи по специальности «Математика»

УДК 621.391:519.72

В. В. Савченко

Нижегородский государственный лингвистический университет

А. В. Савченко

Нижегородский государственный технический университет

Принцип минимального информационного рассогласования в задаче распознавания дискретных объектов

Ставится и решается задача распознавания случайных дискретных объектов по конечным выборкам наблюдений за их состояниями на основе принципа минимального информационного рассогласования распределений в метрике Кульбака-Лейблера. Предложен асимптотически оптимальный алгоритм с обнаружением и отклонением сомнительных решений. Рассмотрен пример его применения в задаче лингвистического анализа текстов.

Случайная величина, распределение вероятностей, выборка наблюдений, задача статистической классификации, распознавание образов, критерий минимума информационного рассогласования

Во многих областях прикладных исследований, таких, как задачи технической и медицинской диагностики, лингвистического анализа и др., где вся доступная информация заключена в конечных выборках наблюдений, возникает необходимость по возможности точно ответить на вопрос: насколько существенно отличаются свойства анализируемых объектов между собой? В рамках универсального статистического подхода указанная задача обычно сводится к задаче их статистической классификации. Принцип минимума информационного рассогласования (МИР) является одним из наиболее эффективных инструментов для ее решения. Это было показано, в частности в работах [1], [2], в предположении о гауссовском распределении результатов наблюдений. Далее дается обобщение принципа МИР на задачи с произвольными распределениями вероятностей, но только для дискретного стационарного случая.

Задача статистической классификации. Пусть Рг = {ргг = Р(X = аг); г = 1, N,

г = 1, Я - набор альтернативных распределений вероятности Р некоторой случайной дискретной величины X, определенной на множестве различных состояний объекта анализа

N

{ц} при очевидных ограничениях ^рг1 = 1Уг < Я (условие нормировки) и рг1 ^ 0Уг < Я,

г =1

г < N (условие регулярности). И пусть Х1, Х2, ..., Хп - п-выборка независимых наблюдений (п > N), распределенных по закону Р е {Рг} (какому именно - неизвестно) из

множества заданных альтернатив. Задача распознавания объекта X сводится в таком случае к проверке Я статистических гипотез о его законе распределения:

Жг : Р = Рг, г = 1Я. (1)

10

© В. В. Савченко, А. В. Савченко, 2005

Рассмотрим сначала эту задачу в наиболее простом варианте дихотомии (Я = 2) : проверяется гипотеза Ц\: Р = Р^ против альтернативы : Р = Р2 .

Воспользуемся для ее решения классическим критерием максимального правдоподобия. При этом заключение в пользу гипотезы Щ будем принимать по выборке

X = {X .} из условия

Щ (X) : 1 ( X) = р (X / Щ )/р (X / Щ ) > 1, (2)

где р^ / Щ ) - функция правдоподобия г-й гипотезы Щ, г = 1, 2.

Синтез оптимального алгоритма. Учитывая независимость наблюдений {X^} в

совокупности, с использованием аппарата абстрактных 8-функций Дирака получим сис-

п N

тему очевидных равенств р(X/Жг) = ПХ^(Х]~а1), г = 1, 2.

] =1г=1

Подставив их в выражение (2), будем иметь

п N

ПХ(^-а) п Г N ^

Щ(X>: * (X) = ^-= П Х7Т 7 X - Щ) > ^ (3)

ПХ Р2г-8 (Х] - а) >г=1 Р2г;

j =1г=1

где I (X^ - аг-) - функция единичного скачка при равенстве X^ = аг-.

После несложных преобразований из (3) окончательно получим

^ N „ ^ N ^ \пм!г

W (X): Х(X) = П Х~ I(Xj-a, ) = П

j =l{i=1 p2i ) i =1 Vp2i )

Pli

>1

или, что эквивалентно,

N / p \w,

W1 (X): П — > 1. (4)

=1 V p2i

i =1

п

Здесь введено обозначение = ^ I (Xj - а^ ^п - относительная частота появления

j=1

г-го состояния объекта а^, г = 1, N в серии из п наблюдений.

Определение 1. Последовательность (или ряд) Р = } определяет эмпирический закон распределения состояний рассматриваемого объекта по результатам п независимых наблюдений.

Утверждение 1. В условиях введенных ранее ограничений на объекты статистической классификации из (1) критерий максимального правдоподобия (МП) эквивалентен критерию минимума величины информационного рассогласования (в метрике Кульбака-Лейблера)

эмпирического распределения Р относительно рассматриваемых гипотез Р1 и Р2.

= min, r = 1, R, v< R. (6)

Доказательство. В соответствии с определением величины информационного рассогласования распределений по Кульбаку-Лейблеру [3] можно записать р(Р/Pr) =

N

= ^wi log(wi/Pri), r = 1, 2 . Тогда, следуя критерию МИР [1], получим решающее правило: i=1

W1 (X): X (X) = р (рр/р2)-р (:Р/р1) > 0, (5)

NN которое сводится к проверке условия W[ (X): ^ wi log (wi /p2i) > ^ wi log (wi /py ).

i =1 i=1 Путем простых его преобразований приходим к выражению для решающей стати-

П (P '/w- )wi

стики 1(X) = log ————. Нетрудно убедиться, что полученный результат ничем не

i=1 (P2i/wi у-

отличается от критерия МП (4), что и требовалось доказать.

Распространив по индукции решающее правило (5) на произвольное число альтернатив R > 2 в задаче распознавания (1), придем к следующему утверждению.

Утверждение 2. Оптимальный алгоритм распознавания R случайных дискретных объектов общего вида реализует принцип минимума информационного рассогласования эмпирического распределения P относительно всех рассматриваемых альтернатив:

N

W1 (X): £ w- log (wi/pri) i =1

Это стандартная формулировка критерия МИР в многоальтернативном варианте [1]-[3]. В данном случае она охватывает все мыслимое многообразие дискретных распределений {Pr} при несущественных для практики ограничениях на их нормировку и регулярность.

Анализ эффективности. Эффективность синтезированного алгоритма (6) может быть охарактеризована набором условных вероятностей перепутывания каждого v-го объекта анализа с каждым r-м объектом:

aVr = P W (X) Wv ] = P{р[(P/Pv) > р(P/Pr )]| Wv}, v ф r = 1R. (7)

К сожалению, строгий анализ выражения (7) в общем случае наталкивается на непреодолимые трудности вычислительного характера. Поэтому упростим задачу, сведя ее к асимптотическому случаю n ^ да. Рассмотрим отдельно каждый из элементов под знаком вероятности P{} в (7). Известно [3], что при справедливости гипотезы Wv статистика

N 1

р(P/pv) = ^wi log(wi/pyi) = (2n) %N-1 с точностью до константы (2n) асимптотиче-i=1

ски распределена как xN-1 -случайная величина Пирсона с (N -1) -й степенью свободы. С другой стороны, при том же условии выполняется асимптотическое равенство

р (Р/Pr) W —п н. >р (Pv/Pr ), где п.н. - сходимость с вероятностью "единица", или "почти

r r =v

======================================Известия вузов России. Радиоэлектроника. 2005. Вып. 3

N

наверное" к величине информационного рассогласования р (Pv/Pr ) = ^ pvi log (pyi¡pri) ме-

i=1

жду v-м и r-м объектами анализа. На основании изложенного из (7) в асимптотике будем иметь

, V * r = \R . (8)

Чем больше "расстояние" между двумя объектами в теоретико-информационном смысле, тем сложнее их перепутать при распознавании по имеющейся выборке наблюдений. При увеличении объема выборки n до бесконечности вероятность ошибочных решений в соответствии с (8) в пределе уменьшается до нуля, что означает оптимальное решение поставленной задачи (1) в асимптотике. Сделанный вывод имеет непосредственное отношение к задаче распознавания образов как обобщению задачи статистической классификации на случай априорной неопределенности в отношении анализируемых распределений [4].

Задача распознавания образов. Наиболее общая формулировка большинства задач статистической обработки информации может быть дана в терминах теории распознавания образов: требуется отнести предъявляемый объект анализа Х (в нашем случае - выборку объема n) к одному из (R > 1) классов, строго говоря, заранее точно не определенных. Каждый класс характеризуется тем, что принадлежащие ему объекты обладают некоей общностью или сходством. То общее, что объединяет объекты в класс, и называют образом. Иными словами, каждый конкретный объект наблюдения задается в виде его

вполне определенного образа, т. е. некоторого набора устойчивых признаков Pr, r = 1, R. В таком случае решение рассматриваемой задачи (1) сводится к установлению отношения эквивалентности между соответствующим набором признаков объекта наблюдения X и одного из R образов в базе априорных данных.

Проблема состоит в том, что каждому конкретному образу обычно присуща известная вариативность, т. е. изменчивость его признаков от одного объекта наблюдения к другому, которая носит к тому же неопределенный, случайный характер. Обычно решение данной проблемы связывают со статистическим подходом, когда в роли каждого образа Pr выступает соответствующий закон распределения повторной выборки наблюдений из некоторой гипотетической генеральной совокупности. Задача установления отношения эквивалентности общего вида (1) переходит в таком случае в задачу проверки статистических гипотез о неизвестном законе распределения. Но здесь возникает новое препятствие, а именно: проблема встречных гипотез в отношении вида каждого из R альтернативных распределений. Радикальное средство для ее преодоления - это восстановление неизвестных законов Pr, r = 1, R в процессе предварительного обучения. Указанное обучение осуществляется,

например по повторным выборкам X r = {X j), j = 1, nr} конечных объемов nr, r = 1, R,

принадлежность которых к тому или иному классу (образу) заранее точно известна

Утверждение 3. При априорной неопределенности в отношении гипотетических распределений в задаче (1) асимптотически оптимальный (состоятельный) критерий многоальтернативного распознавания случайных дискретных объектов сводится к критерию

а =P

lAyr L

XN-1 > 2np (Pv/Pr )

МИР между эмпирическими законами распределения наблюдаемого объекта X, с одной стороны, и каждой из Я его альтернатив, с другой, т. е.

N

Wv (X): р(P/p.) = X ^ log(Wi/Bn)

>r =v

N-1

= min, r = 1, R, v< R, (9)

r

r =v

где 9ri = (1/nr ) ^ I (xjГ - aii = 1, N - оценка r-го распределения по r-й обучающей вы-j=1

борке {xj}}; Pr = (9ri}, r = \R.

] Г Г

Доказательство изложенного вытекает из свойства сильной состоятельности оценок

п н

вероятностей Vг < Я : 9П- > рг1, / < N [4], [5], а также из рассмотренных асимптотических свойств (8) критерия МИР.

Еще более общий вывод формулируется следующим образом.

Утверждение 4. Асимптотическая оптимальность критерия МИР в формулировке

(9) распространяется на задачи (1) любой размерности т > 1.

Доказательство следует из очевидной справедливости утверждений 1-3 при замене в них всех скалярных на соответствующие т-мерные (векторные) величины:

X j = (Xji, l = 1, m ), xjГ = (xj}, l = 1, m ), a, = (an, l = 1, m ), r < R, j < n, i < N.

Wv (X): X Wi log Or, i=1

Отметим в заключение, что в соответствии с утверждением 1 строгим эквивалентом (9) на множестве всех допустимых решений задачи (1) в условиях априорной неопределенности является алгоритм

N

' = max, r = 1, R, v< R, (10)

r

r=v

реализующий критерий МП (4) в адаптивном варианте [4].

Сопоставив выражения (9) и (10) между собой, придем к выводу, что критерий МИР - одна из возможных интерпретаций классического критерия МП в задачах распознавания дискретных объектов общего вида, причем во многих своих приложениях такая интерпретация имеет ряд важных для пользователя преимуществ. Одно из них уже использовалось авторами статьи при выводе выражения для ошибки распознавания (8) в терминах теоретико-информационного подхода. Второе и, по-видимому, наиболее важное преимущество критерия МИР в формулировке (9) затрагивает актуальнейшую проблему контроля надежности принимаемых решений в задачах распознавания образов. Проиллюстрируем эту проблему на примере из практики лингвистического анализа.

Пример применения. В процессе проведенных исследований были рассмотрены два текста: роман "Идиот" Ф. Достоевского и повесть "Судьба человека" М. Шолохова. В качестве показателя их стилистических особенностей, весьма условного, но вместе с тем информативного и наглядного, выбрана сложность (длина) каждого отдельного предложения в обоих произведениях, измеряемая количеством используемых в нем слов. В рам-

ках применяемого статистического подхода обозначим ее как случайную величину X у Достоевского и У у Шолохова. Никакими априорными данными об их распределениях вероятностей Р^ и Р2 авторы настоящей публикации не располагали. Поэтому для анализа

были вначале получены эмпирические распределения Р^ и Р2 по выборкам

Хг = |X7 , у = 1, пг |, г = 1, 2, объемами щ = 1650 и П2 = 860, определявшими числом последовательных предложений в текстах "Идиот" и "Судьба человека" объемами 100 000 и 70 000 знаков соответственно. При этом применялась стандартная процедура вычислений с регуляризацией вида

Qri = (nr + N)

-1

I 7 = 1, N, r = 1, 2,

(11)

t L7 (xjr -1)+1

где объем N множества различных состояний обоих объектов {a = i < N} был установлен

равным 70*. Полученные кривые эмпирических распределений показаны на рисунке в виде двух графиков: сплошная линия для текста "Идиот" и штриховая - для текста "Судьба человека". Видно, что различия между ними не носят качественного характера. Их количественная характеристика - величина информационного рассогласования - рассчитана

N

по формуле Кульбака-Лейблера: р (Pj/P2 ) = ^ Вц (В^ /B2i) = 0.090. На этом был завершен

i=1

этап подготовки данных для распознавания.

На втором, заключительном этапе вычислений была сформирована независимая выборка наблюдений {Xj} объемом n = 590 (предложений) по фрагменту (50 000 знаков) из

текста "Идиот", который не пересекался с обучающим фрагментом. После этого по аналогии с выражением (11) был рассчитан эмпирический закон распределения P = {w-}, представленный на рисунке пунктирной линией, а также получены соответствующие значения двух решающих статистик из критерия МИР (9). В результате установлено соотношение

N

р(Р/P1) = Еw log(wt/Вц) =

i=1

= 0.059 <р(P/P2) =

N

= Е w- log (wi/В2-) = 0.176.

i=1

Таким образом, решение здесь принимается в пользу первой гипотезы, а именно, текста "Идиот". В рассматриваемом случае известно, что это верно. Однако в общем случае неизбежно возникнет во-

0.06

0.03

51 61 N

* Согласно максимальной длине предложений в рассматриваемых текстах.

прос о степени достоверности принятого решения. Казалось бы, ответом на него может служить расчет вероятности возможной ошибки по формуле (8). В данном случае она составила а12 = P[хб9 > 2• 590Р(pl/p2)] = P(Хб9 > 106 2) = 0 003 [5].

Много это или мало? На первый взгляд, очень мало: в каждой тысяче независимых испытаний возможно появление в среднем только трех ошибок. Но где гарантия, что проведенный эксперимент не взят как раз из этой тройки? Еще один вопрос: насколько устойчив этот результат по отношению к составу и к объему выборочных данных? И, наконец, в какой мере точны и корректны сами априорные данные? Вопросы подобного рода особенно актуальны в задачах распознавания образов, когда исследователи принципиально ограничены в имеющихся информационных ресурсах. К сожалению, существующая теория не дает строгих ответов на подобные вопросы. Поэтому чаще всего на практике исследователи почти исключительно полагаются на свои опыт и интуицию, а это, разумеется, далеко не всегда приводит к положительному результату. Логика рассуждений совершенно иного рода, отталкивающаяся от строгого информационного критерия МИР, реализуется в идее "обнаружения" ошибочных решений по признаку несоблюдения в сомнительных случаях минимальной решающей статистикой из (9) своих оптимальных асимптотических свойств (8).

Алгоритм с обнаружением ошибок. Предположим, что при принятии решения согласно алгоритму (9) произошла ошибка, т. е. принято решение Wy (X) при справедливости

гипотезы Wv . В соответствии с выражением (8) вероятность такого события ауу << 1 весьма мала, т. е. произошло довольно редкое событие. С другой стороны, если оно все же произошло, тогда (a posteriori) выполняется соотношение р (р/ Pv) >р (р/Py) = min р (р/Pr).

г

Вероятность такого события (a priory) равна P Xn-l > 2n min p (P/Pr) = ßvy . При малости значения ßvy << 1 предположение об ошибке в решении Wy (X) подтверждается (точнее, не

опровергается) нетипичным характером данной конкретной выборки Х. В таком случае первоначальное решение Wy (X) отбрасывается из рассмотрения как сомнительное, а эксперимент повторяется с новыми (откорректированными) данными.

Напротив, если полученное значение ßyy сравнимо с единицей, первоначальное

предположение об ошибке в решении Wy (X) опровергается, и поэтому его следует отклонить как недостаточно обоснованное.

Таким образом, признаком отбраковки решения Wy (X) в общем случае может служить соотношение вида P xN-1 >2nminр(P/Pr) <ß или, что эквивалентно,

min р (P/Pr ) >¿N-1, 1-ß/(2n) . (12)

======================================Известия вузов России. Радиоэлектроника. 2005. Вып. 3

Здесь ß - некоторый пороговый (сверху) уровень для априорной вероятности ßyy

решения Wy (X), а xN-1, l-ß - квантиль распределения Пирсона с ( N -1) степенями свободы на уровне значимости 1 -ß . В частности, при ß = 0.1 в условиях примера, приведен-

2 2 / ного на с. 14, по таблицам х -распределения получим Хб9 0 9/1180 « 0.076.

Отметим, что предложенный алгоритм асимптотически инвариантен по отношению к распределениям вероятностей {Рг}. В этом смысле здесь много общего с идеями последовательного анализа А. Вальда [6]. Отличия условия (12), причем принципиального характера, состоят в реализации упомянутых идей не на основе отношения правдоподобия, а

на основе асимптотически оптимальной решающей статистики min р (Р/Pr ) в метрике

r

Кульбака-Лейблера [3].

В зависимости от объема множества внутренних состояний каждого объекта N, а также объема выборки наблюдений n > N, в данном алгоритме варьируется ограничение сверху на допустимый уровень минимальной решающей статистики из (9) в задаче распознавания образов (1). Как результат устраняется по крайней мере часть возникающих ошибок в принимаемых решениях и, следовательно, повышается их надежность. Поясним изложенное в предыдущем примере (см. рисунок).

Введем искусственные искажения в выборочный ряд распределения Р = {w¡}, сместив его влево на две позиции (пунктирная кривая на рисунке смещается вдоль оси абсцисс влево на две единицы). В результате получим, строго говоря, некорректно поставленную задачу: гипотетическую выборку {Xj} необходимо отнести к одному из альтернативных распределений P1 или P2 несмотря на то, что в действительности данная выборка не принадлежит ни одному из них. Отметим, что это острейшая проблема для всех без исключения задач распознавания образов, поскольку в них не дается никаких гарантий, что рассматриваемое множество образов исчерпывает или хотя бы охватывает наблюдаемый объект. Более того, даже в оптимальном случае только из-за проблемы априорной неопределенности указанное строгое соответствие между объектом наблюдения и множеством образов, настроенных каждый по обучающей выборке конечного объема nr < ^, устанавливается весьма неточно или даже ошибочно (проблема встречных гипотез). Поэтому, даже строго следуя критерию МП и принимая при этом любое возможное решение, в указанном случае, по сути, всегда получим ошибочный результат. В отличие от классического критерия (10), критерий МИР (9) в значительной мере защищен от данного недостатка, поскольку при выполнении в нем условия (12) решение вообще не принимается. В рассматриваемом примере с искаженным выборочным распределением

Р* = [wî = wi+2, i - n} после ряда вычислений получим min р(Р*/Pr ) = р(Р/РР1 ) = 0.092 > > Х29 0 9/1180 « 0.076, т. е. выполнение условия (12). Поэтому несмотря на установленное

согласно (9) соотношение p (P*/Pj ) = 0.092 <р (P*/P2 ) = 0.240 решение в пользу текста "Идиот" в данном случае не принимается, что отвечает существу рассмотренной ситуации. Отметим, что в отличие от традиционного подхода [4] решения здесь носят (R +1) -альтернативный характер по числу R альтернатив распределения P из общей формулировки задачи (1) плюс еще одно, а именно: "нет решения".

Кажется, нет никакой разницы в том, по какому алгоритму - (9) или (10) - приняты решения Wv (X) в задаче распознавания образов, если они совпадают друг с другом автоматически. Однако ситуация резко усложняется на практике при неизбежном стремлении исследователя проконтролировать и по возможности гарантировать достаточную степень надежности каждого принятого им решения. При этом выясняется, что критерий МИР в своей формулировке (9) в отличие от критерия МП содержит важную дополнительную информацию именно в отношении надежности принимаемых решений. Вначале это было показано при анализе статистических характеристик качества (8) - весьма нетривиальная, как известно [4], задача. Еще более наглядно преимущества критерия МИР проявляются в правиле (12) отбраковки сомнительных, с точки зрения своей надежности, решений. Рассмотренный пример из практики лингвистического анализа служит хорошей иллюстрацией к изложенному. Поэтому можно утверждать, что при прочих равных условиях в задачах распознавания дискретных объектов общего вида (1) применение критерия МИР существенно более обосновано по сравнению с использованием классического критерия МП. Сделанный вывод особенно важен и актуален в связи с широким многообразием сложных цифровых систем, которые бурно распространяются на практике одновременно с современной вычислительной техникой.

Библиографический список

1. Савченко В. В. Различение случайных сигналов в частотной области // Радиотехника и электроника. 1997. Т. 42, № 4. С. 426-431.

2. Акатьев Д. Ю., Савченко В. В. Принцип минимального информационного рассогласования при различении случайных сигналов // Изв. вузов России. Радиоэлектроника. 2004. Вып. 1. С. 12-17.

3. Кульбак С. Теория информации и статистика. М.: Наука, 1967. 408 с.

4. Боровков А. А. Математическая статистика. Дополнительные главы. М.: Наука, 1984. 615 с.

5. Мюллер П., Нойман П., Шторм Р. Таблицы по математической статистике / Пер. с нем.; Под ред. В. М. Ивановой. М.: Финансы и статистика, 1982. 278 с.

6. Вальд А. Последовательный анализ / Пер. с англ. ; Под ред. Б. А. Севастьянова. М. : Физматгиз, 1960. 260 с.

V. V. Savcenko

State linguistic university of Nizhny Novgorod A. V. Savchenko

State technical university of Nizhny Novgorod

Minimum information mismatch principle in a problem of discrete objects recognition

The problem of recognition of casual discrete objects in final samples of supervision over their conditions is put and solved on the basis of a principle of the minimal information mismatch of distributions in Kullback-Leibler metric. The new algorithm with detection and a deviation of doubtful decisions is offered. The example of his application in a problem of the linguistic analysis of texts is considered.

Random variable, distribution of probabilities, sample of supervision, problem of statistical classification, recognition of images, a minimum information mismatch criterion

Статья поступила в редакцию 8 февраля 2005 г.