CC BY
1
Теоретико-информационные границы точности кодирования сообщений и распознавания образов по ансамблям данных
М.М. Ланге1, А.М. Ланге1 1 Федеральный исследовательский центр «Информатика и управление » РАН, 119333, Россия, г. Москва, ул. Вавилова, д. 42
Аннотация
Исследуются вероятностные модели кодирования дискретных сообщений и распознавания образов (классификации объектов) по ансамблям данных различной модальности. Для рассматриваемых моделей построены аналитические зависимости наименьшей средней взаимной информации между ансамблем данных и множеством возможных решений от допустимой вероятности ошибки в форме монотонно убывающих функций. Приводятся примеры таких функций для схемы кодирования независимых символов конечного алфавита, представленных парами значений с возможными искажениями, и для схемы классификации составных объектов, заданных изображениями лица и подписи. Обращения полученных функций дают нижние границы вероятности ошибки при заданном количестве обрабатываемой информации. Полученные соотношения представляют двухфакторные критерии качества принимаемых решений в задачах кодирования и классификации и являются обобщениями известной в теории информации функции «скорость-погрешность» (rate distortion function).
Ключевые слова: кодирование источника, ансамбль данных, энтропия, классификация объектов, вероятность ошибки, взаимная информация, функция «скорость-погрешность».
Цитирование: Ланге, М.М. Теоретико-информационные границы точности кодирования сообщений и распознавания образов по ансамблям данных / М.М. Ланге, А.М. Ланге // Компьютерная оптика. - 2024. - Т. 48, № 3. - С. 460-470. - DOI: 10.18287/2412-6179-CO-1362.
Citation: Lange MM, Lange AM. Information-theoretic bounds for accuracy of letter encoding and pattern recognition via ensembles of datasets. Computer Optics 2024; 48(3): 460-470. DOI: 10.18287/2412-6179-C0-1362.
Введение
В задачах кодирования источников дискретных сообщений с допустимой погрешностью и задачах распознавания образов (классификации) важной характеристикой качества принимаемых решений является вероятность ошибки, которая зависит от количества обрабатываемой информации. Известное в теории информации соотношение между количеством информации и вероятностью ошибки определяется функцией «скорость-погрешность» [1], которая дает наименьшее количество информации при заданной вероятности ошибки либо наименьшую вероятность ошибки при заданном количестве информации. Такое соотношение не зависит от алгоритмов кодирования и является двухфакторным критерием качества кодирования дискретных сообщений с погрешностью, измеряемой в метрике Хемминга. В настоящей работе предлагается обобщение указанного соотношения для кодирования дискретных сообщений, переданных по каналу с шумом.
В теории классификации известны методы оптимизации решающих алгоритмов, которые позволяют минимизировать вероятность ошибки [2, 3]. Однако эти методы ориентированы на конкретные алгоритмы и не дают общего подхода для нахождения потенциально достижимой точности при заданном количестве обрабатываемой информации. Поскольку теоретико-информационная модель классификации данных
схожа с моделью кодирования сообщений, переданных по каналу с шумом, естественно найти соотношение между количеством обрабатываемой информации и потенциально достижимой вероятностью ошибки классификации, которое не зависело бы от алгоритмов принятия решения.
Построение соотношений вероятности ошибки и количества обрабатываемой информации для указанных моделей кодирования и классификации базируется на рассмотренной в [4] схеме кодирования непрерывных сообщений с квадратичной погрешностью. В отличие от традиционной схемы кодирования источника с допустимой погрешностью [1, 5], в такой схеме кодирование выполняется на выходе стохастического канала наблюдения, который вносит неустранимую погрешность.
В работе [6] получены зависимости наименьшего количества обрабатываемой информации от допустимых значений вероятности ошибки для моделей кодирования и классификации, в которых выходы каналов наблюдения представлены данными одной модальности. Цель настоящей работы состоит в построении таких зависимостей для моделей кодирования и классификации с составными каналами наблюдения, выходы которых представлены данными различной модальности. Зависимости наименьшего количества обрабатываемой информации от вероятности ошибки строятся в форме монотонно убывающих функций. Поэтому обращения таких функций дают значения
потенциально достижимой вероятности ошибки при различных значениях количества используемой информации. Такие соотношения могут быть полезны для анализа эффективности алгоритмов кодирования и классификации, поскольку позволяют оценить избыточность вероятности ошибки алгоритмов относительно потенциально возможных значений при любом количестве обрабатываемой информации.
Структура работы включает формализацию моделей кодирования и классификации (параграф 1) и построение для рассматриваемых моделей аналитических нижних границ вероятности ошибки при заданном количестве обрабатываемой информации (параграф 2). В параграфе 3 приводятся примеры таких границ для схемы кодирования статистически независимых сообщений с двумя каналами наблюдения и для схемы классификации изображений лиц и подписей по составным объектам «лицо-подпись».
1. Вероятностные модели кодирования и классификации
Модель кодирования дискретных сообщений, переданных по каналу с искажениями
Рассматривается модель кодирования дискретных сообщений с допустимой погрешностью в терминах понятий, принятых в теории информации [1]. Сообщениями источника являются статистически независимые символы алфавита V размера д > 2, на котором задано распределение вероятностей
Ри = {и (и)}.
Символы алфавита и передаются по составному каналу наблюдения, выход которого образован ансамблем Vм = ¥\...¥м д-ичных алфавитов Ут, т = 1,...,М. Каждому входному символу иеи составного канала соответствуют столбцы выходных векторов Vм = С^,..., Ум)', уте¥т, т = 1,.,М, с условными вероятностями
¡-Vм |и
= {|и(Vм | и)}.
Символы алфавита и воспроизводятся по сообщениям из ансамбля Vм безошибочно либо с погрешностью символами алфавита V = и . На алфавите V вводятся свободные условные распределения
<-и\¥"
= {м (и|ум)},
которые образуют канал воспроизведения.
Рассмотрим схему кодирования блоков им = (их, ..., им) символов ипеО, п = 1,., м, в блоки им = (иь...,им) символов ип е и , п = 1,., N. Каждому им соответствует блок умм = (ум,...,уЦ) столбцов ум е Vм, п = 1,., М, на выходе составного канала наблюдения, и блок им строится по предъявляемому блоку Умм. Указанные блоки образуют множества
им = {им}, Умм = {умм}и им = {и м }. При этом независимость символов источника и использование канала наблюдения и канала воспроизведения без памяти порождает на указанных множествах следующие распределения
(1) (2)
Рим = \ Рим (иМ) =П Ри (ип )
I. умм |иМ
си мум
= \ р¥мм |им (умм | и1М) = ^П Рум |и (ум | ип ) |
п=1 N
= \ вимумм (и1 \умм) = Пбйум и у ) к (3)
Множества Vм,Умм,0м с распределениями (1) -(3) образуют пару последовательных стохастических преобразований
им
мм Уц м1ум
и м.
(4)
Используя побуквенную меру погрешности Хемминга между любой парой блоков име Vм и им е им, для схемы (4) вводится средняя на символ источника погрешность
е% ^ (Умм ;им) =
= (1/м) Румм (умм)Х вомумм (им ^) >
(5)
и м м
<Х Рим умм (им | умм )Х Л (ип, и„)
и средняя на символ взаимная информация
/о
(¥мм м ) =
= (Vм) X Румм (умм)Х Оимумм (им |умм) >
(6)
х 1п
умм и м
вим у ми (и м |умм )
ви м (и м)
где
Л(ип,и„)=
1, ип ф ип
Рим умм (и | умм ) —
Рцм (и ) Руммцм (у | и )
^ ^ ' ■ ' Румм (умм)
Румм (умм ) = X ' Рцм (им ) Руммц-м (умм | им),
Vм
вйм (и м ) = X Румм (умм )ви» умм (и м | умм ) .
умм
Поскольку в (5) сумма по блокам им в пересчете на символ источника дает вероятность ошибки на блоке воспроизведения йм по наблюдаемому блоку умм, средняя на символ погрешность вида (5) соответствует вероятности ошибки на множестве блоков воспроизведения им по множеству наблюдаемых блоков умм.
Зависимость функционалов (5) и (6) от свободных условных распределений вида (3) позволяет при заданных значениях е > 0 ввести функцию «взаимная информация-вероятность ошибки»
RMN (в) —
Iq
min
qu nyim: EquNvMN(Vmn Un)<в
r (VMN;UN)
(7)
порядка *, где минимум берется по всевозможным условным распределениям Оц^м* при е -ограничении вероятности ошибки. Учитывая, что распределения вида (1) - (3) заданы в форме произведений, функционалы (5) и (6) эквивалентны значениям Е%гм (Vм ;£) и 1%гм (Vм;£) при N = 1. В этом случае функция (7) не зависит от N и может быть представлена в форме
rm (в) =
min
QürM :
IQuVM (VмU).
(8)
г (Vм ;С/)<В
Задача состоит в получении для функции (8) монотонно убывающей неотрицательной нижней границы Ям (е) < Ям (е). Тогда обратная функция Ям (I) дает нижнюю границу вероятности ошибки кодирования источника при фиксированных значениях средней взаимной информации I.
Модель классификации составных объектов
Рассматриваемая модель классификации аналогична рассмотренной модели кодирования и формулируется в терминах понятий, принятых в теории классификации [7]. Классы представлены множеством меток О = {ю,, , =1,..., с} О = {ю,-, , =1,..., с}, с > 2, с априорным распределением вероятностей
Pq — { (Ю/)}}
(9)
Классифицируемые составные объекты образуют ансамбль множеств Xм = Хь..Хм, в котором Хт, т = 1,., м - множество объектов, порождаемых т-м источником. Каждый составной объект задан столбцом объектов хм = (х1,..., хм)'еХм одного класса, элементы которого хтеХт, т = 1,., м, являются объектами соответствующих источников. Будем считать, что на ансамбле Хм заданы условные по классам распределения
pxM|Q _ {Pxm|q(xm i Ю/)}(=1 ,
(10)
которые образуют составной канал наблюдения. Решения о классах составных объектов образуют множество оценок О = {<ю,} =1,..., с} меток классов.
В общем случае решение принимается по блоку составных объектов одного класса Xм* = (хм,...,х*), в котором хм е Хм,п = 1,...,N. Блоки составных объектов образуют множество Хм* = {хм*}. Для составного канала наблюдения без памяти условные по
классам распределения вероятностей блоков составных объектов с учетом (10) имеют вид
pxmn|q — ] PXMNIQ (xMN 1 ю/ ) — ^^ PXM |q (xM 1 ю/ ) г. (11)
На множестве оценок классов О вводятся свободные условные по блокам составных объектов распределения вероятностей
¿£2 |xm
— {|xmn (юj|xmn)}.
(12)
Множества О, Хм* и О совместно с распределениями (9), (11) и (12) образуют последовательность стохастических преобразований
Q-
xmn|q ^ xmn ^gxm
(13)
Используя меру погрешности Хемминга между истинными классами и их оценками в схеме (13), вводится средняя вероятность ошибки
Eqüxmn (XMN; ££) —
— ¿ß(fflj|xMN)£р(ю/ | xMN)d(ю/,юj)
j—1 i—1
и средняя взаимная информация
IQqxMN (XMN; Q) —
__c
— X PXMN (xMN )X Ö£2|XMN (Ю j |xMN ) X XMN j—1
(14)
(15)
x ln
öq|xmn (ю j|xmn ) 0б(Ю j )
где
d (ю/, ю j) —
pq|xmn (ю/ | xmn) —
1, Ю, Ф Ю j 0, Ю/ — ю j
MN — Pq (Ю/)PxmnQ )
p ( xMN )
i xMN
pxmn (xMN ) — X Pq (ю / )pxmn |Q (xMN | ю /) , /—1
0й(юj) — X Pxmn (xMN)ÖQ|xMN (Юj|xMN).
VMN ^vMN
Зависимость функционалов (14) и (15) от свободных условных распределений (12) позволяет при значениях в > 0 ввести соотношение «взаимная информация-вероятность ошибки» в форме условного минимума
Rm (в ) — min min Iq (XMN; й). (16)
n QQ|xMN: Q|x
eqq|xmn (xmn ;££)<в
Внутренний минимум в (16) берется по всевозможным распределениям Qq|Xmn при заданном в-ограничении средней вероятности ошибки, а внеш-
ний - по длине блоков N. Для модели классификации, как и для модели кодирования, задача заключается в построении монотонно убывающей неотрицательной нижней границы RM (е) < RM (е). Тогда обратная
функция RRm}(I) дает нижнюю границу вероятности ошибки при заданных значениях средней взаимной информации I.
2. Вычисление функций «взаимная информация-вероятность ошибки»
Нижняя граница функции RM (е)
Построение нижней границы RM (е) < RM (е) для функции (9) базируется на дискретной модификации подхода, предложенного в работе [4] для вычисления функции «скорость-погрешность» в схеме кодирования непрерывных сообщений, переданных по каналу с шумом. Согласно такому подходу, вводится последовательность преобразований Vм ^ U* ^ U , где
и* = U = и.
Преобразование Vм ^ U* является детерминированным по критерию максимальной апостериорной вероятности u* = arg max P(u | Vм). Этот критерий обеспечи-
ueU
вает наименьшую вероятность ошибки еМ^ь и вероятность выхода Pw (и*) = X м eVM PVM (vM) для подмножества V*M с Vм векторов, отображаемых в символ u* e U*. Преобразование U* ^ U является стохастическим, в котором переходные вероятности Quv-(u | u*) совпадают с вероятностями Quvm (u | vM) для векторов vM e V*M и дают условные распределения
QU|U = {QU|u-(u| u*)}.
(17)
С учетом неравенства треугольника Л (и, и) < Л (и, и*) + Л (и*, и) и распределений (17) средняя вероятность ошибки (5) при значении м = 1 удовлетворяет неравенству
Equvm (VMU <еМ1т +Equu, (U*;U) =
= P(q)
&M min
+ X Pu- (u*)X Quu- (ul u*)d(u*,u).
(18)
Благодаря детерминированному преобразованию ум ^ V*, средняя взаимная информация (6) в случае м = 1 принимает вид
1QUIVM (VM U = 1QU|U- (U* U) =
= X PU-(u* )X QUU-(u| u*)ln
QUU (u| u*)
Qv(M)
(19)
Соотношения (18) и (19) преобразуют функцию (8) к виду
Rm (е) = min,
Quu*: EQUU- (U- ■С/)<е-еМ'>m
iquu- (U* ^
(20)
где минимум берется по всевозможным условным распределениям (17) при ограничении средней вероятности ошибки преобразования V* ^ С/ величиной е - ейпт > 0. Тогда нижняя граница функции (20) следует из границы Шеннона для функции «скорость-погрешность» в схеме кодирования V* ^ V с погрешностью в метрике Хемминга [5]. Полученная граница сформулирована в следующей теореме.
Теорема 1. Функция Ям (е), определенная в (7), имеет монотонно убывающую нижнюю границу
Rm (е) = I (U; Vм) - ¿(е-еМ^)" -(е-ей™)^ -1)
(21)
на отрезке е
(q)
< е < е
( q )
где I (U; Vм) - средняя
взаимная информация между
U
Vм
И (I) = - г 1п г - (1- I) 1п (1- I), Ям (емшт) = / (V -ум) и
Вм (емшах ) = 0 .
Доказательство. Согласно [5] нижняя граница Шеннона для функции Ям (е), переопределенной в форме (20), имеет вид
Rm (е) = H (U*) - H, (U| U*)
(22)
где
Н(V*) = -Х Ри- (и*)1п Рц- (и*)
и * еи*
- безусловная энтропия на множестве решений V* и
Н ц о*) =
=-Х Ри* (и* )Х вици* (и" | и* )1п ви;и* (и" | и*)
и еи* иеО
- условная энтропия по распределениям
0« = в) (и|и*) ехр ((и*,и)) ] (23) 0ии* ^ви|и*(и|и ) =Х иеи/ехр ((Л (и*, и) ) (23)
с параметром 5 > 0.
Поскольку формула (8) эквивалентна известной функции «скорость-погрешность», которая ограничивает снизу скорость любого кода с заданной погрешностью [1], энтропия выхода детерминированного преобразования V ^ V удовлетворяет неравенству Н(и*) > Вм(емШп). В этом случае Вм(емШт) равно минимальной средней взаимной информации в (8), которая достигается на апостериорных распределениях, обеспечивая Вм (емШт) = / (V ;ум ) и оценку
H (U*) > I (U; Vм).
(24)
Для нахождения параметра s в распределениях (23) используем равенство
X Pu-(u*)XQUUU-(u, | u*) d(u*,u) = е-е
(q)
'M min ^
которое дает e-i = (е-еМ^/^ -1) (1 - (е-еМ^)),
и
QUU ■ (ulu) =
1 - (p - p( q) 1 Vb bM m:
(Е-Ел?тш)/(?-i), u
и условную энтропию
И, (и | и*) = Л(е - е^т) + (е - е^п) Чч -1). (25)
Последующие замены условной и безусловной энтропии в (22) правыми частями соотношений (24) и (25) завершают доказательство теоремы 1.
Граница (21) является обобщением нижней границы Шеннона для функции «скорость-погрешность» в схеме кодирования независимых дискретных сообщений с допустимой средней погрешностью в метрике Хемминга [1]. В границе Шеннона используется бесшумный канал наблюдения, который обеспечивает И (и IVм ) = 0 и I (и; Vм ) = И (и ). При этом Ям (е^) = И (и) и е$Шт = 0 . В общем случае нулевое значение Ям (емШах) = 0 достигается в точке емШах = (ч - 1)тт Р(и).
Минимальная вероятность ошибки е^Шт зависит от величины условной энтропии И (и IVм ) > 0. Для нахождения этой зависимости воспользуемся разностью границы Шеннона и границы (21) в точке е = е^Ша* .
Указанная разность дает равенство
h(pMm
i ) - h(s M m;
pMmin ) + pMmin ln(q i) _
= H(U | Vм), которое с учетом разложения в ряд Тейлора
h(p<q) ) - h(p(q) -p(q) ) =
"V^Mmax/ "v&M max &M min/
= h'(p(q) )p(q) + ilh"(p(q) )l^p(q) V + оMq~> V
— " VbMma^z Mmin _ VbMms^^bMmin ^ т ^min )
(q)
принимает вид
при малых значениях е
1 h" (е(9) ) () ) + 2 |" VbM mas^ у bM min J т
+(h'(eMmas) + ln(q -1))eML = H(U | FM). Решение уравнения (26) с производными
() 1 -e(q)
h'(e(q) ) - In Mmax
" VbMma^^^ (q) ;
e M mas
Ih"(e(q) )| -(e(q) (1 -e(q) )) 1
yl v°Mmax / I °Mm^^ °Mmax / I
дает асимптотическую оценку
e(q) -F(q) (1 -F(q) ) x[ |n 2 | (q - 1)(1 eMmax ) bMmin bMmaxU bMmax J Л I ш I W LJ q
V V eM max
(26)
+2-
H (U|VM)
(q)
pMmax (i pMmax )
, (i - pMmax )
x (i pMmax ) X
(27)
x In I (q - i):
p(q)
^M max
В случае равновероятных символов алфавита и максимальная вероятность ошибки равна
,(q) _
= (q - i)/q и оценка (27) преобразуется к виду
,(q) _ J
q - i f IHUW^l
q-i
(28)
Оценки (27) и (28) демонстрируют уменьшение минимальной вероятности ошибки е^Шт с уменьшением условной энтропии И (и IVм ) и, следовательно, с ростом средней взаимной информации I (и; Vм ) = И (и ) - И (и IVм ). Этот эффект проявляется с увеличением числа каналов м. При отсутствии шума в составном канале наблюдения имеем И (и IVм ) = 0 и е$Шт = 0. В этом случае I (и; Vм ) = И (и ) и граница (21) совпадает с границей Шеннона, приведенной в [1].
Иллюстрация множества и и ансамбля У\ У2, а также характер функции Ям (е) при значениях м =1 и
м >1 (сплошные кривые) показаны на рис. 1. Пунктирная кривая демонстрирует поведение нижней границы Шеннона. Множество и представлено круговой областью, множества V и У2 - эллиптическими областями. Указанные множества демонстрируют увеличение с ростом м средней взаимной информации I(и;У^ ) как теоретико-информационной меры пересечения и П Vм (серая область) и уменьшение условной энтропии И (и IVм ) как теоретико-информационной меры разности U\VM (темная область), что приводит к уменьшению вероятности ошибки е
(q)
H(U)
I(U; V" ) = H(U) - H(U I Vм ), M > 1 /; V) = H{U) - H(U I V), M = 1
вероятность ошибки
Рис. 1. Интерпретация средней взаимной информации I (и;¥м) и поведение функции Ям (е)
Необходимо отметить, что в практике кодирования Ч-ичных сообщений со скоростью Я(ч) и вероятностью ошибки Еч) граница Ям (е) позволяет вычислить избыточность г (Я(ч) IЕ(ч)) = Я(ч) - Ям (Е(ч)) скорости кода относительно потенциально возможного значения при заданной вероятности ошибки. Использование обратной функции от Ям (е) дает избыточность
r(E(q) | R(q>) =
E(q) -RM1(R(q)), R(q) < I(U;VM) R(q> >I(U;VM)
E(q) - p(q)
^ M min
вероятности ошибки при заданной скорости.
Нижняя граница функции Ям (е)
Методика построения нижней границы Ям (е) < Ям (е) функции (16) аналогична методике,
использованной для получения границы (21). Пусть О*={юк,к=1,., с} - множество меток классов, получаемых на детерминированном преобразовании Хмм*^ О* с наименьшей вероятностью ошибки емть
при длине блоков м*>1. Такое преобразование реализуется на решающем правиле по максимуму апостериорной вероятности классов и порождает разбиение множества Хмм* на непересекающиеся подмножества Хмм* , к=1,., с, с вероятностями РК) = ХеЧгР(хмГ), к=1,., С. В этом случае условные по блокам \мм" е Хм* вероятности вй|Хг (ю 11 хмм) = вйю* (ю] | Юк) дают условные распределения
О^Чвор- (ю ,|Юк )}. (29)
С учетом неравенства треугольника Л(ю,, ю] < Л(ю,-, Юк) (юк, ю] и распределений (29) средняя вероятность ошибки (14) удовлетворяет неравенству
Чх- ^ ' О -SMmin + Чо" (О , О) =
С с
= eMmm + 1 Po"(Юк )S Öö|q- (Ю; 1 Юк) d (Юк' Ю).
к=1 i=1
(30)
При этом средняя взаимная информация (15) принимает вид
Iq .(Xм"";О) = Iq. ДО";О) =
0|xmn" VQ|Q" 4 7 '
С с
= 1Po"(Юк)S6оО|о" (юi 1 Юк)ln
i=1
Qoio (Ю iK ) (31)
6о(ю i ) '
Соотношения (30) и (31) преобразуют функцию (17) при значении N=N* к виду
Ям (e) = min. Iq (О; О), (32)
Qü|0": %q" (о" ,Q)<6-6M>m,n ОО
где минимум берется по всевозможным условным распределениям (29) при условии, что второй член в правой части (30) не превосходит величины е-еМшь >0 . Тогда нижняя граница функции (32) следует из нижней границы Шеннона для функции «скорость-погрешность» в схеме кодирования О* ^ О с погрешностью в метрике Хемминга, когда средняя погрешность не превосходит 6 - eMmm [5].
Теорема 2. Функция RM(б), определенная в (16), имеет монотонно убывающую нижнюю границу
Rm(e) = I(О;Xм)-¿(s-eML)-(s-sMmJMc-1) (33)
на отрезке eMLi <e<eMmsx, где I(О; Xм) - средняя взаимная информация между множествами О и Xм, h(z) = - z ln z - (1- z) ln (1- z), Rm (eMmin) = I (О; Xм ) и
Ом (eMmax) =
Доказательство. Аналогично доказательству теоремы 1. Для функции Вм (е) в форме (32) применима нижняя граница [5]
Ом(6) = H(О") - Hs(О| О") , (34)
где
H (О*) = -£ Po" (Юк )ln Po" (Юк)
к =1
- безусловная энтропия на множестве решений О* и Hs (ОО l О") =
= -1 Po" (Юк )£ß00 (Юi l Юк )lnß« (юi l Юк )
i=1
условная энтропия по распределениям
Q00"={ß0> i |Юк) =
exp(-sd(юк, )) |
1 C=j exp (-sd (Юк, Ю,- ) )J
(35)
с параметром 5 > 0.
Согласно теореме кодирования [1], энтропия выхода преобразования Хмм*^ О* удовлетворяет неравенству Н(О*) > /(О; Хмм). Кроме того, при любой конечной длине блоков м для ансамбля Хмм = Хм ...Хм справедливо неравенство
/ (О; Хмм) > /(О; Хм), которое в случае тождественных множеств Хм = Хм, п = 1,., м, выполняется со
знаком равенства [1]. Тогда I (О; XMN*) = I (О; Xм) и
H (О") > I (О; XMN") = I (О; Xм).
(36)
Для нахождения параметра s в распределениях (35) воспользуемся равенством
е(с)
-'min '
1 Po"(Юк)1 öOOO"(Юi l Юк) d(Юк,юi) = e-em
к=1 i=1
откуда следует е-s = (e - eM)min У(с - 1) (l - (e - ^MmnJ) ,
I 1 - (e - ^Mmin X j = к, l(e-eM)min)/(c -1), i * к,
еОО"(ю у|Юк)=
и условная энтропия
Н (О | О*) = И(е - емШп) + (е - е«,™) 1п(с -1). (37)
Последующие замены условной и безусловной энтропии в (34) правыми частями соотношений (36) и (37) завершают доказательство теоремы 2.
В общем случае область определения границы (33) задается минимальной ем)ш1п > 0 и максималь-
с
ной ем)шах = (с - 1)ш1п Р(ю,) вероятностями ошибки.
,=1
При этом, как и в схеме кодирования (4), минимальная вероятность ошибки в схеме классификации (13)
должна уменьшаться с ростом средней взаимной информации между входом и выходом канала наблюдения. Для демонстрации этого эффекта полезно привести асимптотические оценки минимальной вероятности ошибки.
Применяя технику, аналогичную используемой для вычисления асимптотики минимальной вероятно -сти ошибки в модели кодирования, для малых значе-
ний е
(с)
получаем асимптотическую оценку
(
р(с) = р(с)
ьМ тт ьМ тах
(1 еМтах)
(1 еМтах)
1п2| (с -1)
,(с)
+2-
Н (О | Xм)
.(с )
с (1 еМтах )
(38)
,(с)
(1 -еМ)тах)1п| (с -1)
. (1 е(стах)
,(с)
которая при равновероятных классах принимает вид
с -1 ( 2 Н (О | Xм)
с -1
(39)
Оценки (38) и (39) демонстрируют уменьшение минимальной вероятности ошибки еМтт с уменьшением условной энтропии Н (О| Xм ) и, следовательно, с увеличением средней взаимной информации I (О; Xм) = Н (О) - Н (О| Xм ). Уменьшение энтропии Н (О| Xм ) и, соответственно, минимальной вероятности ошибки ем^т может быть достигнуто путем увеличения числа м источников в ансамбле.
При нулевом значении условной энтропии Н (О| Xм ) = 0, которое дает наибольшую среднюю взаимную информацию! (О; Xм) = Н (О), граница (33) совпадает с нижней границей Шеннона для функции «скорость-погрешность» в схеме кодирования независимых дискретных сообщений с допустимой средней погрешностью в метрике Хемминга [1]. В этом случае е^тт = 0 и Км(еЙ-тт) = Н(О). Следует отметить, что граница Шеннона соответствует модели классификации, в которой каждый объект априори принадлежит одному классу [8]. Формально это означает, что апостериорные вероятности классов по каждому объекту (простому или составному) принимают значения 1 или 0, обеспечивая Н (О| Xм ) = 0.
Рис. 2 иллюстрирует множество классов О, ансамбль XlX2 и поведение функции 1Км (е) при м=1 и м >1 (сплошные кривые) и границы Шеннона (пунктирная кривая). Множество О представлено круговой областью, множества X1 и X2 - эллиптическими областями. Из рисунка следует, что с увеличением м средняя взаимная информация I (О; Xм) увеличивается как мера пересечения ОПXM (серая область), а условная энтропия Н (О| Xм ) уменьшается как мера разности О\XM (темная область), что приводит к уменьшению минимальной вероятности ошибки ем^.
Я(П)
7(П; Xм) = Я(П) - Я(П | Xм), М > 1 /(П;Х) = Я(0)-Я(0|Х), М = \
П вероятность ошибки
4 М тт
М
Рис. 2. Интерпретация средней взаимной информации I (О; Xм) и поведение функции Км(е)
Практическая значимость границы !1м (е) состоит в возможности использования обратной функции для вычисления избыточности
г(Е(с> | Н(с)) =
)Е(с) -КдЯН(с)), Н(с> < I(О;Xм), Н(с) > I (О; Xм),
Е(с) - е(с)
I ^ &м тт
вероятности ошибки ЕЕ-с) любого решающего алгоритма относительно потенциально возможного значения при заданной энтропии Н^ решений о классах предъявляемых объектов. Избыточность г (Е(с)|Н(с)) может быть вычислена для классификаторов с различными разделяющими функциями и, в частности, для многоклассовых 8УМ классификаторов с разделяющими функциями сигмоидного типа [9]. Кроме того, теоретико-информационный критерий минимизации вероятности ошибки при фиксированных значениях средней взаимной информации между обучающим множеством данных и множеством решений об их классах может найти применение в процедурах оптимизации отбора признаков [10] и, в частности, при обучении нейронных сетей [11].
3. Примеры нижних границ
Схема кодирования независимых равновероятных сообщений с двумя каналами наблюдения
Рассмотрим вычисление границы Км (е) вида (21) для схемы, в которой составной канал наблюдения задан м >1 независимыми каналами. Значение м =1 соответствует схеме с одиночным каналом наблюдения. Множества переходных вероятностей Рут\и, т =1,...,м, таких каналов порождают на ансамбле Vм множество условных распределений
Pyм |и =
Рум |и (Vм | и) =П Ргт\и (^т | и)
(40)
С учетом распределений (40) средняя взаимная информация I (и; Vм) в (21) согласно [1] выражается через соответствующие энтропии в форме
I(иVм) = Н(Vм)-£Н(Ут | и),
(41)
где
Н(Vм) = РУм (Vм)1пРУм (Vм),
т=1
м
V
нУ | и) = -XРи(и)£Рути(ут | и) Ы>утР(ут | и),
и Ут
Ргм (Vм ) =Х Ри (и )Рум и (Vм I и).
и
В случае М=1 формула (41) дает значение средней взаимной информации между входом и выходом одиночного канала наблюдения.
В приведенном ниже примере используется алфавит источника и размера д > 2 с одинаковыми вероятностями Ри (и) = 1/д и составной канал наблюдения, который содержит М = 2 симметричных канала с выходными алфавитами Ут = и, т =1,2. При вероятности 0 < 5т <1 ошибочной передачи символа источника такие каналы имеют условные вероятности выходов
Рут\и (у— I и) =
1 -8т
8т/(д - 1), * и.
Вычисление энтропий в (41) при значении М = 2 дает среднюю взаимную информацию
I (и ;У1У2) = 1п д - к(8^ - 8! 1п(д -1) + + к (8, +82 -8,82 д/(д -1))- ¿(82) + (81 - 8182 д/(д -1) )1п(д -1) .
(42)
Правая часть в (42) представлена суммой средней взаимной информации
I(и;У1) = 1пд -к(81)-^(д -1) и условной средней взаимной информации
I(и;У | У) = к(81 +82 -8182 д/(д -1))-
-¿(82) + (81 -8182 д/(д-1) )1п(д -1) .
В случае 8т > 0, т = 1,2, полученные средние взаимные информации строго положительны и, следовательно, I (иуу) > I (и; У). Поэтому наличие второго канала наблюдения обеспечивает уменьшение условной энтропии в формуле (28) и, следовательно, приводит к уменьшению минимальной вероятности ошибки еМтт. В частном случае, когда 81 = 0 или 82 = 0, имеем I(и; У У) = Н(Ц)=1п д, еМтт = 0, и нижняя граница (21) совпадает с границей Шеннона. В этом случае М = 1 и канал наблюдения задается одним бесшумным каналом с параметром 8 = 0.
Схема классификации составных объектов, заданных изображениями лиц и подписей
Рассматривается вычисление границы РМ (е) вида (33) для схемы, содержащей М независимых каналов наблюдения с множествами переходных вероятностей Рхтр, т = 1,...,М. Такие каналы образуют составной канал с множеством
РхМР = \ РхМ|П (хМ | а,) = ПРх-Р(хт | а) \ (43)
условных по классам вероятностей на ансамбле хМ. Вероятности вида (43) совместно с априорными вероятностями классов, заданными в (9), позволяют вычислить среднюю взаимную информацию I (Р; Xм ) в форме, аналогичной (41):
I (Р; Xм ) = Н (XМ)-£ Н (Х„|Р).
(44)
Численные реализации границы (е) получены для множества Р, содержащего с = 25 классов и ансамбля х1 х2, заданного множествами изображений лиц х1 и подписей х2 от 25 персон, по 40 изображений от каждой персоны. Априорные вероятности классов считались одинаковыми. Для описания информативных объектов (лица или подписи) использовались их древовидные представления наборами эллиптических примитивов [12]. Представления получены на основе дихотомического разбиения объектов на непересекающиеся сегменты и аппроксимации сегментов эллиптическими примитивами, которым присвоены средние яркости пикселей соответствующих сегментов. Центры и радиусы примитивов вычислены с использованием центральных и осевых моментов инерции аппроксимируемых сегментов. Структура таких представлений схожа с иерархической структурой, предложенной в [13]. Различие объектов на множестве их древовидных представлений измерялось расстоянием, введенным в [14].
Примеры древовидных представлений лица и подписи, заданных полутоновыми изображениями размера 256*256 с 256 уровнями яркости, даны на рис. 3. В приведенных примерах показаны многоуровневые представления, которые содержат по 21 эллиптических примитивов на уровнях I = 0,1,., 8. В таких представлениях примитивы соответствуют вершинам 1-го уровня в бинарном дереве. Параметры примитива нулевого уровня используются для нормировки параметров примитивов последующих уровней. Эллиптические примитивы всех уровней строятся в собственных координатных осях представляемого объекта, а их параметры нормируются относительно параметров примитива нулевого уровня. Указанные операции обеспечивают инвариантность таких представлений к сдвигу, повороту, масштабу и яркости объектов. Для кодирования параметров примитивов (координат центров, радиусов и уровней яркости) использован 8-разрядный двоичный код.
На множествах лиц и подписей Хт, т = 1,2, введены условные по классам вероятности
Рх-р (хт | а ) =-
ехр (-У,т02(хт, Х,т))
т , Х,т ) )
,,= 1,., с, (45)
которые соответствуют переходным вероятностям независимых каналов наблюдения в (43). Здесь в2(хт, х,-) - квадрат расстояния между предъявля-
ть
емым объектом xmeXm и «центральным» представителем»
Xim = arg min У x D2(Xm, Xm)
v cY ^^ xm fcXim
подмножества Xim с Xm i-го класса, а vim > 0 - свободный параметр. В общем случае расстояния D (xm, xm) вычисляются в выбранном пространстве представлений объектов. Для древовидных представлений множества лиц Xi и множества подписей X2 использовались расстояния с квадратичным ядром, значения которых заданы матрицами смежности, размещенными на ресурсах [15] и [16].
Условные по классам вероятности вида (45) порождают на ансамбле X1X2 условные вероятности
PXiX2|Q (Xi, X2 | ffli) = Pxi|q (Xi | Ю/)Px2|q (X2 | Ю/) и безусловные вероятности
c
PxiX2(Xl, X2) = (1/ c )У PX1X2P (Xi, X2 | ffli)
i=1
для любой пары объектов X1eX1 и X2eX2. Указанные вероятности дают энтропии
H(X1X2 ) =-УУ Px1x2 (X1, X2)ln Px1x2 (X1, X2) ,
x1 x2
H (Xm| Q) = -(V c )£ У Pxm|Q (Xm | ffli- )ln Pxm|Q (x„ | 00,)
i=1 Xm
для вычисления средней взаимной информации (44) при M = 1 и M = 2. Параметры vm >0, i =1,..., c, в распределениях (45) на множествах Xm, m =1,2, выбраны из условия R (sma.) = 0 в точке si^L = (c -1)/c, когда M = 1. В случае M > 1 средней взаимной информации I (Q; XM) соответствует минимальная вероятность ошибки (39), вычисляемая при значениях условной энтропии H (Q | XM) = ln c - I (Q; XM).
Численные реализации границы ]RM (s) вида (33) на множествах X1, X2 и на ансамбле X1X2 представлены сплошными кривыми на рис. 4. Полученные границы демонстрируют уменьшение потенциально возможной вероятности ошибки классификации на ансамбле по сравнению с аналогичными значениями вероятности ошибки для объектов одной модальности. Для сравнения пунктиром дана реализация нижней границы Шеннона.
N
О
«
Ф
лицо
/=0
/= 1
1=2
1=3
1=4
1=5
1=6
1=1
1=8
4
<1
«1
подпись
/=0
1=1
1=2
1=3
1=4
1=5
1=6
1=1
1=8
о.
§2.0
1
X
2
Рис. 3. Примеры представлений лица и подписи бинарными деревьями эллиптических примитивов
ятности ошибки в границе (33) зависят от длины кодовых описаний указанных параметров.
Предложенный подход позволяет получить реализации функции Ям (е) на множествах объектов в виде сигналов или изображений, для которых используются различные представления с известными метриками. Допускается объединение в ансамбль размера м>2 множеств объектов с различными представлениями. Для выбранного пространства представлений обратная функция от 1Км (е) дает нижнюю границу вероятности ошибки распознавания образов, порождаемых отдельными источниками (м =1) или ансамблем источников (м >1), при фиксированном количестве анализируемой информации.
v7 1: r(Q;X[) = ЗЛЮ ^ = 0,092
2: 1 (fi; X2) = 3,184 = 0,052
\ 5:/(П;Х1Х2) = 3,217 =0,010 " z min "
0,0 0.2 0.4 0,6 0,8 1,0
вероятность ошибки Рис. 4. Реализации границы Км (е) на множествах лиц (1), подписей (2) и на ансамбле (3)
Следует отметить, что параметры эллиптических примитивов входят в расстояния, которые используются в распределениях вида (45). Поэтому значения средней взаимной информации и минимальной веро-
Заключение
Для модели кодирования дискретных сообщений, переданных по составному каналу с шумом, и модели распознавания образов, заданных наборами объектов
различной модальности, получены зависимости наименьшей средней взаимной информации между предъявляемыми данными и возможными решениями от заданной допустимой вероятности ошибки. Найденные зависимости сформулированы в форме монотонно убывающих функций «взаимная информация-вероятность ошибки», которые являются обобщениями известной в теории информации функции «скорость-погрешность» (rate distortion function), когда погрешность измеряется в метрике Хемминга.
Приведенные соотношения получены для схем с составными каналами наблюдения, выходные данные которых образуют ансамбли. Для рассмотренных моделей кодирования и классификации продемонстрировано уменьшение минимальной вероятности ошибки с ростом средней взаимной информации между входом и выходом канала наблюдения при увеличении размера ансамбля предъявляемых данных. Этот результат проиллюстрирован примерами функции «взаимная информация-вероятность ошибки» для схемы кодирования независимых равновероятных сообщений, в которой составной канал наблюдения задан парой симметричных каналов без памяти. Аналогичный эффект продемонстрировали численные реализации функции «взаимная информация-вероятность ошибки» для схемы распознавания изображений лиц и подписей в пространствах их древовидных представлений и на ансамбле таких представлений. Необходимо отметить, что предложенный подход допускает вычисление теоретико-информационных нижних границ вероятности ошибки классификации в пространстве векторных представлений предъявляемых данных, которые применяются в нейронных сетях.
Независимость полученных соотношений от решающих алгоритмов позволяет использовать их для анализа эффективности алгоритмов кодирования и классификации в терминах избыточности вероятности ошибки алгоритма относительно граничных значений при фиксированных значениях скорости кода или энтропии оценок классов. Планируется исследовать избыточность вероятности ошибки для алгоритмов кодирования дискретных источников и алгоритмов распознавания образов с разделяющими функциями различного вида.
Благодарности
Работа выполнена при поддержке Министерства науки и высшего образования в рамках выполнения работ по Государственному заданию Федерального исследовательского центра «Информатика и управление» РАН.
References
[1] Gallager RG. Information theory and reliable communication. New York: Wiley & Sons; 1968. ISBN: 0471-29048-3.
[2] Lam L, Suen CY. Application of majority voting to pattern recognition: An analysis of its behavior and performance. IEEE Trans Syst Man Cybern A Syst 1997; 27(5): 553-568. DOI: 10.1109/3468.618255.
[3] Kuncheva LI, Whitaker CJ, Shipp CA, Duin RPW. Limits on the majority vote accuracy in classifier fusion. Pattern Anal Appl 2003; 6(1): 22-31. DOI: 10.1007/s10044-002-0173-7.
[4] Dobrushin RL, Tsybakov BS. Information transmission with additional noise. IRE Trans Inf Theory 1962; 8(5): 293-304. DOI: 10.1109/TIT.1962.1057738.
[5] Berger T. Rate distortion theory: A mathematical basis for data compression. New Jersey: Prentice-Hall Inc, Englewood Cliffs; 1971. ISBN: 013-753103-6.
[6] Lange MM, Lange AM. Information-theoretic lower bounds to error probability for the models of noisy discrete source coding and object classification. Pattern Recogn Image Anal 2022; 32(3): 570-574. DOI: 10.1134/S105466182203021X.
[7] Duda RO, Hart PE, Stork DG. Pattern classification. 2nd ed. New York: Wiley & Sons; 2001. ISBN: 9780471056690.
[8] Djukova EV, Zhuravlev YuI, Prokofjev PA. Logical correctors in the problem of classification by precedents. Comput Math Math Phys 2017; 57(11): 1866-1886. DOI: 10.1134/S0965542517110057.
[9] Sueno HT, Gerardo BD, Medina RP. Medina multi-class document classification using Support Vector Machine (SVM) based on improved Naive Bayes Vectorization technique. Int J Adv Trends Comput Sci Eng 2020; 9(3): 3937-3944. DOI: 10.30534/ijatcse/2020/216932020.
[10] Brown G, Pocock A, Zhao MJ, Lujan M. Conditional likelihood maximization: A unifying framework for information theoretic feature selection. J Mach Learn Res 2012; 13(8): 27-66.
[11] Xu X, Huang SL, Zheng L, Wornell GW. An information theoretic interpretation to deep neural networks. Entropy 2022; 24(1): 135. DOI: 10.3390/e24010135.
[12] Lange MM, Ganebnykh SN. On fusion schemes for multiclass classification with reject in a given ensemble of sources. J Phys Conf Ser 2018; 1096: 012048. DOI: 10.1088/1742-6596/1096/1/012048.
[13] Denisova AY, Sergeev VV. Algorithms for calculating multichannel image histogram using hierarchical data structures. Computer Optics 2016; 40(4): 535-542. DOI: 10.18287/2412-6179-2016-40-4-535-542.
[14] Lange AM, Lange MM, Paramonov SV. Tradeoff Relation between Mutual Information and Error Probability in Data lassification Problems. Comput Math Math Phys 2021; 61(7): 1181-1193. DOI: 10.1134/S0965542521070113.
[15] Distance matrices for face dataset. 2020. Source: <http://sourceforge.net/projects/distance-matrices-face>.
[16] Distance matrices for signature dataset. 2020. Source: <http://sourceforge.net/projects/distance-matrices-signature>.
Сведения об авторах
Ланге Михаил Михайлович, 1945 года рождения, в 1968 году окончил Московский энергетический институт по специальности «Измерительная техника». В 1981 году получил степень кандидата технических наук по специальности «Теория информации и техническая кибернетика» в Институте проблем передачи информации РАН. В настоящее время работает ведущим научным сотрудником в Федеральном исследовательском центре «Информа-
тика и управление» РАН. Область научных интересов: теория информации, кодирование источников, распознавание образов, обработка изображений и анализ данных. E-mail: lange_mm@mail. ru
Ланге Андрей Михайлович, 1979 года рождения, в 2002 году окончил Московский государственный технический университет имени Н.Э. Баумана (МГТУ) по специальности «Прикладная математика». В 2008 году получил степень кандидата физико-математических наук по специальности «Математическое моделирование, численные методы и комплексы программ» в МГТУ. В настоящее время работает научным сотрудником в Федеральном исследовательском центре «Информатика и управление» РАН. Область научных интересов: теория ветвящихся процессов, машинное обучение, распознавание образов, анализ данных. E-mail: lanse_am@mail.ru
ГРНТИ:28.23.15
Поступила в редакцию 30 мая 2023 г. Окончательный вариант - 3 ноября 2023 г.
Information-theoretic bounds for accuracy of letter encoding and pattern
recognition via ensembles of datasets
M.M. Lange1, A.M. Lange1 1 Federal Research Center "Computer Science and Control" RAS, 119333, Moscow, Russia, Vavilova 42
Abstract
In this paper, we study stochastic models for discrete letter encoding and object classification via ensembles of different modality datasets. For these models, the minimal values of the average mutual information between a given ensemble of datasets and the corresponding set of possible decisions are constructed as the appropriate monotonic decreasing functions of a given admissible error probability. We present examples of such functions constructed for a scheme of coding independent letters represented by pairs of observation values with possible errors as well as for a scheme of classifying composite objects given by pairs of face and signature images. The inversions of the obtained functions yield the lower bounds for the error probability for any amount of processed information. So, these functions can be considered as the appropriate bifactor fidelity criteria for source coding and object classification decisions. Moreover, the obtained functions are similar to the rate distortion function known in the information theory.
Keywords: source coding, ensemble of datasets, entropy, object classification, error probability, mutual information, rate distortion function.
Citation: Lange MM, Lange AM. Information-theoretic bounds for accuracy of letter encoding and pattern recognition via ensembles of datasets. Computer Optics 2024; 48(3): 460-470. DOI: 10.18287/2412-6179-CO-1362.
Acknowledgements: This work was supported by the RF Ministry of Science and Higher Education within the State assignment of the FRC "Computer Science and Control" RAS.
Authors' information
Mikhail Mikhailovich Lange (b.1945) graduated from Moscow State Power Institute in 1968 majoring in Instrumentation Technology. He received PhD in Information Theory and Technical Cybernetics from the Institute for Information Transmission Problems of RAS in 1981. Currently, he is the leading researcher in Federal Research Center "Computer Science and Control" of RAS. Scientific interests: information theory, source coding, pattern recognition, image processing and data analysis. E-mail: lange_mm@mail.ru
Andrey Mikhailovich Lange (b.1979) graduated from Bauman Moscow State Technical University (BMSTU) in 2002 majoring in Applied Mathematics. He received PhD in Mathematical Modeling and Numerical Methods from BMSTU in 2008. Currently, he is the research assistant in Federal Research Center "Computer Science and Control" of RAS. Scientific interests: branching processes, machine learning, pattern recognition and data analysis. E-mail: lange_am@mail.ru
Received May 30, 2023. The final version - November 3, 2023.
