CC BY
47
ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ
УДК 519.217.2+621.391.82 й01 10.12737/6814
Решение задачи оценивания скрытых полумарковских QP-моделей* В. М. Деундяк, М. А. Жданова
Рассматривается скрытая полумарковская <<Р-модель и показывается, каким образом она может быть вложена в общую скрытую полумарковскую модель. Для скрытой полумарковской <<Р-модели решается задача оценивания — первая из трех классических задач теории скрытых марковских и полумарковских моделей. В основе решения этой задачи лежит разработанный Б^шп^епд Уи алгоритм прямого хода для общей скрытой полумарковской модели, отличный от традиционного и основанный на использовании апостериорных вероятностей. Решение задачи оценивания скрытой полумарковской QP-модели является важным этапом в решении задачи подбора по регистрируемой в канале передачи данных последовательности ошибок модели из базы скрытых полумарковских <<Р-моделей, которая генерирует наиболее близкие к канальной последовательности потоки ошибок. Решение задачи подбора сделает возможным на основе компьютерных имитационных экспериментов оценивать корректирующие способности помехоустойчивых кодеков по отношению к ошибкам различного типа и подбирать оптимальный кодек к конкретному каналу связи.
Ключевые слова: модель источника ошибок, поток ошибок, цифровой канал связи, скрытая полумарковская модель, задача оценивания.
Введение. В настоящее время для обеспечения надежной передачи информации по цифровому каналу активно используются методы помехоустойчивого кодирования. Подбор помехоустойчивого кодека для каждого конкретного канала удобно производить на основе экспериментов с использованием имитационных моделей каналов связи с помехами.
В [1-2] была разработана информационная система оценки применимости схем алгебраического помехоустойчивого кодирования (ИС ОПСАПК), позволяющая на основе компьютерных имитационных экспериментов оценить корректирующие способности помехоустойчивых кодеков по отношению к ошибкам различного типа и подобрать оптимальный кодек к конкретному каналу связи. Одной из значимых частей ИС ОПСАПК является база моделей источников ошибок, необходимых для проведения имитационных экспериментов, результаты которых хранятся в базе данных ИС. Классические математические модели источников ошибок описывают отдельные типы ошибок в канале, что значительно усложняет исследование корректирующей способности кодека по отношению к различным типам ошибок [1, 3]. В [4-5] предлагается модель источника ошибок, которую далее будем называть скрытой полумарковской <Р-моделью (СПМ<Р-моделью), включающая в себя при различных параметрах многие классические модели, в том числе модели, реализованные в [2, 6]. Отметим, что СПМ<Р-модель принадлежит классу общих скрытых полумарковских моделей (ОСПММ), описанных в [7].
В работе [7] вводится в рассмотрение ОСПММ, представляющая собой обобщение известных ранее скрытых полумарковских моделей (см., например, [8-10]), а также предлагается новая версия классического алгоритма прямого хода [8] для решения задачи оценивания ОСПММ, использующая понятие апостериорных вероятностей. Отметим, что алгоритм прямого хода в его классической форме нецелесообразно использовать на практике ввиду значительной потери вычислительной точности при достаточно больших последовательностях, и традиционным способом избежать этой проблемы для
* Работа выполнена в рамках инициативной НИР.
скрытых марковских моделей является нормирование прямых переменных путем умножения на некоторый коэффициент [8]. Однако, как показывает К. Мерфи в [11], в случае скрытых полумарковских моделей этот способ оказывается неэффективным. Использование апостериорных вероятностей [7] позволяет решить проблему потери вычислительной точности.
Для использования на практике информационных систем оценки применимости схем алгебраического помехоустойчивого кодирования типа ИС ОПСАПК необходимо уметь решать задачу подбора по регистрируемой в канале последовательности ошибок такой модели из базы, которая генерирует потоки ошибок, наиболее близкие к канальной последовательности. Важным этапом решения этой задачи является решение задачи оценивания скрытой полумарковской £Я-модели, которое предлагается в этой статье.
Подход БИып^Ивпд Уы к теории скрытых полумарковских моделей. В [7] введена общая скрытая полумарковская модель (ОСПММ) для описания класса систем, которые могут находиться в различных состояниях, генерировать символы выходного алфавита и осуществлять переходы между состояниями. ОСПММ это набор Л = {5,О,Л,пу,Б}: 5 = {1,..,^} — алфавит состояний; О = {1,..,О} — алфавит длительностей состояний; Л = {Эц^^ 5О — матрица переходных вероятностей для обобщенных состояний из 5 х й, при этом Э//= 0 '' П = {п^}(/;^)Е5хй — набор начальных распределений вероятностей обобщенных состояний; V = {ух,..,Ум} — выходной алфавит; Б = 0 ^ _ — набор распределений вероятностей наблюдений
(оХ1.., о,) V.
Частными случаями ОСПММ являются скрытая марковская модель с явно заданной плотностью длительности состояний [8], скрытая марковская модель с непрерывно изменяющейся длительностью из [9], а также сегментные скрытые марковские модели, обзор которых можно найти в [10].
Следуя Shun-Zheng Yu, будем использовать следующие обозначения: 5*.* = 5 ,—,5 , где
— последовательность отсчетов времени (С е Z). Далее 5= / означает, что система находится в состоянии гв течение , = / означает 5^ = /, причем в момент 1 — начало состояния г, 5^] = / означает 5^ = /, причем в момент t2 — окончание состояния г, 5^.,. ] = / означает 5^2 =', причем в момент 1 — начало, а в t2 — окончание состояния г В случае длинных индексов вместо О^ будем для краткости писать О^ . Отметим, что
(/', б') е 5 х О: З/^а= Р[5[и1-.иа ] = /' I = /];
Vt < 0, У(/, б) е 5 х О: П/,б = Р[5[(М] = ,
У(!,б) е 5 х V(д,+1,...,д,+б) е ^ : Ь/¿^^...д^) = КОм^диа 1 = /] .
Рассмотрим теперь в рамках подхода Shun-Zheng Yuодну из классических задач теории скрытых марковских и скрытых полумарковских моделей, называемую задачей оценивания. Зафиксируем ОСПММ Л = {5,О,Л,П,V,B} и некоторую последовательность О1Т над алфавитом V Под задачей оценивания ОСПММ в [7] понимается задача вычисления вероятности Рх[О^] = Р[О^] генерации последовательности О1Т моделью Л при предположениях: 1) первое наблюдаемое состояние началось в момент времени С = 1 или до него, 2) последнее наблюдаемое состояние закончилось строго в момент времени Т.
В [7] предлагается подход к решению задачи оценивания ОСПММ, отличный от подхода [8-9] и использующий апостериорные вероятности. Именно, для Р[0Ш] и а(/,Л):= = / |0^], где
) е 5 х й, 0 < t < Т, конструируются рекурсивные формулы по параметру £
РЮ] = Е Е РО*-^и,б)Ь/б(Ot_d.1t),
/е5 Лей
б (/ ,Л )Ь/'' '+1 ) ргП Г" '')(/,Л) ■
а (/,б) = Е Е с^(/'Л)ьм,(0:^+1)' Оп ^л а'л™
/ 'е5\{/> Л ей Р[01Х-Л ]
В результате вероятность наблюдения полной последовательности Р[0^] предлагается вычислять по формуле:
О]=Е Е рюглЪг ог-л+т).
/е5 Лей
Такой способ позволяет избежать потери вычислительной точности в случае ОСПММ и поэтому может быть применен на практике [7].
Скрытая полумарковская ДО-модель источника ошибок. В статьях [4-5] представлена модель источника ошибок, объединившая два различных подхода к моделированию помеховой обстановки в канале - подход, основанный на использовании теории цепей Маркова, и <Р-модель, разработанную в [12]. Эту модель будем в дальнейшем называть скрытой полумарковской <Р-моделью источника ошибок (СПМ<Р-моделью).
Под СПМ<Р-моделью источника ошибок будем понимать набор Л = {5,й, А,П, , где 5 = {1,..,^> — алфавит состояний; й = {1,..,й> — алфавит
длительностей состояний; А = {аг}//&? — матрица переходных вероятностей; П = {п7 >/е5 — начальное распределение вероятностей состояний; р(Л) = {рДЛ)>/е5 — набор распределений вероятностей длительностей в различных состояниях, где р/(Л) := Р[5т^+Л] = /1 5[т = /] соответствует вероятности наблюдения состояния / на протяжении б моментов времени; р = {рД/)},^,/^ — вектор, составленный из эталонных плотностей, определяемых на эталонных отрезках I = {Ц>длин Л = {б7>/е5,
V/ е 5,/ е I : 0 < р/ (/) < 1; V/ е 5 : Е Р/ (/) = 1,
где м = {М/>/е5 — вектор средних вероятностей появления ошибки в различных состояниях; М — средняя вероятность появления ошибки в канале.
Для р должно также выполняться условие адаптированности к каналу:
V / е 5, / е I/ : р/ (/) < 1.
б/М/
Поле Галуа — алфавит наблюдаемых символов. F* — мультипликативная группа поля Га-луа ^ . В = {ЬДк)>/5 ^^ — набор распределений вероятностей значений ошибки в состояниях, т.е.
Ь (к):= Р[к\5). = / ] — вероятность наблюдать символ к в состоянии '/. Отметим, что для параметров СПМ<Р-модели должны дополнительно выполняться следующие два условия:
V / е5, Л ей: — > 1 ^ РЛ = 0; М =Е МР11т ,
ЛМ/ /е5
где р т — предельные вероятности состояний.
Посредством описанной модели можно производить генерацию потоков ошибок. Сначала с помощью вектора П определяется состояние системы до наступления первого момента времени. Далее для каждого момента времени выполняется следующая последовательность действий:
1) На основе матрицы А выбирается текущее состояние канала г
2) С использованием р,(б) определяется длительность состояния б
3) Для каждой точки отрезка длины с/ вычисляется вероятность наличия в ней ошибки:
V0 е [1,б]: <е = фб (9)М/б, (2)
где
е+1 Ъ б
фб (0) = 1 фРб (х)бх, фРСб |(/9,(/+1)9] = ъ/ • Р/(/), / е Ц, Я = б . (3)
В соответствии с этой вероятностью определяется наличие ошибки.
4) Если ошибка есть, с помощью матрицы В генерируется ее значение. В противном случае на этой позиции будет стоять нулевой элемент.
Покажем, что построенная СПМфЯ-модель может быть рассмотрена в рамках ОСПММ. Для этого введем необходимые уточнения параметров ОСПММ. Во-первых, в качестве алфавита наблюдаемых символов выбрано поле Галуа ^ ; во-вторых, допускается возможность самоперехода, то есть перехода
из состояния / (е 5) в него же; в-третьих, вероятность перехода в следующее состояние зависит только от текущего состояния, а его длительность — только от него самого, т.е. справедливо:
а/б)/ ,б) = З"" р/(б'), (4)
П/ '' = П/ Р/- (б'); (5)
в-четвертых, при фиксированном состоянии наблюдения независимы друг от друга, а их вероятности зависят как от текущего состояния и его длительности, так и от позиции наблюдения внутри текущего временного отрезка; в-пятых, предполагается условная независимость события, заключающегося в наблюдении в некоторый момент времени * +1 состояния ус длительностью с/, от события, заключающегося в наблюдении последовательности Ох*, при условии, что в момент времени tзакончилось состояние г длительностью б . По определению условной независимости можно записать:
Р[5[*+1*+б] = ],ОИ 1 5[*-б'+1*] = /] = Р[5[*+1*+б] = 3 1 5[*-б '+1*] = 1 5[*-б '+1:С] = /] ; (6)
в-шестых, предполагается условная независимость события, заключающегося в наблюдении последовательности от произведения событий наблюдения последовательности Оы и окончания в
момент времени t состояния / длительности б' при условии, что в момент времени * +1 началось состояние у длительностью б. Таким образом, получаем
Р[О*+1:*+б 1 5[*+1:*+б] = 3,О1*,5[*б'+1:*] = /] = Р[О*+1:*+б 1 5[*+1:*+б] = 3] ■ (7) Решение задачи оценивания СПМДО-модели. В первом разделе рассмотрен подход Shun-Zheng Yu к решению задачи оценивания ОСПММ в предположении, что первое состояние началось в момент времени * = 1 или до него, а последнее состояние закончилось строго в момент времени Т. Ниже в теореме получено решение задачи оценивания скрытой полумарковской фЯ-модели при более общих предположениях.
Сформулируем следующие необходимые в дальнейшем утверждения. Зафиксируем СПМфЯ-мо-дель Л = {5,О,Л,П,р(б),р,у,М,Рд,Б}. Пусть о — некоторый символ из алфавита ^ . Обозначим
Ь/е(д) вероятность наблюдать символ о в состоянии /на в-ой позиции внутри отрезка длины б, т.е.
Ье (o):= P[o\S[t+1.I+d] = i ],
где е e [1,d].
Обозначим I,-* — индикатор множества F* . Под будем понимать функцию, полученную
Fq * i
масштабным растяжением эталонной плотности р на отрезок длины dсогласно (3) (подробнее см. в [12]).
Лемма 1. Вероятностьbfe(o) может быть вычислена по формуле:
be (o) = IF (О)ф? (е)м ¡dbi(o) + (l - IF (o))(1 - Ф (e)Mi-d). (8)
* ' q
Доказательство. В соответствии с (2) в каждый момент времени е внутри длительности d в состоянии i мы можем наблюдать ненулевой символ (т. е. символ из F*) с вероятностью
ede = Ф^)М/d и нулевой символ (не принадлежащий F*) с вероятностью 1 - ef^ . В случае, когда
символ ненулевой, его значение определяется соответствующей текущему состоянию i строкой матрицы B. Тогда, для краткости используя понятие индикатора множества, можно записать (8). Лемма 1 доказана.
Рассмотрим некоторую бесконечную последовательность O элементов поля Fq . Пусть O1T — ее конечная подпоследовательность длины T, элементы которой нам известны. Элементы O1 и OT представляют собой соответственно первый и последний наблюдаемые символы. Будем считать, что о символах, находящихся за пределами наблюдаемого отрезка, нам ничего не известно. Пусть Ot+vt+d — частичная подпоследовательность длины d последовательности O . Справедлива следующая лемма. Лемма 2. Вероятность bid(Ot+1.t+d) может быть вычислена следующим образом:
а) если t < 0, t + d < 0 или t >T, то bid(Ot+1.t+d) = 1;
б) если t + d > 0, а t <T, то b,-¿(Ot+u+d) = nk=mb/,e (Ot+e), где m = 1, когда t > 0; m = 1 -1, когда t < 0; k = d , когда t + d< T; k = T -1, когда t + d > T, и bfQ(Ot+Q) определяется в соответствии с леммой 1.
Доказательство. Рассмотрим сначала ситуацию б), т.е. t + d > 0, а t < T . 1. Пусть t > 0 и t + d < T. В этом случае подпоследовательность Ot+lt+d полностью лежит внутри интервала [1,T] и, следовательно, полностью нам известна. По определению bid (Ot+1:t+d) = P[Ot+1:t+d|S[t+1:t+d] = i]. Т.к. для скрытой полумарковской £Я-модели предполагается
условная независимость наблюдений символов выходного алфавита при фиксированном состоянии и длительности, можем записать:
P[Ot+1tt+d \ - Wd] = i] = iWt+e \ St+it+d] ] = i] = íb (Ot+e),
e=i e=i
где Ot+e — e -ое наблюдение на отрезке [t + 1,t + d], а bde(Ot+e) может быть вычислено в соответствии с леммой 1.
2. Пусть t > 0 и t + б > Т. Тогда начало подпоследовательности Олежит внутри интервала [1,Т], а конец за его пределами, то есть нам известны только первые к = Т -1 символов последовательности О:+1::+6 . В этом случае вероятность Р[О:+1:+6 | ='] сводится к вероятности
наблюдать префикс О^ы+к в состоянии / длительностью б, т.е. к маргинальной вероятности:
к к
РОО+1*+* I = /] = РОш+к I S[t+l:t+d] = /] = П Р^+В I ^^б]] = / = П ^0(Ot+0).
0=1 0=1
3. Пусть t < 0 и t + б< Т. Этот случай аналогичен случаю 2 с той разницей, что теперь конец подпоследовательности О:+1:+6 лежит внутри интервала [1,Т], а начало за его пределами. Таким образом, нам известны последние б - т символов последовательности , где т = 1 -1. Тогда вероятность Р[О:+1:+6 | ='] сводится к вероятности наблюдать суффикс Оt+m:t+d при условии
наблюдения состояния / длительностью б. Применяя рассуждения, аналогичные доказательству предыдущей ситуации, получим
б .
Р^+б^+^+б] = /] =П <0 Ов ) .
0=т
4. Пусть t < 0, t + б >Т. Тогда нам известны только символы начиная с ^-того и заканчивая А-тым. Таким образом,
к .
Р^+б^+^+б] = /] =П Ьбв (О:+В ) .
0=т
Теперь рассмотрим ситуацию а). Условие t < 0, t + б < 0 так же как и t >Т соответствует ситуации, когда нам неизвестен ни один символ подпоследовательности О:+1:+6 . Поскольку последовательность О бесконечная, то мы можем с уверенностью утверждать, что какая-то частичная последовательность символов из обязательно реализовалась. Таким образом, Р[Оиш+б I ='] = 1. Лемма 2 доказана.
Лемма 3. Вероятность наблюдать последовательность О^^ при предположении, что первое состояние началось в момент времени t' = 1 или до него, а последнее состояние закончилось в момент времени Ь, может быть вычислена по следующей рекуррентной формуле:
[ 1, t < 0, Р[О1*] = 1 £ £ РО^-б^(/,б)Ь,б(Ot-б+l:t), t > 0, (9)
[/е5 беО
где
_ | П/Р/ (б), t < 0,
at(/,б) = ] £ £ at-б(/ 'бЩбОб-м)а//Р/(б), t > 0; (10)
I/'еS бео
Ь (Ot-б ) = Ь (Ot-б ) Р[О1^-б-б ]
Ь/',б^Ч-б-б'+1) = Ь/',б ^Ч-б-б '+1) ргП -| (11)
P[O1:t—б ]
и Ь/б(Р1:_б+1.1:) определяется в соответствии с леммой 2.
Доказательство. Доказательство формул леммы при t е (0,Т] вытекает из того, что СПМ QP модель является ОСПММ, что было показано в предыдущем разделе. Переписав формулы (1) с использованием выражения (5), получим формулы (9) и (10).
Для доказательства леммы при t < 0 расширим определение а!-(/,?) на случай t < 0 . Преобразуя его с использованием определения условной вероятности, получим
а! (/,?) =
= ^5^+1:!] = /] ' Р[О1! = /]
Р[Оц] Р[Оц]
Если ! < 1, ='] = 1' т-к- мы не знаем, какие символы наблюдались до момента
времени ! = 1. Тогда с учетом (4) запишем
аД/,?) = = ПРМ.
Рассмотрим полную группу несовместимых событий Е = {Е, где событие Есостоит
в том, что в момент времени Ьзакончилось состояние / длительностью С По формуле полной вероятности можем записать
Р[Оц] = 11 Р[%*+! =О].
/е5 ¿ей
Тогда при ! < 0 получим
РО] =11 П/? = 1
/е5 ¿ей
и, следовательно: V! < 0,Vе 5 х й: а!(/,?) = п/р/(?). Лемма 3 доказана. Сформулируем основной результат работы.
Теорема. Вероятность наблюдать последовательность О^ при предположении, что первое состояние началось в момент времени ! = 1 или до этого момента, а последнее состояние закончилось в момент времени 7"или после него, может быть вычислена по следующей формуле:
Р[01:т] Р[0,,т , ]от ,1с1и,с1)Ььс1{Отт^), (12)
1е5Лей?=1 1
где Р[О1Т_^], (1,?) вычисляются по лемме 3, Ь^¿(О^^+х) — по лемме 2.
Доказательство. Рассмотрим Р[0±т~\. Построим разбиение пространства элементарных событий Е = {Ej|d|dl}j5|dD|dlф|d], являющееся полной группой несовместимых событий. Событие
состоит в том, что в момент времени Тмодель находится в состоянии ] с длительностью С, причём на момент времени Тпрошло ¿Д< моментов времени. Тогда по формуле полной вероятности, используя определение условной вероятности, можем записать:
с1
jе5 ¿ей ?=1
Рассмотрим вероятность = 1О^], представляющую собой совместную вероят-
ность двух событий — наблюдать последовательность О^ и наблюдать состояние ] на временном отрезке [Т - ? + 1,Т + Л - . Рассмотрим полную группу несовместимых событий Е' = {Е//5, где событие Е] & состоит в том, что в момент времени Т - ? закончилось состояние / длительности Л' . По формуле полной вероятности
РР-5[Т-? +1Т+?-?] = 1'О1Т]
= 11 РР-5[Т-? +1:Т+?-?] = 1,О1:Т,5[Т-?-?'+1:Т-?] = /] /е5 ей
- £ £ Р\-5[Т-б, +1:Т+б-бЛ - 1 '°1ТТ+1 :Т'5[Т-б, -б'+1:Г-б] -/] /е5 б'еО 11 11
- £ £ Р[°\Т-^'5[Т-^-б'+1:Т-^] - /] ' +1:Т+б-^] - 1 1 '5[Т-^-б'+1:Т-^] - /]
/е5 б' еО
'Р[°Т-^ +1:Т I 5[Т-^+1:Т+б-4] - 1 '°1Т-^'5ТТ-^-б'+1:Т-^] - /] '
Рассмотрим последние два множителя. Воспользовавшись определением условной вероятности и свойствами (6), (7) СПМфЯ-модели, получим:
Р\-5[Т-^+1:Т+б-^] - ] 1 °1:Т-^'5\Г-^-б'+1:Т-^] - /] - Р\-5[Т-^+1,Т+б-б1] - 1 1 5[Т-^-б '+1:Т-^] - /] '> Р[°Т-^ +1:Т 1 5[Т-^ +1:Т+б-4] - 1'°1:Т-^ ' 5[Т-^-б '+1:Т-^] - /] - Р[°Т-^ +1:Т 1 5[Т-^ +1:Т+б-^] - '
Теперь используя (13) и заменяя известные величины введенными ранее обозначениями, запишем выражение для интересующей нас вероятности:
P[0VT]= £ £ £ £ £ P[QVJ di,s[T di dvJ d^iyai]P]{d)bhd{0>Ta a^-
JeSdeD^ =1 ieS d 'eD
Заметим так же, что P[OT-d'ST-d-d'+v.T-dl\ =i] представляет собой прямую переменную aTdi(i,d ') ([7], с. 218), для вычисления которой Shun-Zheng Yuпредлагает использовать формулу (4). Согласно ей запишем:
а (J, d) = £ £ at-d(idajpj (d)bjd(Od) ■
ieS d'eD
Тогда
d
р[ад=£ £ Y.vT-d1+dU,d).
JeSdeDd =1
Используя следующее соотношение из [7]
at (J,d) = PO1:i -d]at(J,d)bj,d (Ot- d+1),
получим
p[01:r]=£ £ t Р[0,,т di]oT di du,d)bJid{0TT ^J).
JeSdeDd =1 1
Под РЮ1:Г_дг ] понимается вероятность наблюдать последовательность OVT_di при условии, что первое состояние началось в момент времени t = 1 или до него, а последнее состояние закончилось строго в момент времени T - dx. Эта вероятность вычисляется по лемме 3. Теорема доказана.
Пример. Проиллюстрируем предложенный подход. Рассмотрим три СПМфЯ-модели с одинаковым выходным алфавитом F2:
1. Л = {S;D; А;П; p(d\,p;J;M;F2 ;B}, где
- _ - - (0.999 0.001I - (0.8 0.2 П = (0.5,0.5); | = (0.1,0.16); M = 0.1; A = I I; B = I
^0.001 0.999) ^0.3 0.7
p0 = (0.004, 0.004, 0.007, 0.05, 0.24, 0.39, 0.24, 0.05, 0.007, 0.004, 0.004); p = (0.67, 0.26, 0.05, 0.007, 0.006, 0.004, 0.001, 0.001, 0.001);
- 10| 20 . - _ 9| 8 , p0 = 0.11 0.9 ; p1 = 0.5 | 0.5 ;
2. Л = {S; D; A; П; p(d); p; p; M; F>; B}, где
- „ - - (0.5 0.5 ^ - (0.993 0.007
П = (0.9,0.1); м = (0.1,0.16); M = 0.1; A = I I; B = I
^ 0.5 0.5 J ^0.007 0.993
р0 = (0.001, 0.001, 0.001, 0.001, 0.001, 0.007, 0.007, 0.007, 0.007, 0.007,
0.04, 0.05, 0.24, 0.39, 0.24);
р = (0.001, 0.001, 0.001, 0.004, 0.006, 0.007, 0.05, 0.26, 0.67);
- 101 20 - 9 р0 = 0.91 0.1; Pl = 1;
3. Л = {5; D) А) П; p(d)) р; р; М) F2; В} , где
~ (0.75 0.251 ~ (0.5 0.5 П = (0.2,0.8); у = (0.2,0.2); М = 0.2; А = \ ; В =
^0.25 0.75J ^0.5 0.5
р = (0.495, 0.002, 0.001, 0.001, 0.001, 0.495, 0.001, 0.001, 0.001, 0.002); р = (0.002, 0.001, 0.001, 0.495, 0.495, 0.001, 0.001, 0.001, 0.001, 0.002); - = 131 18 . - = 221 15 . р0 = 0.31 0.7 ; P1 = 0.81 0.2 ;
Проведем следующий эксперимент. Пусть От,0- ,Oz — последовательности длины 5000 симво-
Ад Л
лов, порожденные моделями Л,Л,Л соответственно. Рассмотрим последовательность О^ . Для удобства вычислений разобьем ее на 10 сегментов по 500 символов и, используя формулы (12), вычислим вероятность генерации моделью Л каждого из 10 сегментов, после чего усредним полученные значения и тем самым вычислим Р(Л,0) ■ Аналогичные вычисления проведем для всех пар (Л,0М), где
Л,ре{Л;Л;Л} . Полученные девять чисел P[K,Ov) приведем в таблице 1.
Таблица 1
Значения величины Р(Л,0) для рассматриваемого примера
^^^^^^Последовательность Модель ^^^^^^^ 0Л
Л 3.42E-57 1.67E-94 1.70E-137
Л 2.03E-90 9.45E-49 1.45E-211
Л 7.85E-146 5.08E-148 2.26E-55
Отметим, что при выборе длины сегмента нужно учитывать, что при слишком маленькой длине нельзя гарантировать точность метода, а при слишком большой длине вероятности могут оказаться за пределом вычислительной точности. Таким образом, правильный выбор длины сегмента является важным условием корректной работы метода. Практические рекомендации по определению оптимальных значений этого параметра предполагается в дальнейшем выработать на основе экспериментальных исследований.
По таблице результатов выберем модель, наиболее соответствующую каждой из последовательностей. В качестве критерия можно выбрать критерий максимального правдоподобия, то есть выбирать модель, дающую наибольшую вероятность Р(Л,0 ). Если пользоваться этим критерием, видно,
что для каждой из последовательностей модель, которой она была сгенерирована, дает наибольшую вероятность. Однако, зачастую удобно использовать и другие критерии. Например, выбирать модель,
дающую максимальную относительную вероятность, то есть:
Р(Л,С>)
; иногда удобнее сравнивать
IЛеЛ Р(Л,О
не сами относительные вероятности, а их логарифмы [8]. В последнем случае выбирается модель, да-
ющая на последовательности максимум 1од
Р(Л,С>)
I ЛеЛ Р(Л,0)
. Этот критерий носит название критерия
максимума взаимной информации. Для рассматриваемого примера значения этой величины приведены в таблице 2, из которой видно, что критерий максимума взаимной информации в нашем примере позволяет сделать такой же вывод, как и критерий максимального правдоподобия.
Таблица 2
Значения величины 1од
р(Л,С>)
I ЛеЛ Р(Л,0)
для рассматриваемого примера
"""^^^Последовательность Модель^^-...^ О ОЛ
Л 0 -45.75372824 -82.12334112
Л -33.22597501 0 -156.1912406
Л -88.63917916 -99.26931236 0
Заключение. В работе доказано вложение скрытой полумарковской фЯ-модели в общую скрытую полумарковскую модель и решена задача оценивания скрытой полумарковской фЯ-модели. Полученные теоретические результаты дают возможность совершенствовать системы оценки применимости помехоустойчивого кодирования в каналах связи. Именно они позволяют алгоритмически решать важную задачу подбора по регистрируемой в канале последовательности ошибок наиболее подходящей модели из базы скрытых полумарковских фЯ-моделей.
Библиографический список
1. Деундяк, В. М. Методы оценки применимости помехоустойчивого кодирования в каналах связи / В. М. Деундяк, Н. С. Могилевская — Ростов-на-Дону : Дон. гос. техн. ун-т, 2007. — 85 с.
2. Информационная система «Канал»: свидетельство о государственной регистрации программ для ЭВМ / Н. С. Могилевская, К. А. Чугунный. — № 2008614602; дата регистрации 24.09.2008 г.
3. Деундяк, В. М. Имитационная модель цифрового канала передачи данных и алгебраические методы помехоустойчивого кодирования / В. М. Деундяк, Н. С. Могилевская // Вестник Дон. гос. техн. ун-та. — 2001. — Т. 1, № 1(7) . — С. 90-95.
4. Деундяк, В. М. Обобщенная марковская модель источника ошибок д-ичного цифрового канала нескольких физических состояний / В. М. Деундяк, М. А. Жданова // Математика и ее приложения. — 2010. — Вып. 1 (7). — С. 34-40.
5. Деундяк, В. М. О применении скрытых марковских моделей в моделировании источников ошибок / В. М. Деундяк, М. А. Жданова // Обозрение прикладной и промышленной математики. — 2011. — Вып. 3. — С. 488.
6. Могилевская, Н. С. Об экспериментальном исследовании характеристик модифицированных помехоустойчивых блочных двоичных кодов / Н. С. Могилевская, К. С. Сухоставская // Вестник Дон. гос. техн. ун-та. — 2007. — Т. 7, № 3. — С. 276-282.
7. Yu, Shun-Zheng. Hidden semi-Markov models / Shun-Zheng Yu // Artificial Intelligence. — 2010. — V. 174, n. 2. — P. 215-243.
8. Рабинер, Л. Р. Скрытые марковские модели и их применение в избранных приложениях при распознавании речи / Л. Р. Рабинер // ТИИЭР. — 1989. — т. 77. № 2. — С. 86-120.
9. Levinson, S. E. Continuously variable duration hidden Markov models for automatic speech recognition / S. E. Levinson // Computer Speech and Language. — 1986. — 1 (1). — P. 29-45.
10. Ostendorf, M. From HMM's to segment models: A unified view of stochastic modeling for speech recognition / M. Ostendorf, V. V. Digalakis, O. A. Kimball // IEEE Transactions on Speech and Audio Processing. — 1996. — 4 (5). — P. 360-378.
11. Murphy K. P. Hidden semi-Markov models (HSMMs) / K. P. Murphy. — Режим доступа: http://www.cs.ubc.ca/~murphyk/Papers/segment.pdf (дата обращения: 27.06.2014).
12. Деундяк, В. М. О математическом моделировании источника ошибок канала нескольких состояний / В. М. Деундяк, Н. С. Могилевская // Вестник Рост. гос. ун-та путей сообщ. — 2007. — № 1. — С.41-45.
Материал поступил в редакцию 06.11.2014. References
1. Deundyak, V. M., Mogilevskaya, N. S. Metody otsenki primenimosti pomekhoustoychivogo kodiro-vaniya v kanalakh svyazi. [Methods for assessing the applicability of error control coding in communication channels.] Rostov-on-Don : Don State Technical University, 2007, 85 p. (in Russian).
2. Mogilevskaya, N. S., Chugunny, K. A. Informatsionnaya sistema «Kanal»: svidetel'stvo o gosudar-stvennoy registratsii programm dlya EVM. [Information system "Channel": State Registration Certificate for software application.] No. 2008614602; record date 24.09.2008 (in Russian).
3. Deundyak, V. M., Mogilevskaya, N. S. Imitatsionnaya model' tsifrovogo kanala peredachi dannykh i algebraicheskie metody pomekhoustoychivogo kodirovaniya. [Simulation model of digital data channel and algebraic methods for error control coding.] Vestnik of DSTU, 2001, vol. 1, no. 1(7), pp. 90-95 (in Russian).
4. Deundyak, V. M., Zhdanova, M. A. Obobshchennaya markovskaya model' istochnika oshibok q-ichnogo tsifrovogo kanala neskol'kikh fizicheskikh sostoyaniy. [Generalized Markov error source model of q-ary digital channel for several physical states.] Matematika i ee prilozheniya, 2010, iss. 1 (7), pp. 34-40 (in Russian).
5. Deundyak, V. M., Zhdanova, M. A. O primenenii skrytykh markovskikh modeley v modelirovanii istochnikov oshibok. [On application of hidden Markov models for error sources simulation.] Obozrenie pri-kladnoy i promyshlennoy matematiki, 2011, iss. 3, p. 488 (in Russian).
6. Mogilevskaya, N. S., Sukhostavskaya, K. S. Ob eksperimental'nom issledovanii kharakteristik modi-fitsirovannykh pomekhoustoychivykh blochnykh dvoichnykh kodov. [On experimental investigation of characteristics of the modified block error control binary codes.] Vestnik of DSTU, 2007, vol. 7, no. 3, pp. 276-282 (in Russian).
7. Yu, Shun-Zheng. Hidden semi-Markov models. Artificial Intelligence, 2010, vol. 174, no. 2, pp. 215243.
8. Rabiner, L. R. Skrytye markovckie modeli i ikh primenenie v izbrannykh prilozheniyakh pri raspoz-navanii rechi. [Hidden Markov models and their usage in selected applications for speech recognition.] TIIER, 1989, vol. 77, no. 2, pp. 86-120 (in Russian).
9. Levinson, S. E. Continuously variable duration hidden Markov models for automatic speech recognition. Computer Speech and Language, 1986, no. 1 (1), pp. 29-45.
10. Ostendorf, M., Digalakis, V. V., Kimball, O. A. From HMM's to segment models: A unified view of stochastic modeling for speech recognition. IEEE Transactions on Speech and Audio Processing, 1996, no. 4 (5), pp. 360-378.
11. Murphy, K. P. Hidden semi-Markov models (HSMMs). Available at: http://www.cs.ubc.ca/~mur-phyk/Papers/segment.pdf (accessed: 27.06.2014).
12. Deundyak, V. M., Mogilevskaya, N. S. O matematicheskom modelirovanii istochnika oshibok kanala neskol'kikh sostoyaniy. [On mathematical modeling of the source channel errors of several states.] Vestnik RGUPS, 2007, no. 1, pp. 41-45 (in Russian).
SOLUTION TO EVALUATION PROBLEM OF HIDDEN SEMI-MARKOV QP-MODELS* V. M. Deundyak, M. A. Zhdanova
A hidden semi-Markov QP-modei is considered; and the way tt could be embedded in a general hidden semi-Markov model is shown. The estimation problem (the first of three classical thheory problems of the hidden Markov models and hidden semi-Markov models) is solved for the hidden semi-Markov QP-mode. The solution is based on Shun-Zheng Yu forward algorithm for a general hidden semi-Markov mode. This approach dfffers from thhe traditional one and employs posterior probabiities. The estimation problem solution of the hidden semi-Markov QP-model is an important step in solving the following more specific problem. That is the selection problem based on the recorded in the data channel model error sequence from the base of hidden semi-Markov QP-models that generates the closest to thhe channel sequence error streams. The fitting problem solution will make tt possible to evaluate thhe correcting capably of thhe noise-free codec towards errors of various types, and to select the optimal codec for a particular communication channel on the basis of the computer simulation experiments.
Keywords: error source mode, error flow, digital transmission channel, hidden semi-Markov mode, evaluation problem.
* The research is done within the frame of the independent R&D.
