CC BY
18
УДК 519.2
Б. Ф. Эминов, В. М. Захаров, М. Ю. Перухин
ПРЕДСТАВЛЕНИЕ СКРЫТЫХ МАРКОВСКИХ МОДЕЛЕЙ СИГНАЛОВ ПОЛИНОМАМИ
НАД ПОЛЕМ ГАЛУА НА ОСНОВЕ УКРУПНЕНИЯ ЦЕПЕЙ МАРКОВА
Ключевые слова: Скрытая марковская модель, стохастическая эквивалентность, полиномиальное представление,
минимальный порядок поля.
Представлена обобщенная скрытая марковская модель (СММ) сигналов. Введено определение стохастической эквивалентности СММ на основе свойства укрупняемости стохастических матриц и асимптотических характеристик СММ. Дано полиномиальное представление эквивалентной СММ над полем GF(2n). Определены оценки минимального порядка поля GF(2n) для полиномиального представления СММ в зависимости от размеров имплицирующего вектора стохастических матриц, обладающих свойством укрупняемости.
Keywords: Hidden Markov's model, stochastic equivalency, polynomial representation, minimal field order, lumpability property.
A generalized hidden Markov's model (HMM) of signals is represented. There was implemented a definition of HMM stochastic equivalency based on stochastic matrices lumpability property and on asymptotic characteristics of HMM. There is given a polynomial representation of an equivalent HMM over the field GF(2n). There are defined the estimations of the minimal order of the field GF(2n) for polynomial HMM representation, depending on the stochastic matrices implying vector size, possessing the lumpability property.
Введение
Теория скрытых марковских моделей (СММ) [1, 2] получила широкое применение в различных прикладных областях. В частности, для решения задачи построения стохастических моделей сигналов [1], моделей источников ошибок, возникающих при передаче информации по цифровым каналам [3, 4]. СММ можно рассматривать как частный случай автоматных моделей функций конечных цепей Маркова [5] -марковских функций (МФ). В [6, 7] предложен подход представления автоматых моделей марковских функций полиномами над полем Галуа. Подобный подход в [4] применен для представления частного случая марковских функций - скрытой полумарковской модели типа Фергюсона в полиномиальном виде над полем Галуа в качестве общей модели источника ошибок в цифровых каналах передачи данных. Обоснованность применения метода [6, 7] для представления МФ над полями Галуа определяется высокой эффективностью арифметики конечных полей в задачах цифровой обработки информации. В поле Галуа вида GF(2И) [8] возможна реализация потоковой обработки и-мерных двоичных векторов, в частности - посредством программируемых логических интегральных схем (ПЛИС) [7]. В [7] представлена методика синтеза полиномиальных моделей МФ в архитектуре ПЛИС.
Актуальной задачей в области представления МФ над полями Галуа является снижение порядка [8] конечного поля GF(2И). Методы [6, 7] представления МФ над полем GF(2И) базируются на алгоритме [9, 10] разложения стохастической матрицы в линейную комбинацию булевых стохастических матриц и стохастический имплицирующий вектор (ИВ) размера I. ИВ удовлетворяет условию: любой элемент в каждой строке стохастической матрицы (СМ) равен сумме
некоторых элементов ИВ. В соответствии с [6, 7] величина I и размер СМ определяют порядок поля GF(2И) при полиномиальном представлении МФ. Результаты решения задачи минимизации ИВ отражены в большом числе публикаций (библиография, отражающая различные аспекты этой задачи, представлена в [11]). В [12] показана ЛР-полнота задачи минимизации имплицирующего вектора. Имеются результаты исследований зависимости величины I от размера стохастической матрицы [9], от точности представления переходных вероятностей [11, 13], от структуры стохастической матрицы (от свойства бистохастичности СМ [14], от числа нулевых элементов матрицы [12], от числа совпадающих элементов в отдельных строках [9]). Недостаточно исследованной является задача определения зависимости величины I от свойства укрупняемости [15-18] СМ (от наличия в структуре стохастической матрицы совпадающих
вероятностных переходов между определенными подмножествами, на которые разбивается множество состояний укрупняемой цепи).
В настоящей работе рассматривается СММ, являющаяся дважды стохастическим процессом [1], представляемым двумя СМ. Целью работы является решение задачи определения минимального порядка поля GF(2И) для полиномиального представления СММ в зависимости от размеров имплицирующих векторов стохастических матриц, обладающих свойством укрупняемости [15].
Постановка задачи
Пусть задана цепь Маркова (ЦМ) системой [14]
(5, Р, Щ0), (1)
где Р = (ру), ,, у = 0, т -1 - стохастическая матрица размера т х т ; ру - элемент матрицы Р; 5 = {5,} -конечное множество состояний ЦМ; п0 -стохастический вектор размера т, определяющий
начальное распределение вероятностей состоянии ЦМ.
Пусть 2 = {20,..., 2й _1} - конечный алфавит, ¡л( 2 / 5) - вероятностная функция, задающая процесс преобразования последовательности состояний 5 е , определяемой (1), в последовательность символов 2 е 2 и представляемая стохастической матрицей вида Р(2/5) = (рЛ), , = 0, т -1, к = 0, ё -1,
размера т х ё, где элемент р,к определяет условную вероятность появления буквы 2к при поступлении буквы я,. То есть функция /и(2/5) -вероятностная функция, принимающая в зависимости от состояния значения 20, г1,..., 2а -1
с вероятностями р,0,р1 ,..., р, 1, , = 0,т — 1.
Процесс (обозначаемый далее символом {2г}), представляющий собой последовательность значений 2 е 2 функции ц(2 / 5), относится к классу вероятностных функций цепей Маркова [1, 5, 15]. В соответствии с [1] процесс {2г} задается СММ вида
(5, Р, 2, Р(2 / 5), ), (2)
где 5, Р, п0 - те же элементы, что и в (1).
В практических приложениях СММ, как стохастических моделей сигналов, возникает необходимость сокращения размеров матриц Р и Р(2/5) (необходимость укрупнения СММ). При этом
важно установление отношения эквивалентности между исходной СММ и укрупненной СММ. В частности, в [1] отмечается, что это позволяет уменьшить вычислительную сложность анализа СММ.
Рассмотрим частный случай процесса {2г} -детерминированную марковскую функцию [5, 9], обозначаемую далее символом {Уг}. Общий подход к построению процесса {Уг} состоит в следующем: множество состояний заданной цепи разбивается на непересекающиеся подмножества (классы) и исследуется поведение цепи при условии, что состояния, принадлежащие одному классу, не различаются [5].
Выполним разбиение множества состояний 5 ЦМ (1) на г непересекающихся подмножеств вида
А = {А0, Аь ..., Аг-1}, где при V/,Ук = 0,г— 1 и / ф к ,
2 < г < т — 1
У А/ = Б , А/ п Ак = 0.
(3)
/=0
Подмножества А/ будем называть укрупненными состояниями. Обозначим через {Уг} процесс с г состояниями >>о,у1, ••,уг-1, определяемый условием У/ = ,, / = 0, г — 1, , = 0, т -1, если в некоторый дискретный момент времени цепь находится в состоянии я, подмножества А/. Процесс {Уг}
реализуется как однозначное отображение Я(^) множества состояний Б ЦМ (1) в множество У: Б ^
У = {у0, у1, у^} и задается моделью [9, 10]
(Б, Р, У, Я(5), ^0). (4)
Представление процесса {Уг} на основе разбиения (3) в виде цепи Маркова с укрупненными состояниями позволяет исследовать характеристики процесса {Уг} методами цепей Маркова и снижать сложность их вычисления. Однако, в построенном процессе {Уг} посредством разбиения множества состояний исходной цепи, связь укрупненных состояний во времени, в общем случае, нельзя представить в виде простой цепи [15], т.е. последовательность укрупненных состояний может не обладать марковским свойством [15] (независимость "будущего" от "прошлого" при фиксированном "настоящем"). В [15] марковские функции вида {Уг}, обладающие марковским свойством, названы укрупненными ЦМ.
Введем СММ вида (5), обобщающую модели (2) и (4): _
(Б, У, 2, Р, Л(5), М(2 /у), (5)
где Б, Р, 2, п0 - те же элементы, что и в (2), У, Я(^) - те же элементы, что и в (4), значения функции Я(^) - значения процесса {Уг}, /и(2 / у) - функция, задаваемая стохастической матрицей Р(2/у) размера г х ё , в которой элемент р/ , , = 0, г -1, / = 0, ё — 1,
определяет условную вероятность появления буквы 2/ при поступлении буквы у. То есть /и(2 / у) -вероятностная функция, принимающая в зависимости от у, значения 20,21,..., 2ё—1 с
вер°ятн°стями plо, рц ри-1, I = °г-1.
Процесс, представляющий собой
последовательность букв 2 в модели (5), обозначаемый далее символом {2^}, относится к классу функций ЦМ [5]. Модель (5) позволяет при фиксированном размере т х т матрицы Р сокращать число строк в матрице Р(2/5) на основе
применения функции Я(^) в соответствии с величиной г, 2 < г < т — 1.
В [6, 7] представлены полиномиальные модели над полем GF(2n) марковских функций вида (2), (4), (5). Там показано, что для этих моделей для случая, когда ё < т, порядок поля GF(2n) определяется
условием 2п > I, где п наименьшее целое,
1 < т 2 — т +1.
Решаемой далее задачей является определение минимального порядка поля GF(2n) при полиномиальном представлении модели (5) для случая, когда применяемый в (5) процесс {Уг} является укрупненной ЦМ с г состояниями и стохастической матрицей размера г х г,
2 < г < т — 1, и стохастическая матрица Р(у / ^ имеет размер г х г . Решение отвечает следующим ограничениям.
1. Требуется установить отношение
эквивалентности между исходной СММ вида (5) и соответствующей укрупненной СММ по условию -
асимптотические распределения выходных символов г в эквивалентных моделях совпадают.
2. Матрица Р в исходной СММ вида (5) является регулярной СМ [15] и обладает следующим свойством укрупняемости, определяемым в соответствии с [15].
Пусть задано разбиение (3) и ркА р = ^ ры ,
,, к = 0, т -1, р = 0, г -1 - вероятность попасть из состояния в множество Ар за один шаг исходной ЦМ с матрицей Р.
Теорема 1 [15]. Для того чтобы состояния цепи Маркова можно было укрупнить посредством разбиения (3) на классы А = {А0, Аь ..., Ан}, необходимо и достаточно, чтобы для любых двух
классов А, и А,- и для еА,, к = 0, т — 1,
I, р = 0, г — 1, вероятности ркА, имели одно и то же значение. Вероятности {р, } переходов между
классами образуют стохастическую матрицу Р укрупненной цепи.
Наличие данного свойства в СМ при заданном разбиении вида (3) интерпретируется как возможность укрупнения ЦМ (укрупнения стохастической матрицы). Проверку выполнения условия возможности укрупнения для стохастической матрицы Р в соответствии с теоремой 1 можно провести по алгоритму [16]. По данному алгоритму матрице Р можно поставить в соответствие укрупненную стохастическую матрицу
Р= Р (рр), ,, р = 0, г -1, размера г х г, 2 < г < т -1, которая описывает укрупненную цепь с множеством состояний 5={50, ..., 5г-1}. Отметим: матрица Р имеет предельный вектор [15].
Стохастическая эквивалентность скрытых марковских моделей
Пусть в модели (5) регулярная СМ Р размера т*т при заданном разбиении (3) удовлетворяет условию укрупнения - теореме 1, \7\ = г, \2\ = г, матрица Р(2/у) имеет размер гч. Процесс {Уг} в модели (5) в этом случае является укрупненной ЦМ. Обозначим модель (5) для этого случая символом М(Р). Выходом модели М(Р) является процесс вида
По данной СМ Р и разбиению (3) построим по алгоритму [16] укрупненную стохастическую
матрицу Р (рр), ,, р = 0, г -1, размера г*г, которая описывает укрупненную ЦМ с множеством состояний 5 = {50, 51, ..., где каждое из
подмножеств Ар рассматривается как состояние укрупненной ЦМ.
Модели (2) поставим в соответствие СММ вида
М (Р) = (5, Р , 2 Р(2/5), Щ0),
где \5| = г, Р(2/5) = (рр), ,, р = 0, г -1, - СМ размера гхг, в которой элемент рр , определяет условную
вероятность появления буквы 2р при поступлении буквы 5,, \2"\ = г, л0 имеет размер г. Выходом модели М (Р) является процесс вида {2г}.
Обозначим: лит - стохастический предельный вектор для СМ Р; лНт - стохастический
предельный вектор матрицы Р . Введем следующую стохастическую характеристику модели М(Р):
л
(!ит) Нт
предельный стохастический вектор процесса {Уг}, полученный на основе разбиения (3), примененного к вектору лНт (компоненты вектора
(1ит)
л\т ' получаются сложением компонент вектора
лНт , принадлежащих одному и тому же множеству разбиения). В матричной форме стохастический
вектор л^тт) имеет вид
л0ит) = л у Л 1т =ЛИту ,
(6)
где матрица V = (Ур), , = 0, т -1, р = 0, г -1 - булева
матрица размера тхг, единичный элемент Ур которой определяет, что состояние 5,- исходной цепи входит в
[1, е Ар
укрупненное состояние Ар из (3): =< .
1 I0,5, е Ар
Теорема 2. Если: 1) матрица Р при заданном разбиении (3) удовлетворяет условию укрупнения в соответствии с теоремой 1; 2) укрупненная матрица Р построена по матрице Р и разбиению (3), то
л (!ит)
3 = Л
' Нт " Нт
(7)
Обозначим: л(г /5) - стохастический вектор размера г, характеризующий асимптотику распределения вероятностей значений процесса {2г} в модели М (Р); л(г /у) - стохастический вектор размера г, характеризующий асимптотику распределения вероятностей значений процесса {2[} в модели М(Р).
Вычислим для моделей М (Р) и М(Р) векторы
л(г/5) и л(г/у) по формулам [19]:
Л( Г / 5) = ЛЛЛ~Р{ г / 5) и Л( Г / У) = Л(тт) Р( г / у) ,
где матрицы Р(г/5) и Р(г/ ) имеют размер г х г. Из теоремы 2 следует равенство
Л7/~5) = л(х / у). (8)
Определение. Модели М (Р) и М(Р) стохастически эквиваленты, если они удовлетворяют равенствам (7) и (8).
Замечание 1. Теорема 2 обосновывает альтернативную формулу (7), по отношению к
формуле (6), для вычисления вектора л(тт) ,
имеющую при т > 10 и 2 < г < т/2 меньшую оценку вычислительной сложности (сложность вычисления
вектора лл^ по формуле (6) характеризуется
еАр
оценкой [20] - 0(т ), сложность вычисления вектора
(1ит) Нт
по формуле (7) характеризуется оценкой
0(8т2 + г3) [21]).
Определение минимального порядка поля GF(2n) для полиномиального представления СММ
Рассмотрим полиномиальное представление модели М(Р) над полем GF(2n).
Обозначим G = GF(2n). Введем в рассмотрение полиномиальную функцию от двух переменных х и q над полем G [8]
г
f (х,д) = £а/Х^1 , г = 2п — 1, а/,х,д е О . (9)
,,/=0
СМ Р размера г х г представим в виде разложения [9, 10]
1—1
Р = £ р,М (и,),
(10)
1=0
где р,, 1 = 0, I -1 - элементы имплицирующего
г-1
вектора Р = (р0, рх,..., рг—1), 0 < р < 1, £ р, = 1,
,=0
1 < г2 — г +1, определяющего распределение дискретной случайной величины (ДСВ) и, принимающей конечное множество значений
и = {и0,и1,...,и1—1} и удовлетворяющей (10); М(и,),
I = 0,1 -1 - булева стохастическая матрица размера гхг, соответствующая символу и,.
СМ Р(у / размера г х г в модели (5) представим в виде разложения [9, 10]
г.-1
Р( у / 5)=Е рм(и'^
(11)
где и', , = 0, гх — 1, значения и соответствующие им вероятности р, дискретной случайной величины и', удовлетворяющей (11) (р, - элементы имплицирующего вектора размера 11), М(и',) -булева стохастическая матрица размера г*г, соответствующая символу и', 1х < г2 — г +1.
Поставим в соответствие стохастической матрице Р на основе (10) по методу [6] систему
(и, М х, д)), (12)
где х, д) - функция вида (9), принимающая г значений и для которой переменные х и д принимают соответственно I и г различных значений, и - ДСВ из (10), значения ДСВ закодированы элементами поля О (представляются элементами х). Значения функции /¡( х, д) совпадают со значениями переменной д. В [6] определены условия, при которых последовательность значений функции /¡( х, д) является цепью Маркова, т.е. система (12) -полиномиальная модель ЦМ над полем Галуа [6]. Для системы (12) минимальный порядок поля
GF(2n) определяется условием 2п > I, где п -наименьшее целое [6].
Аналогично представлению (12), поставим в соответствие СМ Р(у / систему
(и', f2(х',д)), (13)
где f2 (х ', д) - функция вида (9), принимающая г значений, совпадающих с выходными значениями модели М (Р), закодированными элементами поля О и для которой переменные х ' е О и д принимают соответственно 11 и г различных значений; и' - ДСВ из (11), значения ДСВ закодированы элементами поля О (представляются элементами х е О ). Для системы (13) минимальный порядок поля GF(2n) определяется условием 2п > 1Х, где п - наименьшее целое [7].
На основе (12) и (13) модели М(Р) поставим в соответствие по методу [7] систему -полиномиальную модель
РМ = (и = х ', д) • М х, д), и', (14)
где значения суперпозиции ц/2 = f2(х',д)■ х,д) соответствуют состояниям процесса {2г} на выходе модели М (Р), закодированных элементами поля О. Начальное состояние этого процесса определяется начальным значением переменной д полинома ^ (х, д), определяемым по вектору я0.
Теорема 3. Для полиномиальной модели (14) минимальный порядок поля GF(2n) определяется условием 2п > тах(1,11), где п - наименьшее целое.
Замечание 2. Пусть в модели М (Р) значение
г Ф ё, тогда для СМ Р(у / размер имплицирующего вектора (величина 12) определяется из соотношения [22] г2 < гё - ё + 1. В этом случае модель М (Р) стохастически эквивалентна модели (5) и для полиномиальной модели вида (14) минимальный порядок поля GF(2n) определяется условием 2п > тах(1,12), где п - наименьшее целое.
Заключение
В работе представлена обобщенная скрытая марковская модель (5) сигналов, позволяющая менять размерность СММ и реализовать модель (2) или модель (4), как частные случаи. Определены асимптотические вероятностные характеристики (6)-(8) обобщенной СММ и ее частных случаев. Введено определение стохастической
эквивалентности СММ на основе свойства укрупняемости стохастических матриц и асимптотических характеристик СММ. Дано полиномиальное представление (14) стохастически эквивалентной СММ над полем GF(2n). Определены оценки минимального порядка поля GF(2n) для полиномиального представления СММ в зависимости от размеров имплицирующих векторов стохастических матриц, обладающих свойством укрупняемости.
Предложенное полиномиальное представление
,=0
СММ в виде (14) развивает алгоритмические
возможности синтеза и анализа стохастических
сигналов из класса марковских функций над полем
GF(2n).
Литература
1. Рабинер Л.Р. Скрытые марковские модели и их применение в избранных приложениях при распознавании речи: обзор // ТИИЭР, 1989, т. 77, №2, C.86-120.
2. Yu. Shun-Zheg. Hidden semi-Markov models // Artificial Intelligence, 2010, V. 174, №. 2, 215-243 pp.
3. Деундяк В.М., Жданова М.А. О применении скрытых марковских моделей в моделировании источников ошибок // Обозрение прикладной и промышленной математики, 2011, Т. 18, №3, С. 488.
4. Деундяк В.М., Жданова М.А. Полиномиальное представление скрытой полумарковской модели фергнесовского типа // Вестник ВГУ: системный анализ и информационные технологии, 2013, №2. С. 71-78.
5. Бухараев Р.Г. Основы теории вероятностных автоматов. М.: Наука, 1985. 287 с.
6. Захаров В.М., Нурутдинов Ш.Р., Шалагин С.В. Полиномиальное представление цепей Маркова над полем Галуа // Вестник КГТУ им. А.Н.Туполева, 2001, № 3. С. 27-31.
7. Захаров В.М., Нурутдинов Ш.Р., Шалагин С.В. Метод моделирования и преобразования функций цепей Маркова в полях Галуа и его реализация в базисе ПЛИС // Методы и средства обработки информации: тез. докл. 2-й Всерос. науч. конф. 5-7 окт. 2005. М.: МГУ, 2005. С. 256-262.
8. Лидл Р., Нидеррайтер Г. Конечные поля. В 2 т. М.: Мир, 1988. 808 с.
9. Поспелов Д.А. Вероятностные автоматы. М.: Энергия, 1970. 88 с.
10. Ченцов В.М. Об одном методе синтеза автономного стохастического автомата // Кибернетика, №3, 1968. С. 32-35.
11. Захаров В.М., Эминов Б.Ф. Анализ алгоритмов разложения двоично-рациональных стохастических матриц на комбинацию булевых матриц // Информационные технологии, №3. М.: Новые технологии, 2008. С. 54-59.
12. Габбасов Н.3. Задача об имплицирующем векторе и ее приложениях // Вероятностные методы и кибернетика. Казань: Изд-во КГУ, 1987. Выпуск 23. С. 36-50.
13. Кузнецов С.Е., Нурмеев Н.Н., Салимов Ф.И. Задача о минимальном имплицирующем векторе // Математические вопросы кибернетики. Вып. №3. М.: Наука, 1991. С. 199-216.
14. Сачков В.Н. Введение в комбинаторные методы дискретной математики. М.: МЦНМО, 2004. 424 с.
15. Кемени Д., Снелл Д. Конечные цепи Маркова. М.: Наука, 1970. 271 с.
16. Захаров В.М., Эминов Б.Ф. Алгоритмы укрупнения цепей Маркова // Вестник Казанского государственного технического университета им. А.Н. Туполева, №2 (выпуск 1), 2013. С.125-133.
17. Емалетдинова Л.Ю., Катасёв А.С., Кирпичников А.П. Нейронечеткая модель аппроксимации сложных объектов с дискретным выходом // Вестник технологического университета, №1, 2014. С.295-300.
18. Якимов И.М., Старцева Ю.Г., Кирпичников А.П., Мокшин В.В. Моделирование сложных систем в среде имитационного моделирования GPSS W с расширенным редактором // Вестник технологического университета, №4, 2014. С.298-304.
19. Ширяев А.Н. Вероятность. М.: Наука, 1980. 576 с.
20. Мальцев А.И. Основы линейной алгебры. М.: Наука, 1970. 400 с.
21. Эминов Б.Ф., Захаров В.М. Об асимптотических свойствах укрупняемых и укрупненных цепей Маркова // Вестник технологического университета, Т.18, №10, 2015. С.167-173.
22. Лоренц А.А. Синтез надежных вероятностных автоматов. Рига: Зинатне, 1975. 187 с.
© Б. Ф. Эминов, канд. физ.-мат.наук, доцент каф. компьютерных систем, КНИТУ-КАИ им.А.Н.Туполева, [email protected]; В. М. Захаров, докт. техн. наук, профессор той же кафедры, [email protected]; М. Ю. Перухин, канд. техн. наук, доцент каф. автоматизированных систем сбора и обработки информации КНИТУ, [email protected].
© B. Eminov, candidate of Science (PhD) in physics and mathematics, associate professor, department of Computer systems, Kazan National Research Technical University named after A.N.Tupolev, [email protected]; V. Zacharov, Doctor of Science in technology, professor, department of Computer systems, Kazan National Research Technical University named after A.N.Tupolev, [email protected]; M. Perukhin, candidate of Science (PhD) in technique, associate professor, department of Automate systems of collecting and performing data, Kazan National Research Technological University, [email protected].
