Качество оценивания двоичных случайных последовательностей в условиях пропусков в наблюдаемых данных Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ И ТЕХНОЛОГИИ. СБОР, ХРАНЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ

УДК 332.1 DOI: 10.24412/2782-2141-2023-1-69-77

Качество оценивания двоичных случайных последовательностей в условиях пропусков в наблюдаемых данных

Дементьев А. Н., Глускин В. А.

Аннотация. В статье ставится задача обосновать преимущества метода оценивания двоичных марковских процессов относительно оценок, получаемых на основе биномиальной модели. Целью работы является получение оценок качества марковской модели стационарного двоичного случайного процесса и метода оценивания односвязной двоичной цепи Маркова на ее основе. Полученные оценки позволяют характеризовать качество процесса оценивания элементов матриц переходных вероятностей в условиях пропусков в наблюдаемых данных и прогнозировать качество декодирования помехоустойчивых кодов в дискретных каналах связи с памятью. К результатам работы следует отнести зависимости от вероятности одномерной двоичной случайной величины, характеризующие полученные оценки в сравнении с оценками на основе биномиальной модели. Приведены теоретические результаты, позволившие получить представленные взаимосвязи между значением одномерной двоичной случайной величины и дисперсией оцениваемых параметров. Практическая значимость работы заключается в возможности применения полученных результатов на этапе проектирования декодеров помехоустойчивых кодов в каналах связи с памятью.

Ключевые слова: двоичная цепь Маркова, оценивание распределений двоичных векторов, качество оценивания

Актуальность

Высокие темпы информатизации современного общества обусловили значительное увеличение спроса на телекоммуникационные услуги. В условиях ограничений на частотно-энергетический ресурс увеличение удельных скоростей передачи информации в системах передачи информации (СПИ) при обеспечении заданных требований к достоверности приема сообщений требует повышения информационной эффективности СПИ. С точки зрения общей теории связи, представленной в классической работе Шеннона [1], проблема повышения информационной эффективности СПИ обусловлена, в первую очередь, неадекватностью используемых моделей каналов связи реальным каналам, обладающим памятью.

Так, на этапе декодирования помехоустойчивых кодов, часто возникает потребность в получении и использовании оценок модели источника ошибок в дискретных каналах связи (ДКС). При этом большинство реальных каналов радиосвязи представляют собой каналы с памятью [2], что на уровне дискретного канала связи, являющихся отображением непрерывных каналов, приводит к наличию корреляционных связей у источников ошибок. Источники ошибок в ДКС адекватно описываются моделями на основе математического аппарата многомерных цепей Маркова.

В [3] предложена марковская модель стационарного двоичного случайного процесса и метод оценивания на ее основе, позволяющие получить состоятельные, несмещенные и эффективные [4] оценки двоичных случайных процессов по выборкам с пропусками в наблюдаемых данных. Указанная модель на основе получения условий сходимости к финальным распределениям вероятностей определяет зависимости между вероятностями двоичных векторов, размерность которых отличается на 1, что позволило синтезировать на

её основе метод оценивания для односвязных двоичных цепей Маркова, пригодный для использования в случае пропусков в наблюдаемых данных.

В рамках указанного метода оценивания в качестве исходных данных используется оценка финальной вероятности одномерной двоичной случайной величины ^(0), на основе которой получают оценки элементов матрицы переходных вероятностей односвязной двоичной цепи Маркова, определяемые выражениями

р (0/0) =

0,5 при р0)< 0,5

1 при р(0)> 0,5, (1)

2р(0) Р ^ '

¿(1/0) = 1 _¿(0/0) = 1 _= 2_ р(0/20к , (2)

Г1 _ Н0/0к + 1 ^ р(0)

р(0/1) = ¿10) = р(1/0)р(0) = (1 _р(0/0))р(0) = I 2 г ;

р0 Ь р{1) = 1 _ ¿(0) = 1 _ ¿(0) = 1 _ ¿(0) , (3)

^ _ И0/°к +1 ^ ^(0)

¿(1/1) = 1 _ ^(0/1) = 1 -1 _2р(0) }-, (4)

где

0 при ^(0) < 0,5

^(0/0)^п ЧМ0Ьр(1) при ,(0)> 0,5. (5)

I Л0)

Постановка задачи

Несмотря на то, что в (3) доказана состоятельность, несмещенность и эффективность оценок элементов матрицы переходных вероятностей, определяемых выражениями (1)-(5), вопросы их качества в сравнении с оценками двоичных марковских процессов, получаемых на основе биномиальной модели, не рассматривался. Вышеуказанное обусловило необходимость исследования оценок качества предложенных оценок, как обязательного компонента, характеризующего статистические оценки. Формальная постановка задачи имеет следующий вид: Имеются оценки вида (1)-(5), применяемые в условиях наблюдений двоичного марковского процесса с пропусками данных и зависящие от оценки параметра р (0), получаемого частотным методом по наблюдаемой двоичной выборке.Требуется получить зависимости дисперсии, характеризующие качество оценок (1)-(5) в зависимости от значения параметра р (0), то есть зависимости эффективности процесса оценивания.

Исследование качества оценивания двоичных марковских процессов

На рис. 1 представлены графические иллюстрации плотностей распределения случайной величины р0/0) для общего (рис. 1, а) случая и условий, когда ^(0)< р1) (рис. 1, б) и ^(0)> р1) (рис. 1, в).

На рис. 2 графически представлена поверхность, отражающая зависимость плотности распределения переходной вероятности ^(0/0) от абсолютной вероятности одномерной двоичной случайной величины ^(0) для односвязной двоичной цепи Маркова.

f(p(0/0)).

p(0/0)

Рис. 1. Плотность распределения переходной вероятности p(0/0) для односвязной двоичной цепи Маркова

Рис. 2. Поверхность плотности распределения переходной вероятности ^(0/0) для односвязной двоичной цепи Маркова

Соответствующие функции распределения ^(0/0) для общего и частных случаев p(o) < />(1) и ^(0) > ^(1) определяются соответственно выражениями

F (^(0/0)) =

0 при Я0/0) < ^(0/0)Ш1

^(0/0)-^(0/0)шш

1 - Яо/о)тп]

1

p(o)< 0,5: F(p0/0)) =

при Я0/0)тт < p(0/0)< 1 при ^(0/0) > 1

0 при ^(0/0) < 0 ^(0/0) при 0 < p0/0)< 1 ,

1 при ^(0/0) > 1

(6)

(7)

^(0)> 0,5: ^(Я0/0)) =

0

при

^(0/0)-

^(0)_ ^(1)

1 __р(0/0)) при^(0/0)

1 при ^(0/0) > 1

< 1

(8)

Графическая иллюстрация функции распределения переходной вероятности ^(0/0) для общего и рассмотренных случаев представлена на рис. 3.

т о/о))

Р(п( 0/0))

Р(р(0/0)) к \

1 Р(0/0)

Рис. 3. Функция распределения переходной вероятности р(0/0) для односвязной двоичной цепи Маркова при ^(0)>0,5

Известные выражения для моментов равномерно распределенной на известном интервале случайной величины [5] позволяют определить дисперсию, среднеквадратическое отклонение и математическое ожидание для общего и частных случаев р(0)< р(1) и р(0) > />(1) в виде следующих выражений для оценок переходной вероятности />(0 / 0)

D

'р(0/0)

1 _ Я0/0)т1п р(0/0)п

| I р(0/0)_

^(0/0)т1п + 112ф(0/0) = .(1_ р(0/0)т1п)2

12

D

'р(0/0)

12 при р(0)< 0,5

1 _ ^(0) р(0) ,

о

р(0/0)

р(0/0)

о р(0/0) = <

/12 при р0)> 0,5

1 _ р ( 0/0 )пп

2>/з '

<

прир(0)< 0,5 р (1) при р (0)> 0,5

^Тзр(0)

т

р(0/0)

р(0/0)п

Г ^ ф(0/0)= ^^ +1 1 _ р(0/0)п.п ' 2

(10)

(11)

(12)

(13)

(14)

1

2

Графически зависимость среднеквадратического отклонения и дисперсии переходной вероятности р(0/0) от вероятности двоичной случайной величины (ДСВ) р(0) представлена на рис. 4.

Выражения (1)-(5) позволяют получать пригодные оценки переходных вероятностей цепи Маркова первого порядка. Значения пригодных оценок финальных вероятностей п -мерных двоичных случайных величин определяется по правилу умножения условных вероятностей

Р (•

x0, хь

j) = p(x0)Пр(xi/X-1 )•

(15)

г=1

Р( 0/0) ^Р(0/0)

0,30,280,260,24 -0,220,20,180,160,140,120,10,080,060,040,020-

2 /

/

/

1 \

\ J

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1,0

Р( 0)

Рис. 4. Зависимость среднеквадратического отклонения (1) и дисперсии (2) переходной вероятности />(0/0) от вероятности одномерной двоичной случайной величины _p(0)

Тогда, например, оценки вероятности двумерной двоичной случайной величины p(00) определяются системой

Р(0)

ро) < 0,5 :

рр (оо) = ро)р (о/о)=-

ро) > о,5 : р(оо) = /(о)р(о/о) = /(о)

р(о)-р(1) , 11 = 3/(о)-1 . 2 р(о)

- + — 2

2

(16)

На практике задачи оценивания параметров цепей Маркова требуется решать в условиях наличия априорной неопределенности относительно вероятностей одномерной случайной величины и выборки ограниченного объема. Возникает задача получения пригодных оценок вероятностей одномерной случайной величины. Пригодной оценкой одномерной двоичной случайной величины в данном случае является относительная частота события, точность и надежность которой связаны с объемом наблюдений по формуле Лапласа [5]. В результате оценки финальных вероятностей п -мерной ДСВ при

x

описании двоичного случайного процесса цепей маркова первого порядка определяются выражением

п

р(х0, Х1хп ) = р(х0 )П Р(Хг / х-1), (17)

1=1

где р (0) - относительная частота события, вычисляемая в соответствии с выражением

Р (0) = N, (18)

где п - число «0» в обучающей выборке; N - объём обучающей выборки.

Сравним качество полученных оценок двоичных односвязных цепей Маркова и оценок, получаемых при аппроксимации цепей Маркова биномиальным законом. Рассмотрим дисперсию оценок р(00). В общем случае дисперсия оценок определяется выражением

^Р(00)= р(0)- !(00) Т(х - ^ ^ • (19)

Я0ЬЯ00)т1п р(00)п

Дисперсия оценок, получаемая в случае аппроксимации цепи Маркова биномиальным законом равна

В

р(00):

|0)(х - ,2 (0))2 ах = ,2 (0^р2 (0)-р(0)+3 ]

р(0) 0 . (20) —^ | (х -/фх = р 4 (0)-3/(0) + ^2 (0)-3/>(0)+3 1 рУ0>2 р(0)-1 333

Для полученной оценки дисперсия имеет вид

' р(г V х - рЩ\ *=

В

р (00)

р(0) { Iх"Т] * = 12 (21)

' ,2 ах =(1 - р(0))2 . ( )

-^ Г (х - р2 (0))2 ёх = -

На рис. 5 представлена зависимость эффективности оценивания в случаях использования моделей, построенных по схемам Бернулли и Маркова, а на рис. 6 -зависимость разницы дисперсий оценок вероятности двумерной двоичной случайной величины р(00) от вероятности одномерной двоичной случайной величины ^(0) для этих схем.

Поскольку величина минимального интервала «неопределенности» одинакова для всех двумерных двоичных случайных величин, рис. 6 справедлив и для оценок р(01), ¿(10), р(11). Рассмотрим математическое ожидание оценок. Для оценки величины смещенности оценки по биномиальному закону рассчитаем выражение

тр (00)

р2 (0)-М при р(0)< 0,5

3 Л 1 . (22)

р2(0)-М^1 при ^(0)> 0,5

DP(00) i

0,021-" 0,02-0,019-0,018-0,017-0,016-0,015-0,014-0,013-0,012-0,011 -0,01 - -0,009-0,008-0,007-0,006-0,005-0,004-0,003-0,002-0,001 -0-'" 0,0

1

2_

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1,0

p(0)

Рис. 5. Зависимость дисперсии оценки вероятности двумерной случайной величины р (00) от вероятности одномерной случайной величины _р(0) для схемы Бернулли (1) и двоичной односвязной цепи Маркова (2)

Рис. 6. Зависимость разницы дисперсий оценок вероятности двоичной ДСВ р (00) от вероятности одномерной двоичной случайной величины _р(0) для схемы Бернулли (1) и двоичной односвязной цепи Маркова (2)

Зависимость смещения оценки р (оо) распределения представлена на рис. 7

при использовании биномиального закона

Рис. 7. Зависимость смещения оценки р (00) при использовании биномиального закона распределения

Выводы

Полученные зависимости подтвердили преимущества оценок двоичного марковского процесса в условиях пропусков в наблюдаемых данных на основе метода оценивания, учитывающего марковский характер выборок, относительно оценок на основе биномиальной модели, так как указанные оценки обладают меньшей дисперсией. В результате алгоритмы, реализующие процессы оценивания на основе этих оценок, способны обеспечить более адекватные реальной ситуации процессы принятия решений. К таким алгоритмам, например, относятся алгоритмы, реализующие методы вероятностного декодирования помехоустойчивых кодов в каналах связи с памятью, где оценки элементов матрицы переходных вероятностей характеризуют статистические свойства источников ошибок.

Литература

1. Шеннон К. Математическая теория связи // Работы по теории информации и кибернетике. -М.: ИЛ, 1963. - С. 243-333.

2. Блох Э. Л., Попов О. В., Турин В. Я. Модели источника ошибок в каналах передачи цифровой информации. - М.: Связь, 1971.

3. Конышев М. Ю., Баранов В. А., Близнюк В. И. [и др.]. Методы анализа и синтеза двоичных случайных последовательностей. - Орёл: ФГКВОУ ВО «Академия ФСО России», 2020. - 120 с.

4. Юсупов Р. М., Петухов Г. Б., Сидоров В. Н., Городецкий В. И., Марков В. М. Статистические методы обработки результатов наблюдений. - М.: МО СССР, 1984. - 564 с.

5. Гмурман В. Е.Теория вероятностей и математическая статистика. - М.: Высшая школа, 1977. -

478 с.

References

1. Shannon K. Mathematical theory of communication. Works on information theory and cybernetics. Moscow. IL, 1963. Pp. 243-333. (in Russian).

2. Bloch E. L., Popov O. V., Turin V. Ya. Models of the source of errors in digital information transmission channels. Moscow. Communication, 1971. (in Russian).

3. Konyshev M. Yu., Baranov V. A., Bliznyuk V. I. [et al.]. Methods of analysis and synthesis of binary random sequences. Orel. FGKVOU VO "Academy of FSO of Russia", 2020. 120 p. (in Russian).

4. Yusupov R. M., Petukhov G. B., Sidorov V. N., Gorodetsky V. I., Markov V. M. Statistical methods of processing the results of observations. Moscow. Ministry of Defense of the USSR, 1984. 564 p. (in Russian).

5. Gmurman V. E., Probability theory and mathematical statistics. Moscow. Higher School, 1977. 478 p. (in Russian).

Статья поступила 17 марта 2023 года Информация об авторах

Дементьев Андрей Николаевич - доктор технических наук, доцент, ведущий научный сотрудник научно-исследовательского испытательного центра радиоэлектронных технологий РТУ МИРЭА - Российского технологического университета,. Область научных интересов: методы анализа и синтеза радиоэлектронных систем. Тел. +7 903 250 04 21. E-mail: dementev@mirea.ru.

Глускин Владимир Александрович - соискатель ученой степени кандидата технических наук. Научный сотрудник ЦНИИ ВКС МО РФ. Область научных интересов: декодирование помехоустойчивых кодов в каналах связи с группированием ошибок. Тел.: +7 977 392 48 45. E-mail: vgluskin@yandex.ru

Адрес: 143090, Россия, Московская обл., г. Краснознаменск, ул. Связистов, д.12., кв. 224.

The quality of evaluation of binary random sequences in the conditions of omissions in the observed data

A. N. Dementev, V. A. Gluskin

Annotation. Purpose: to substantiate the advantages of the method of estimating binary Markov processes relative to estimates obtained on the basis of the binomial model. Novelty: Obtaining of quality estimates of the Markov model of a stationary binary random process and a method for evaluating a simply connected binary Markov chain based on it. Results: The obtained estimates allow us to characterize the quality of the process of evaluating elements of the transition probability matrices in the conditions of omissions in the observed data and predict the quality of decoding noise-resistant codes in discrete memory communication channels. The results of the work should include dependences on the probability of a one-dimensional binary random variable that characterize the estimates obtained in comparison with estimates based on the binomial model. Theoretical results are given that allowed us to obtain the presented relationships between the value of a one-dimensional binary random variable and the variance of the estimated parameters. Practical relevance: Possibility of applying the results obtained at the design stage of decoders of noise-resistant codes in memory communication channels.

Keywords: binary Markov chain, estimation of binary vector distributions, estimation quality.

Information about Authors

Andrey Nikolaevich Dementiev - is a leading researcher at the Research and Testing Center for Radioelectronic Technologies of RTU MIREA - Russian Technological University, Doctor of Technical Sciences, Associate Professor. Research interests: methods of analysis and synthesis of radioelectronic systems. Tel. +7 903 250 04 21 . E-mail: dementev@mirea.ru

Gluskin Vladimir Aleksandrovich - is a candidate for the degree of Candidate of Technical Sciences. Researcher of the Central Research Institute of the Ministry of Defense of the Russian Federation. Research interests: decoding of noise-resistant codes in communication channels with grouping of errors. Tel.: +7 977 392 48 45 . E-mail: vgluskin@yandex.ru

Address: 143090, Russia, Moscow region, Krasnoznamensk, Svyazistov str., 12., sq. 224.

Для цитирования: Дементьев А. Н., Глускин В. А. Качество оценивания двоичных случайных последовательностей в условиях пропусков в наблюдаемых данных // Техника средств связи. 2023. № 1 (161). С.69-77. DOI: 10.24412/2782-2141-2023-1-69-77.

For citation: Dementev A. N., Gluskin V. A. The quality of evaluation of binary random sequences in the conditions of omissions in the observed data Means of Communication Equipment. 2023. No. 1 (161). Pp. 69-77 (in Russian). DOI: 10.24412/2782-2141-2023-1-69-77.