CC BY
0
Ганиева З. С. ассистент
Самаркандский институт экономики и сервиса
ЭЛЕМЕНТЫ ТЕОРИИ ВЕРОЯТНОСТИ В ВЫЧИСЛЕНИИ ИНФОРМАЦИОННЫХ ПОТЕРЬ ПРИ ПЕРЕДАЧИ СООБЩЕНИЙ ПО КАНАЛАМ СВЯЗИ С ШУМАМИ
Аннотация. В статье рассмотрено применение некоторых теорем теории вероятностей для процессов, присущих передаче сообщений по каналам связи частности приведены задачи на энтропию.
Ключевые слова: теория информатизации, теория вероятностей, условная энтропия, условная и безусловная вероятность, матрица, среднее количество информации, вероятность связи.
Ganieva Z.S. assistant
Samarkand Institute of Economics and Service
ELEMENTS OF PROBABILITY THEORY IN CALCULATING INFORMATION LOSSES WHEN TRANSMISSING MESSAGES OVER COMMUNICATION CHANNELS WITH NOISE
Annotation. The application of some theorems of probability theory for processes inherent in the transmission of messages over communication channels is considered; in particular, entropy problems are presented.
Key words: information theory, probability theory, conditional entropy, conditional and unconditional probability, matrix, average amount of information, communication probability.
Одной из задач теории информации является отыскание наиболее экономных методов кодирования, позволяющих передать заданную информацию с помощью минимального количества символов. Эта задача решается как при отсутствии, так и при наличии искажений (помех) в канале связи [1].
Потери информации в каналах связи с шумами описывают с помощью условной энтропии и энтропии объединения. Если помех нет или их уровень низкий настолько, что они не могут уничтожить сигнал или имитировать сигнал в отсутствие передачи, то при передаче ai будет получен сигнал bj, соответствующий переданному сигналу. События А и В жестко связаны, при этом условная вероятность максимальна Pfbj/at) = 1, и условная энтропия Н(А/В) = 0, так как log P(bj/аi) = 0. Для этого случая количество
информации в принятом ансамбле сообщений В, равно энтропии передаваемых сообщений ансамбля А
1(В, А) = Н(А)
Если уровень помех высок, то любой из принятых сигналов Ь] может соответствовать любому переданному сигналу а¡, статистическая связь между переданными и принятыми сигналами отсутствует. Поэтому вероятности Р(а^ и Р(Ь) являются вероятностями независимых событий и
Р(Ь/а) = Р(Ь]); Р(а/Ь) = Р(а).
Н(А/В) = -^^Р(Ь])Р(а1/Ь]) 1одР(щ/Ь-) =
= -^^Р(Ь])Р(а1)1одР(а]) = ^Р(Ь])Н(А) = Н(А)
Так как ^¿Р(Ь]) = 1, условная энтропия равна безусловной, а количество информации, содержащееся в В, относительно А равно нулю.
1(А, В) = Н(А) - Н(А/В) = 0 Информационные характеристики реальных каналов связи лежат между этими двумя предельными случаями. При этом потери информации при передаче k символов по данному каналу связи
Л1 =кН(А/ В)
Из-за помех часть информации искажается, однако между переданными и принятыми сообщениями существует статистическая взаимосвязь. Это позволяет описывать информационные характеристики реальных каналов связи с помощью энтропии объединения статистически зависимых событий. Так как
Н(А, В) = Н(А) + Н(В/А) = Н(В) + Н(А/В), то потери в канале связи могут быть учтены с помощью энтропии объединения следующим образом
1(В, А) = Н(А) + Н(В) - Н(В, А). Если использовать условную энтропию, то получим
1(В, А) = Н(А) - Н(А/В) = Н(В) - Н(В/А). Для вычисления среднего количества информации, содержащегося в принятом ансамбле сообщений В относительно переданного ансамбля А в условиях действия помех, пользуются следующими выражениями
КВ,А) = ^Р^Р^/а^одЩ^ (**)
КА,В) = ^Р^Р^Ь^од^^ (**) Для вычислений часто применяют выражения: КА,В) = ^Р(Ь)^1[Р(а1/Ь)1одР(а1/Ь) - Р(а1/Ь)одР(а1)],
P{aJbj) = P-^ (*)
I(В, A) = ^ P(a^[P (bj/щ) logP(bj/ai) - P(bj/at)logP(bj)]
I (A, В) = I (В, A)
= ^^ P(ai, bj)logP(ait bj) - ^^ Р(щ, bj)logP(adP(bj)
Для полного описания канала связи необходимо задать: канальную матрицу вида P(ai/bj) и безусловные вероятности вида P(bj) или канальную матрицу вида P(bj/ ai) и безусловные вероятности P(ai), или канальную матрицу вида P(ai, bj). В последнем случае сумма значений матрицы по столбцам дает безусловные вероятности вида P(bj)(£j P(bj) = 1), а сумма по строкам дает безусловные вероятности вида P(ai)(^iP(ai) = 1). Условные вероятности могут быть найдены из выражений
P(bj)
P(bJ/aI) = Pjf^(*)
Это (*) частные условные энтропии, индекс i - выбран для характеристики произвольного состояния источника сообщений A, j -выбран для характеристики произвольного состояния адресата B. (**) общая условная энтропия сообщения B относительно сообщения A. характеризует количество информации, содержащееся в любом символе алфавита, и, определяется усреднением по всем символам, то есть по всем состояниям с учетов вероятности появления каждого из состояний, и равна сумме вероятностей появления символов алфавита на неопределенность которая остается после того, как адресат принял сигнал.
Зная условные и безусловные вероятности, можно найти энтропии H(A), H(B), H(A/B), H(B/A). Если уровень помех настолько высок, что с равной вероятностью можно ожидать переход любого символа источника сообщения в произвольный символ первичного алфавита, то энтропия канала связи будет равна log m, а количество информации I = H(A) - log m< 0, значение I может отрицательной величиной, что означает, что канал связи вносит дезинформацию.
Пример. Канал связи задан следующей канальной матрицей
0,98 0,01 0,01 0,1 0,75 0,15 0,2 0,3 0,5
Вычислить среднее количество информации, которое переносится одним символом сообщения, если вероятности появления символов источника сообщений равны Р(а1) = 0, 7; Р(а2) = 0, 2; Р(а3) = 0, 1. Определить информационные потери при передаче сообщения из 400 символов алфавита а1, а2, а3. Вычислить количество принятой информации.
Решение. Энтропия источника сообщений
P(b,a) =
Н(А) = 2т=1 Р11одР1 = -(0,71од0,7 + 0, 21од0,2 + 0,11од0,1) = 1,1568 бит/символ
Общая условная энтропия
Н(А) = - 2 Р^од(а{) 2 Р 1од = -[0,7 * (0,981од0,98 +
2 * 0,01 Iод0,01) + 0,2* (0,751од0, 75 + 0,1 Iод0,1 + 0,151од0.15) +
0.1.* (0,21 од0,2 + 0, 31од0,3 + 0, 5 Iод0,5)] = 0,473 бит/символ. Потери в канале связи
М = кН(В/ А) = 400*0, 473 = 189, 5 бит. Энтропия приемника
т
Н(В)=^Р(Ь])1одР(Ь])
]=1
Н(ЬХ) = 2 Р(а1)Р(Ь1/а1) = Р(а1)Р(Ь1 \ аг) + Р(а2)Р(Ьг \ а2) + Р(а3)Р(Ь1\а3) = 0,726
Н(Ь2) = 2 Р(а1)Р(Ь2 \ ад = Р(а1)Р(Ь2 \ сц) + Р(а2)Р(Ь2 \ а2) + Р(а3)Р(Ь2\а3) = 0,187
Н(Ь3) = 2 Р(а1)Р(Ь3 \ ад = Р(а1)Р(Ь3 \ а1) + Р(а2)Р(Ь3 \ а2) + Р(а3)Р(Ь3\а3) = 0,087
Н(Ь1) + Н(Ь2) + Н(Ьз) = 1
Н(В) = 23=1Р(Ь]) 1одР(Ь]) = 1,094 бит/символ
Среднее количество принятой информации
I = k [H(B) - H(B/A)] = kH(B) - МI = 400* 1, 094 -189, 5 = 248, 1 бит. Таким образом, понятия зависимых событий, теоремы об условной вероятности и полной вероятности применяются (в соответствующих обозначениях) в передаче сообщений на расстоянии, что делает весьма важным изучении теории вероятностей в техническом ВУЗе.
Использованные источники:
1. Вентцель Е.С. Теория вероятностей: Учебник для вузов. — 6-е изд. стер.— М.: Высш. шк., 1999.— 576 с.
2. Теория информации: методические указания / Е.В. Бурькова; Оренбургский гос. ун-т. - Оренбург: ОГУ, 2018. - 50 с.
3. Цымбал В.П. Задачник по теории информатизации и кодированию. -изв. Вища школа. -Киев, 1976. -276 с.
4. Зверева Е.Н., Лебедько Е.Г. Сборник примеров и задач по основам теории информации и кодирования сообщений. Методические указания. - СПб: НИУ ИТМО, 2014. - 76 с.
