CC BY
45
5. Гольденберг Л.М., Матюшкин Б.Д., ПолякМ.Н. Цифровая обработка сигналов. Справочник. -М.: Радио и связь, 1985. - 312 с.
6. Бессекерский В.А. Цифровые автоматические системы. -М.: Наука, 1976. -576 с.
УДК 681.3.04
В.В. Котенко, С.В. Котенко
ИНФОРМАЦИОННЫЙ ПОДХОД К ОЦЕНКЕ ЭФФЕКТИВНОСТИ ПОМЕХОУСТОЙЧИВЫХ КОДОВ ПРИ КОДИРОВАНИИ ДЛЯ НЕПРЕРЫВНЫХ КАНАЛОВ
Непрерывным каналом, является канал с непрерывными параметрами, вход X и выход У которого представляются непрерывными ансамблями. Выборочные пространства этих ансамблей определяются случайными процессами и в некоторых случаях могут рассматриваться как случайные величины. На основании этого описание непрерывных каналов обычно производится в два этапа. На первом этапе рассматривается случай дискретного времени, когда передается последовательность непрерывных случайных величин, которые считаются имеющими одинаковое распределение и независимыми. Таким образом, при вычислении пропускной способности С достаточно ограничиться какой-либо одной из этих величин. На втором этапе рассматривается случай передачи реализаций непрерывных случайных процессов и определяется пропускная способность в единицу времени С1= ^С, где ^ = 1/ Т1.
Предположим, что шум в канале является гауссовским, имеет нулевое среднее
2
и дисперсию а , а его взаимодействие с входом канала сводится к тому, что они,
будучи взаимонезависимыми, просто складываются. Таким образом, на выходе канала наблюдается величина
У = X + П.
Для вычисления средней взаимной информации 1(Х; У), принимая во внимание ее симметричность относительно X и У, воспользуемся формулой
I [ X ;У ]= Ь [ У ]- Ь [У/Х ] (1)
где XX и У - непрерывные ансамбли на входе и выходе канала с непрерывными параметрами, соответственно; Ь [У ] - дифференциальная энтропия ансамбля на
выходе канала.
Условная энтропия Ь [ У/X ] может быть определена как
Ь [ У/X ] = -| Р (X )| Р (У\/ X) йу1йх1. (2)
При независимом сложении входа канала и шума то или иное значение У1 (при известном х1 ), формируется только тогда, когда шум принимает значение
Поэтому условная вероятность р(у1/ х^)йу1 того, что у (при фиксированном х) примет значение из интервала [у1; у1 + йу1 ], совпадет с безусловной вероятностью Р(п)йп того, что значения шума будут заключены в интервале [п; п + йп], где п = у1 - х1, а йп = йу1. Тогда из (2) следует
Таким образом, второе слагаемое в формуле (1) определяется только шумом, и для того, чтобы найти пропускную способность, достаточно максимизировать по всем возможным распределениям слагаемое Ь [У ]. Как уже было установлено
энтропия ЬI У I будет максимальной, когда у имеет гауссовскую плотность веро-
ятности с нулевым средним. Отсюда следует, что сообщение х, которое может рассматриваться в виде суммы двух гауссовских случайных величин ух и (— п) с нулевыми средними, тоже должно иметь гауссово распределение с нулевым сред-
Таким образом, пропускная способность достигается, когда вход канала имеет гауссовское распределение с нулевым средним. Это согласуется с физическими объяснениями, которые приведены ранее.
Определим физический смысл полученного результата. Для этого обратимся к материальной форме представления сообщений, т. е. к сигналам. Можно показать, что при заданной пропускной способности С канала существует конечное число М<2СТ реализаций сигнала установленной длительности Т которое может быть передано по каналу при исчезающе малой вероятности их опознавания. Причем безошибочная передача большего, чем 2СТ, числа различных значений случайной величины невозможна. Введение конечного числа реализаций сигнала означает квантование случайной величины, определяющей выборочное пространство ансамбля X. Однако, прибегая к квантованию непрерывном случайной величины со все убывающим шагом, нельзя одновременно добиться того, чтобы все уровни передавались безошибочно, поскольку должно выполняться ограничение М <2СТ. Выбирая же число уровней квантования конечным, меньшим 2СТ, неизбежно вводим в передаваемые сообщения ошибку
п = у— - х—.
т. е. условная энтропия
Ь [У/X] совпадает с безусловной энтропией шума
ним. Поскольку вход канала и шум независимы, то а2 = а2 + а2, откуда
Ь [У] = —1п2пе ( + о2). КРоме того’ Ь Г її 1 = —1п2пео2 • Следовагельно,
тах Ь J ^ \ х п} |_ _| 2 п
(3)
квантования. Таким образом, неискаженная передача аналоговых величин по каналу с помехами невозможна.
По порядку возникающая ошибка будет равна = о2-С,Т, т. е. о 2-С. ТаМ х
ким образом, можно считать обоснованной следующую теорему.
Теорема. Пусть вход канала является случайной величиной с дисперсией о2
и пусть производится блоковая передача независимых значений этой случайной величины. Тогда при достаточной длительности блоков Т1 и пропускной способности канала С возможна передача значений случайной величины со среднеквадратической ошибкой, сколь угодно мало отличающейся от ох 2-С.
Данная теорема и выражение (3), связывающее пропускную способность с отношением сигнал/шум в канале, позволяет в новом свете взглянуть на проблему передачи в нем дискретных сообщений. Поскольку логарифм любого числа, большего единицы, является положительной величиной из формулы (3) следует, что безошибочная передача дискретных сообщений по каналу связи с помехами возможна при любом, а не только достаточно большом отношении сигнала к шуму. Отношение сигнал/шум влияет только на скорость, а не на сам факт передачи информации.
Этот фундаментальный результат впервые получен К. Шенноном, которому и принадлежит формула (3).
Определим пропускную способность каналов, по которым передаются реализации непрерывных случайных процессов. Для этого примем следующие предположения:
- непрерывный канал имеет ограниченную полосу Е.
- шум в канале является гауссовским с нулевым средним и имеет равномерную в полосе Е энергетическую спектральную плотность М0.
- шум не зависит от входа канала и взаимодействует с ним аддитивным образом.
Вход канала в данном случае представляется реализациями стационарного
2
случайного процесса, средняя мощность которого равна о х.
Существует доказательство того, что при независимости от входа канала наибольшим искажающим воздействием при заданной мощности (в данном случае она равна N Е) обладает гауссовский шум с равномерным спектром.
По известной теореме дискретизации В.А. Котельникова процесс, спектр которого ограничен полосой Е, однозначно характеризуется совокупностью отсчетов, взятых через интервалы времени длиной 1/ Е . Содержащаяся в них информация примет наибольшее значение, когда каждый из них будет иметь гауссовское распределение с нулевым средним, и все они будут взаимонезависимыми.
С учетом этого можно прийти к заключению, что процесс х (I) на входе канала должен быть гауссовским и иметь нулевое математическое ожидание.
Теперь покажем, что отсчеты процесса у (t) будут независимыми, когда
спектр сигнала х(t) равномерен в полосе Е. В самом деле, поскольку сигнал и шум независимы, то спектр их суммы. Таким образом, спектр процесса у (t) равен сумме спектров входа канала и помехи. Следовательно, он тоже
будет равномерным в полосе F. Его функция корреляции определяется выражением
, , ч 2 sin 2nFr
k (т) = о ---------,
yW 2nFz
которое показывает, что отсчеты процесса, взятые через интервалы времени 1/2Е, некоррелированы и, поскольку речь идет о гауссовском процессе, независимы. Таким образом, рассматривая сообщения достаточно большой длительности Т, можно считать, что каждое из них характеризуется 2ЕТ независимыми отсчетами.
Отсюда, вычисляя информацию процесса, как информацию его независимых отсчетов, и учитывая формулу (3), получим
IE(X ;Y ) = FTlog
( _2 , 2 Л
а ж + а
2
V п у
Черта над ^ (;У) указывает на то, что речь идет о наибольшем возможном
количестве информации.
Соответственно для пропускной способности непрерывного канала в единицу времени имеем
I Г* ;Y І а - (4)
Cl =-^у^ =F log 1+ -*■ . (4)
1+4'
V ап у
Формула (4) выведена К. Шенноном и носит его имя. Из нее следует что, наибольшее количество информации, которое можно передать по непрерывному каналу с. помехами, растет с увеличением отношения сигнала к шуму, времени передачи Т и расширением полосы занимаемых частот Е. Последнее означает, что недостаток мощности входа канала можно скомпенсировать надлежащим расширением полосы канала. Системы передачи, в которых спектр входа канала X значительно превосходит по своей ширине спектр сообщения, принято называть широкополосным. Хорошим практическим способом формирования широкополосных сигналов является использование частотной модуляции с достаточно большим индексом.
Следует, однако, заметить, что возможности увеличения иропускной способности, связанные с расширением полосы, небезграничны. Дело в том, что у шума ограничивается обычно не мощность, как таковая, а спектральная интенсивность . С учетом этого, преобразовав выражение (4) к виду
C1 = F ln
а2 Л 1^-а—
. NoF У
можно сделать вывод, что в указанных условиях пропускная способность канала с ростом Е будет стремиться к некоторому пределу. Действительно, с ростом
полосы Е величина ° уменьшается. Тогда, учитывая, что при малых х
Nо F
имеет место соотношение 1п (1 + хх (можно также воспользоваться правилом Лопиталя), получим
Сі» =
N
нат
(5)
Общий вид зависимости пропускной способности от полосы Е показан на
2
рис. 1. Из нее следует, что при заданных значениях мощности сигнала О и спектральной интенсивности шума Ы0 получить пропускную способность канала связи большую, чем С1м, нельзя.
С,/ С1о
с
1
----------------------------------------------------
0 12 3 Ы^/ст2
Рис. 1. Пропускная способность непрерывного канала, как функция его полосы
Пусть С1м = 1 нат/с. Как следует из формулы (5), для обеспечения такой пропускной способности необходимо иметь источник сигнала, мощность которого в месте его сложения с шумом численно равна Ы0 Вт (как обычно, речь идет о мощности, рассеиваемой в сопротивлении 1 Ом). Так как передача одного ната информации длится в таком канале 1 с, то при этом расходуется энергия, численно равная N джоулей.
В качестве критерия эффективности корректирующих кодов при кодировании для непрерывных каналов можно использовать обеспечиваемую ими достоверность передачи информации при фиксированных скорости передачи, средней мощности сигнала и помехах.
Для этого необходимо прежде всего ввести меру достоверности передачи информации, обеспечивающую возможность сравнения по этой характеристике различных кодов. Для блочных корректирующих кодов в качестве такой меры удобно использовать предложенную Л.М. Финком эквивалентную вероятность ошибки Р , характеризующуюся значением вероятности ошибочного приёма элементарного символа примитивного кода (Ь, Ь) при котором последний обеспечивает ту же достоверность передачи информации, что и рассматриваемый блочный корректирующий код (Ы, Ь). Поскольку для примитивного кода вероятность ошибочного приема символа при случайных независимых искажениях отдельных символов
однозначно характеризует достоверность передачи информации, то величина РэЬ является однозначной характеристикой достоверности корректирующего кода,
т- е- РэЬ = Рэ •
Если оцениваемый код (Ы, Ь) в рассматриваемом канале характеризовать вероятностью ошибочного приема РЬ, то вероятность РэЬ ошибочного приема символа, при которой обеспечивается та же достоверность передачи информации для примитивного кода (Ь, Ь), определяется из равенства (1 - РэЬ)Ь = 1 - РЬ .Откуда
РэЬ = 1 - (1 - РЬ )УЬ и при РЬ << 1 имеем
РэЬ - Рь/Ь •
Если корректирующий код (Ы, Ь) имеет кодовое расстояние dmln , т. е. способен достоверно исправить I = (dmln -1) / 2 ошибок, то при случайных независимых искажениях его символов, характеризуемых вероятностью Р., получим
р. = 1 с- р; (1 - ре) - -,
і = І +1
N
Р, = 1 - (1 - Р. )1Я- = 1 - [1 - Ё р; (1 - Р;)--і ^ • (6)
і=1 +1
В случае, когда Р. << 1 и РЬ = £ сыр;(1 - р.)"- << l, сохраняя в (6)
г = I +1
лишь первый член суммы, имеющий наименьший (1+1)-й порядок относительно малой величины Р., получаем:
Р
^ і і і
Для сравнения двух кодов N, ,) и (N3, ) можно воспользоваться отно-
шением
Р ЬС1‘+1Р1+1
п . = —э± = 3 -і—-—, (7)
Ч/1 Р , С13 +1Р Із +1
Ґз/ ЬіС N Р;3
где Пз / і — коэффициент, характеризующий выигрыш 3-го кода по отношению к і-му; Іі и І, — число достоверно исправляемых ошибок, соответствующее кодовым
‘ 3
расстояниям сравниваемых кодов йтті и йтт .; Р;і и Р — вероятности искажений элементарных символов сравниваемых кодов при одинаковых значениях скорости передачи информации, средней мощности канала и характеристиках помех.
Если в качестве і-го кода используется примитивный код, то коэффициент (7) определяется как коэффициент эффективности помехоустойчивого кода г]ш:
р
__ эпр
Ь р
3 епР
Г1+1Т}1+1
СЫ Репк
(8)
где Репк — вероятность ошибочного приема символа корректирующего кода; Репр
— вероятность ошибочного приема символа соответствующего примитивного кода при тех же помехах и тех же значениях скорости передачи информации и средней мощности канала.
Представим помеху в непрерывном канале в виде аддитивного белого шума
со спектральной плотностью . Скорость передачи информации ипи зафиксируем числом т информационных символов, передаваемых в 1 с (исходный информационный код считается безызбыточным). Энергию обоих символов двоичного кода (0 и 1) принимаем одинаковой. Исходя из этого вероятности трансформации символов могут быть определены как
Р01 = Р10 = Ф (ЧЛЕ / N0 ) .
Тогда, используя эту формулу, получаем:
Ре. = О (ЛЕ,. / N0 ) = О (-^Рйё/(N0шН] /Ь. ) (9)
где Рск — фиксируемая средняя мощность канала; mN. / Ь. — общее число
символов, передаваемых за 1 с при применении кода (N., Ь.), отвечающее условию передачи т информационных символов в 1 с;
Ф (2 'хр
1 Т
х = 1----Г и1 (Ґ )и0 (Ґ )Ж — коэффициент
77 •>
— интеграл вероятностей;
различимости символов.
С учетом (9) выражение (8) приводится к виду:
Ф
п ПК =---
ЛЕС
V її МоЯ J
С
1+1
Ь
Ф
(10)
где Ес — энергия символа помехоустойчивого кода (N,1,); EcN / Ь — энергия символа примитивного кода при тех же значениях скорости передачи информации и средней мощности сигнала; Я = Ь / N — скорость кодирования.
....................................^
1 2 3 4 5 Ес / п0
п
Рис.2. График зависимости коэффициента эффективности ПК от отно-
Ес / ^
шения с 0
В качестве примера на рис. 2 приведен график зависимости коэффициента эффективности Г/пК от отношения Ес / N0 для 15-разрядного кода Хэмминга, исправляющего одиночные ошибки (N = 15, Ь = 11,1 = 1). График получен для Л = 2 в области достаточно больших значений Ес / N0, когда применима приближенная формула (10).
Из графика следует практически важный вывод: при низкой достоверности приема символов (малых значениях Е/Ыо) повышение корректирующей способности кода может привести к отрицательным результатам, так как при этом превалирующим может оказаться увеличение вероятности ошибочного приема символов из-за снижения их энергии при увеличении избыточности.
УДК 378.1
В.В. Котенко, К.Е. Румянцев
НОВЫЙ ПОДХОД К ОЦЕНКЕ ЭФФЕКТИВНОСТИ ОБРАЗОВАТЕЛЬНЫХ
СИСТЕМ
Постоянно возрастающее значение информационной составляющей в жизнедеятельности человечества выдвигает на первый план проблему объективной оценки эффективности образовательных систем. К основным составляющим этой проблемы в настоящее время относятся:
- значительная неоднозначность современной системы взглядов на само -обучение и его взаимосвязь с такими понятиями, как творчество и познание, следствием чего является преимущественно субъективный подход к оценке качества обучения и эффективности образовательного процесса,
