ПРИМЕНЕНИЕ МАРКОВСКИХ ЦЕПЕЙ ПРИ РЕАЛИЗАЦИИ ВНЕШНЕЙ ПАМЯТИ (EM) В СТОХАСТИЧЕСКОМ ДЕКОДИРОВАНИИ LDPC-КОДОВ Текст научной статьи по специальности «Математика»

DOI 10.25987/VSTU.2020.16.1.014 УДК 621.3.049.77

ПРИМЕНЕНИЕ МАРКОВСКИХ ЦЕПЕЙ ПРИ РЕАЛИЗАЦИИ ВНЕШНЕЙ ПАМЯТИ (EM) В СТОХАСТИЧЕСКОМ ДЕКОДИРОВАНИИ LDPC-КОДОВ

И.В. Свиридова

Воронежский государственный технический университет, г. Воронеж, Россия

Аннотация: стохастическое декодирование - это недавно предложенный метод для декодирования кодов с низкой плотностью проверки на четность (от англ. low-density parity-check, LDPC). Алгоритм декодирования использует некоторые элементы алгоритма распространения доверия (от англ. the sum-product algorithm, SPA) в своих переменных узлах, но поддерживает перемежитель низкой сложности и структуру проверочного узла, характерную для стохастических декодеров. Стохастическое декодирование, однако, чувствительно к активности переключения стохастических битов, что может привести к проблеме фиксации. Использование внешней памяти (EM) было предложено в качестве метода противодействия проблеме фиксации при стохастическом декодировании. В этой статье мы представляем модель цепей Маркова для EM и изучаем переходы состояний в течение циклов декодирования. Предложенный способ может быть использован для определения сходимости и необходимого количества циклов декодирования при стохастическом декодировании и лучшего понимания поведения процесса декодирования. Кроме того, это может помочь изучить поведение процесса декодирования и оценить время декодирования. Также статья содержит обзор стохастических вычислений и метода стохастического декодирования, описывается анализ модели цепей Маркова для EM. Приведены результаты моделирования

Ключевые слова: стохастическое декодирование, низкоплотностный декодер, проверочный и переменный узлы, sum-product алгоритм

Введение

Коды с малой плотностью проверок на четность (LDPC) [1] являются кодами с исправлением ошибок, производительность декодирования которых близка к пределу пропускной способности Шеннона [2]. Эти коды были рассмотрены в нескольких стандартах цифровой связи, таких как WiMAX (IEEE 802.16) и спутниковая связь цифрового видео (DVB). Коды LDPC декодируются с использованием алгоритма распространения доверия (SPA), который может быть графически представлен двудольным графом Таннера с двумя различными группами узлов: переменными узлами и проверочными узлами. Коды LDPC декодируются путем итеративной передачи сообщений между переменными и проверочными узлами по краям графа Таннера. SPA требует передачи вероятностей или значений логарифмического правдоподобия между узлами через параллельные соединения со многими путями. Это увеличивает площадь микросхемы, необходимую для подключения, а также потребление энергии. В результате, высокоскоростные реализации LDPC-декодеров стали предметом активных исследований в последние годы. LDPC-декодеры можно раз-

делить на две группы: основанные на памяти и полностью параллельные. Декодеры на основе памяти передают сообщения между общими блоками обработки через общую память. Полностью параллельные декодеры напрямую создают аппаратные экземпляры всех узлов графа Таннера кода. Основное внимание в этой работе уделяется полностью параллельным декодерам, поскольку они обеспечивают более высокую пропускную способность декодирования. Основной проблемой при реализации полностью параллельного декодера является перегрузка, возникающая при маршрутизации межсоединений между узлами. Эта перегрузка происходит в декодере с низкой загрузкой области и плохой синхронизацией и производительностью из-за наличия длинных межсоединений на чипе. Эти проблемы усугубляются тем, что для представления каждого сообщения обычно требуются слова длиной от 4 до 8 бит, поэтому для каждого края графа требуется от 4 до 8 параллельных проводов.

Стохастические вычисления были введены в 1960-х годах как метод проектирования цифровых схем низкой точности. В стохастических вычислениях вероятности кодируются случайными последовательностями битов. Каждый бит в этих последовательностях равен 1 с вероятностью быть закодированным. Этот метод использовался для итеративного деко-

© Свиридова И.В., 2020

дирования некоторых кодов, исправляющих ошибки. Его преимущество заключается в том, что операция декодирования может быть реализована с использованием очень простых схем, работающих на высокой скорости. Ранние стохастические LDPC-декодеры чувствительны к уровню случайной коммутационной активности в графе Таннера.

Было предложено несколько методов для улучшения производительности стохастического декодирования. Использование внешней памяти (ЕМ) - это способ избежать проблемы фиксации, которая является основным недостатком стохастического декодирования. В этой статье мы представляем модель для анализа производительности ЕМ. Эта модель может быть использована для определения сходимости и лучшего понимания поведения процесса декодирования.

Стохастическое декодирование

В стохастических вычислениях с помощью последовательностей Бернулли вероятности преобразованы в потоки стохастических битов. Последовательность из N битов, из которых j битов равны 1, представляет значение вероятности j / N. Например, последовательность длиной 10 с 8 битами, равными 1, представляет вероятность 0,8. Преобразование между вероятностью и стохастическим потоком не является уникальным. Различные стохастические потоки могут представлять данную вероятность. Стохастические представление и вычисление могут быть применены к вероятностным операциям в графе Таннера для замены вероятностей, передаваемых между узлами. Таким образом, сложные вероятностные операции в переменных узлах и проверочных узлах могут быть выполнены с использованием простых схем.

Здесь мы используем узел степени 3, чтобы показать, как переменные узлы и узлы проверки обмениваются стохастическими битами при стохастическом декодировании. Пусть Ра = Р (а = 1) и Рь = Р (Ь = 1) - вероятности двух входов, а и Ь, переменного узла. Выходная вероятность переменного узла, Рс, может быть вычислена как

Рс = РаРь/[РаРь + (1 - Ро)( 1 - Рь)]. (1)

Точно так же в проверочном узле мы имеем

Рс = Ра(1-Рь) + (1-Ра)Рь. (2)

На рис. 1 показана структура логического элемента в переменном узле и проверочном узле при стохастическом декодировании [3].

00

(V)

р.. П-

.1 ч к А

— Р:,

Р, Л

Рис. 1. Структура (а) стохастического переменного узла и (Ь) стохастического проверочного узла

При стохастическом декодировании каждый круг декодирования называется циклом декодирования фС) [5], который непосредственно не соответствует итерациям в декодировании SPA. В каждом DC переменный узел принимает один бит из стохастического потока, соответствующего вероятности канала, и внешние биты из проверочных узлов. Затем каждый переменный узел распространяет свои исходящие 1-битные сообщения на подключенные проверочные узлы. Проверочные узлы проверяют четности и отправляют свои 1-битные сообщения обратно на узлы переменных. После завершения этого обмена битами между переменными узлами и проверочными узлами переменные узлы загружают следующий бит из стохастических потоков и запускают следующий цикл декодирования.

При использовании подхода стохастического декодирования существует вероятность того, что стохастический декодер очень чувствителен к уровню активности случайного переключения. Основываясь на структуре переменного узла, возникает проблема фиксации, когда входные биты переменного узла неодинаковы в течение нескольких циклов декодирования. При этом условии выходные биты застревают в одном и том же значении, а переменный узел блокируется в состояние удержания. Механизм повторной рандомизации необходим для предотвращения проблемы фиксации. Чтобы избежать проблемы фиксации была введена внешняя память (ЕМ).

Внешняя память [4] представляет собой L-битные регистры сдвига, назначенные исходящим краям переменных узлов. Когда входные биты переменного узла согласуются, ЕМ обновляется входным битом. Напротив, ЕМ не обновляется, когда переменный узел находится в состоянии удержания. Один стохастический бит случайным образом выбирается из ЕМ и пропускается через край в качестве ис-

ходящего бита. Таким образом, ЕМ содержат только биты, которые не создаются в состоянии удержания. С помощью этой схемы обновления ЕМ снижают вероятность фиксации при декодировании LDPC.

Модель цепей Маркова для EM

Чтобы понять поведение процесса декодирования, мы представляем модель цепей Маркова для ЕМ в стохастическом LDPC-декодере. Во-первых, мы определяем состояние ЕМ на основе количества 1 в ЕМ. Состояние 0 обозначает случай, когда биты в ЕМ представляют собой все нули. Состояние 1 означает, что в сдвиговом регистре есть только одна 1, а состояние L обозначает состояние всех единиц. Таким образом, для ЕМ с длиной L будут ^ + 1) состояния.

Г"*

: Зй^ 2

1

■ и • ' С

ЕЫс I

1 и

Рис. 2. Модель цепей Маркова для ЕМ длины L

Исходя из предположения о бесконечной длине кодового слова и отсутствии цикла, мы заключаем, что все ЕМ одинаковы и независимы в стохастическом декодере. На рис. 2 показана модель цепи Маркова для ЕМ.

Из-за обновления схемы ЕМ обновляет только один бит каждый раз. Мы можем видеть, что кроме состояния 0 и состояния L все другие состояния имеют три переходных варианта: оставаться в одном и том же состоянии или перемещаться в одно из соседних состояний [6]. Когда обновленный бит равен 1, а оставленный бит равен 0, текущее состояние, состояние 1, перейдет в состояние (1 + 1). Напротив, если обновленный бит равен 0, а сдвинутый бит равен 1, состояние переходит в состояние а - 1). Если переменный узел заблокирован в состоянии удержания или обновленный бит и оставленный бит ЕМ одинаковы, ЕМ будет оставаться в том же состоянии.

Вероятности этой модели развиваются следующим образом. Сначала мы инициализируем ЕМ с вероятностью, полученной от канала. Для каждого состояния ЕМ начальная вероятность соответствует вероятности канала. В каждом DC вероятности каждого состояния основаны на входной вероятности переменного узла и вероятности канала. Таким образом, вероятности состояний в момент времени t можно представить в виде

ад =

ад)

(3)

сК °сК

1ад)

иР<(Б1) = Р<_1(Б1.1)

(РшГ'1} + Р<-гЫ[1 + (^)Рс

+Pt-г(Si+1)[{:■^)(l-Pch)(l-Pin,t)dV-1]

(4)

для 0< г < I, £ > 0.

Здесь Рск - вероятность, полученная из канала, Р(П£: - входная вероятность переменного узла в момент времени ^ а dv - степень переменного узла.

Первый член в правой части в (4) представляет собой вероятность перехода состояния из состояния (1 -1) в состояние (0, второй член представляет вероятность пребывания в том же состоянии, а последний член представляет собой вероятность перехода из состояния 0 + 1) в состояние (1).

Вероятность выхода переменного узла равна

Р0Мл = РЛ5)тР(В0МЛ = 1|5), (5) где Вои11 является исходящим стохастическим битом от переменного узла к узлу проверки в момент времени t.

Мы также имеем

(6)

где

Р(ВоМ{ = 1|So)

Р{В0МХ = 1|5) = Р(ВоМ{ = 1|S1)

-Р (ВоМХ = ВД

Р{ВоиЬ:Ь = 1|^)= ^1--Рсь(Рт,01 (1 - рсЬ)(1 - Р^-1] + +Рсь(Рт,Ойу-1

для 0 < г < Ь, £ > 0.

(7)

Первое слагаемое в (7) - это вероятность того, что исходящий бит из переменного узла равен 1, когда все входящие биты расходятся, а бит, случайно выбранный из ЕМ, равен 1.

Второе слагаемое - это вероятность того, что выходной сигнал равен 1, когда все входные биты переменного узла равны

Поскольку в стохастическом декодировании проверка четности выполняется в проверочных узлах, входная вероятность в переменных узлах равна

=

1 - (1 - 2Рои,х)

ас-1

(8)

Нт„^ю Мп =

где dc степень проверочного узла и £ > 0 Результаты моделирования

В этом разделе мы изучаем моделирование модели цепей Маркова для EM при стохастическом декодировании ^у, dc) = (2,3) LDPC-кода. В этих моделированиях кодовое слово из всех нулей передается по каналу с использованием модуляции BPSK. Мы выбрали длину ЕМ, равную 4, и моделирование выполняется при соотношении сигнал/шум (SNR) 3 дБ. Матрицы перехода состояний в разных циклах декодирования показаны в таблице.

Матрицы переходов ЕМ длиной 4 для ^у, dc)= = (2,3) LDPC-кода для разных циклов декодирования

Уо, ¿2., ■ч,

^1-1 0.475« 0.0250 0 0 0

5-1.,-] 0.1740 0.8073 0.0187 0 0

лг 1 ос 0 03479 0.634(3 0.0125 0

(1=1) ■5-э.м 0 0 0.5214 0.4719 0.0062

■4,-1 0 0 0 0.6953 0.3042

О.Ч987 0.0013 0 0 0

02178 0.7812 0.0010 0 0

лг 10 □ С 5 0 0.4357 0.5637 0.0006 0

(1=10) ■4,-1 0 0 0.6535 03462 о.оооз

0 0 0 0.8714 0.1286

0.4 9 99 0.0001 0 0 0

02200 о.7 те 0.0001 0 0

лг 2й Е>С! 0 0.4400 0.5600 0.0000 0

<е=а» Ш-1 0 0 о.ббоо 0.3400 0.0000

0 0 0 0.8800 0.1200

Ч--1 1.00(10 0.0000 0 0 0

$1,1-1 0.2202 0.7798 0.0000 0 0

Л130 □ С 5 0 0.4404 0.5596 0.0000 0

(1=30) 4,-1 0 0 о.б т 5 0.3395 0.0000

0 0 0 0.8807 0.1193

После приблизительно 30 циклов декодирования матрица перехода состояний приближается к стационарному состоянию. В стационарном распределении вероятность перехода из состояния 0 в одно и то же состояние равна 1, что указывает на то, что внешняя память приближается к состоянию 0, что согласуется с передачей кодового слова со всеми нулями.

Стационарность модели цепей Маркова также наблюдается с предела

10 10

(9)

На рис. 3 показаны входные и выходные вероятности переменного узла для 30 циклов декодирования. Эти вероятности сходятся к нулю, потому что кодовое слово из всех нулей отправляется по каналу [7]. Когда выходная вероятность переменного узла сходится к нулю (или единице), исходящий стохастический бит из переменного узла имеет высокую вероятность быть 0 (или 1). После того, как состояние внешней памяти сходится, можно определить выходной стохастический бит. Таким образом, кодовое слово может быть определено, и процесс декодирования может быть прекращен. Это полезно при определении максимального количества циклов декодирования стохастического декодера и оценке времени декодирования.

Рис. 3. Вероятности входа и выхода переменного узла для LDPC-кода (<!у, (!с) = (2,3) для 30 циклов декодирования

Заключение

Мы представили модель цепей Маркова для ЕМ при стохастическом LDPC декодировании и определили матрицы перехода состояний этой модели. Эта модель может быть использована для изучения условий сходимости и поведения процесса декодирования. Эта модель полезна при оценке необходимого количества циклов декодирования при стохастическом декодировании кодов LDPC.

Литература

1. Галлагер Р.Дж. Коды с малой плотностью проверок на четность. М.: Мир, 1996. 90 с.

2. Маккей Д.Дж.С., Нил Р.М. Предельное представление Шеннона для кодов низкой плотности проверки на четность // Electronics Letters. Vol. 33. № 6. 1997. Рр. 457-458.

3. Золотарёв В.В., Овечкин Г.В. Помехоустойчивое кодирование. Методы и алгоритмы: учеб. пособие / под ред. Ю.Б. Зубарева. М.: Справочное издание, 2004. 126 с.

4. Свиридова И.В. Сравнение сложности аппаратной реализации и исправляющей способности стохастических декодеров с памятью отслеживания прогнозов (TFM) и внешней памятью (EM) // Вестник Воронежского государственного технического университета. 2018. Т. 14. № 3. С. 120-124.

5. Стохастическое итеративное декодирование на факторных графах / А.В. Башкиров, В.М. Питолин, И.В. Свиридова, М.В. Хорошайлова // Радиотехника. 2019. Т. 83. № 6 (8). С. 122-126.

6. Помехоустойчивый алгоритм декодирования ортогональных пространственно-временных блочных кодов систем MIMO в замирающих каналах связи / О.Н. Чирков, И.С. Бобылкин, И.В. Свиридова, А.А. Матвеев, М.И. Соболев // Надежность и качество: тр. междунар. симпозиума. 2019. Т.2. С. 90-92.

7. Сравнение стохастических методов испытаний надежности РЭС / А.С. Костюков, И.С. Бобылкин, Л.Н. Никитин, А.А. Пирогов // Надежность и качество: тр. междунар. симпозиума. 2018. Т. 2. С. 35-37.

Поступила 05.10.2019; принята к публикации 13.02.2020

Информация об авторах

Свиридова Ирина Владимировна - старший преподаватель, Воронежский государственный технический университет (394026, Россия, г. Воронеж, Московский проспект, 14), e-mail: ri-ss-ka@mail.ru, ORCID: https://orcid.org/ 0000-0001-5279-0807

APPLICATION OF MARKOV CHAINS IN IMPLEMENTATION OF EXTERNAL MEMORY (EM) IN STOCHASTIC DECODING OF LDPC CODES

I.V. Sviridova

Voronezh State Technical University, Voronezh, Russia

Abstract: stochastic decoding is a lately suggested method for decoding low density parity check codes (LDPC) that uses some elements of the sum product algorithm (SPA) in its variable nodes, but supports a low complexity inter leaver and a test node structure typical of stochastic decoders. Stochastic decoding, however, is sensitive to stochastic bit-switching activity, which can lead to a fixing problem. The use of external memory (EM) was proposed as a method of counteracting the fixation problem in stochastic decoding. In this article, we present a Markov chain model for EM and research condition conversion during decoding round. The offered method can be used to determine the precision and the necessary number of decoding round in stochastic decoding and a superior insight of the behavior of the decoding process. In addition, it may help to research the demeanor of the decoding process and assessment the decoding time. The article also contains an overview of stochastic computing and the stochastic decoding method, describes the analysis of the Markov chain model for EM. The simulation results are given

Key words: stochastic decoding, low-density decoder, check and variable nodes, sum-product algorithm

References

1. Gallager R.J. "Codes with a low density of parity checks" ("Kody s maloy plotnost'yu proverok na chetnost'"), Moscow, Mir, 1996, 90 p.

2. Mackay D.J.S., Neal R.M. "Shannon limit representation for low density parity codes", Electronics Letters, vol. 33, no. 6, March 13, 1997, pp. 457-458.

3. Zolotarev V.V., Ovechkin G.V. "Noise-resistant coding. Methods and algorithms: manual" ("Pomekhoustoychivoe kodiro-vaniye. Metody i algoritmy: ucheb. posobie"), Moscow, Reference publication, 2004, 126 p.

4. Sviridova I.V. "Comparison of the complexity of hardware implementation and the correcting ability of stochastic decoders with forecast tracking memory (TFM) and external memory (EM)", Bulletin of Voronezh State Technical University (Vestnik Voro-nezhskogo gosudarstvennogo tekhnicheskogo universiteta), 2018, vol. 14, no. 3, pp. 120-124.

5. Bashkirov A.V., Pitolin V.M., Sviridova I.V., Khoroshaylova M.V. "Stochastic iterative de-coding on factor graphs", Radio engineering (Radiotekhnika), 2019, vol. 83, no. 6 (8), pp. 122-126.

6. Chirkov O.N., Bobylkin I.S., Sviridova I.V., Matveev A.A., Sobolev M.I. "The noise-resistant algorithm for decoding orthogonal space-time block codes of MIMO systems in fading communication channels", Proc. of the International Symposium Reliability and Quality (Nadezhnost' i kachestvo: tr. mezhdunar. simpoziuma), 2019, vol. 2, pp. 90-92.

7. Pirogov A.A., Kostyukov A.S., Bobylkin I.S., Nikitin L.N. "Comparison of stochastic methods for testing the reliability of RES", Proc. of the International Symposium Reliability and Quality (Nadezhnost' i kachestvo: tr. mezhdunar. simpoziuma), 2018, vol. 2, pp. 35-37.

Submitted 05.10.2019; revised 13.02.2020 Information about author

Irina V. Sviridova, Assistant Professor, Voronezh State Technical University (14 Moskovskiy prospekt, Voronezh 394026, Russia), e-mail: ri-ss-ka@mail.ru, ORCID: https://orcid.org/ 0000-0001-5279-0807