CC BY
18
DOI 10.25987/VSTU.2020.16.3.008 УДК 004.032.2
РАЗРАБОТКА И РЕАЛИЗАЦИЯ СИММЕТРИЧНОГО САМООРГАНИЗУЮЩЕГОСЯ
НЕЙРОСЕТЕВОГО ДЕКОДЕРА
М.В. Хорошайлова
Воронежский государственный технический университет, г. Воронеж, Россия
Аннотация: представлен новый декодер на основе нейронной сети в форме симметричной самоорганизующейся карты (от англ. symmetrical self-organizing map, SSOM), который может декодировать любые коды, исправляющие ошибки. Декодер SSOM проверяется путем декодирования кода низкой плотности проверки на четность (LDPC). Сравнение производительности SSOM-декодера и традиционного декодера выполняется путем моделирования. Вместо того, чтобы заранее обучать нейронную сеть при помощи примеров наборов кодовых слов, декодер с использованием самоорганизующихся карт может быть использован непосредственно в системе связи. Изучение примеров наборов кодовых слов является основной особенностью декодера, где характеристика выборочных наборов кодовых слов извлекается и сохраняется в SSOM распределенным способом. Полученные результаты показывают, что SSOM-декодер может осуществлять обучение и декодирование одновременно, независимо от каких-либо правил кодирования. А более высокая вероятность появления кодового слова означает большую вероятность правильного исправления ошибок. По сравнению с производительностью исправления ошибок обычным декодером, нейросетевой декодер легче реализовать, он более гибкий и обучаемый для различных наборов кодовых слов, что имеет определенные перспективы для будущих разработок в системе кодирования канала связи
Ключевые слова: нейросетевой декодер, симметричная самоорганизующаяся карта (SSOM), код низкой плотности проверки на четность (LDPC), архитектура, реализация
Введение
В настоящее время технология кодирования с исправлением ошибок стала хорошим методом для получения надежной и своевременной связи. Поэтому исправляющий ошибки декодер изучается многими разработчиками постоянно. Нейронная сеть, которая является интеллектуальной технологией, принята как новый метод, используемый в области декодирования. Вообще говоря, исследование нейросетевого декодера можно разделить на три типа:
- принятие нейронной сети в качестве основной архитектуры декодера, где нейронная сеть связана с правилами кодирования [1];
- принятие нейронной сети в качестве основной архитектуры декодера, где нейронная сеть не имеет отношения к правилам кодирования;
- использование нейронной сети, выпол-няющией дополнительную роль в декодере.
Комбинируя генетический алгоритм и нейронную сеть, генетический декодер нейронной сети предложен в [2], приближенный к традиционному мягкому решению в выполнении коррекции ошибок. Тем не менее, декодер принимает генетический алгоритм в качестве основной архитектуры, где нейронная
сеть играет только вспомогательную роль. В [2] предложен искусственный нейронный декодер, который подходит для нейронных сетей меньшей сложности. И декодер должен быть предварительно обучен по образцу данных.
В других работах был описан нейросете-вой декодер с использованием турбокодов, производительность которого немного уступает максимальному апостериорному (MAP) декодеру. Кроме того, декодер должен быть обучен с помощью наборов выборок, сгенерированных заранее кодером, где обучение и декодирование не могут быть достигнуты одновременно [3].
На основе проверочной матрицы кодирования нейронный декодер на основе многоуровневого персептрона (MLP) представлен для декодирования кодов LDPC методом мягкого решения в [4]. Однако этот нейросетевой декодер построен в соответствии с проверочной матрицей кодирования, которая не является обычным интеллектуальным декодером. Тем не менее, нейронная сеть MLP принята в качестве метода предварительной обработки для прогнозирования ошибочных данных в канале связи, а не в основной архитектуре декодера.
© Хорошайлова M.B., 2020
Представление декодера на основе симметричной самоорганизующейся карты (SSOM)
Декодер SSOM состоит из симметричной самоорганизующейся карты (SSOM), контроллера нейронной сети и контроллера принятия решений (рис. 1). SSOM - это новая нейронная сеть, состоящая из двух самоорганизующихся карт, где наборы весов симметричны. Она состоит из входного слоя, нейронного слоя и выходного слоя. Входной слой принимает кодовое слово из канала связи. Нейронный слой -это карта кодового слова, хранящаяся в SSOM. Выходной слой экспортирует конечный результат декодера. Модификация наборов веса осуществляется контроллером нейронной сети, который используется для активации нейронов SSOM. Окончательное решение SSOM-декодера принимается контроллером выходного решения.
Вх одной слон Слан нейронов Выходной слан
Рис. 1. Архитектура SSOM-декодера
Этапы алгоритма разработки SSOM-декодера.
Есть несколько основных шагов в реализации SSOM-декодера.
1. Инициализация. Выбираются случайные значения в качестве начальных весовых
WXN WNY v векторов для и NY . Карты самоорга-
низующегося декодера являются симметричными, то есть:
WNY ЬI ] = WXN [ 11 (1)
i=1,2,3...n; j=1,2,3...m.
2. Рассчитывается порог dT в соответствии с уравнением (2) и скорость активации в соответствии с уравнением (3)
1 n m Г1Г 1
dT = — Z Е WЦ;] (2) mn i=1 j=1
$ = dT/2 (3)
3. Принимается входное кодовое слово в декодер SSOM.
4. Сходство совпадения. Найти наиболее подходящий (выигрышный) узел нейрона в соответствии с уравнением (4). Уравнение выглядит следующим образом:
Neu = argmin z Ix[i] - W[i][jI j=1,2,3m, (4) j i=1
где m - это номер нейронного узла, n - это размерность входного кодового слова. И только один нейронный узел активируется для ответа на входной вектор (входное кодовое слово) за один раз.
5. Модификация и вывод.
Модификация: регулирование весовых
векторов для усиления активированного нейронного узла (уравнение (5)).
AW[i][;] = $ * (X[i] - W[i][j]), еслиj=Neu (5)
В уравнении (5) активирующая скорость рассчитывается по уравнению (3). Neu - номер текущего активирующего нейрона. В декодере на входное кодовое слово отвечает только один нейрон. Уравнение (5) используется для уменьшения расстояния между вектором весов активирующего нейрона и текущего кодового вектора входного слова. Поскольку декодер принимает симметричную структуру, модификация весовых векторов также является симметричной. Следовательно, весовые векторы между нейронным слоем и выходным слоем должны быть изменены в соответствии с уравнением (1) одновременно.
Выход: получить окончательный результат текущего входного кодового слова через контроллер принятия решения.
Рис. 2. Структура выходного узла
Выходные узлы (рис. 2) принимают номер активирующего узла из контроллера вывода решений и выбирают соответствующие веса
w
(красный 2 ^ например) и через функцию
f
outDe
wm\=
[1 если W\Hj]>dT [0 если W[i][j]< dT
(6)
В уравнении (6) dT является порогом принятия решения декодером. Конкретное значение dT зависит от начальных наборов веса (уравнение (2)).
6. Получить состояние декодера
Если изменение веса мало для всех нейронов, SSOM в это время находится в устойчивой фазе. Как правило, уравнение (7) является критерием для оценки состояния SSOM. Если все модификации веса соответствуют уравнению (7), декодер находится в устойчивом состоянии, и скорость активации должна быть уменьшена в соответствии с уравнением (8).
5КЦ]\ < с1Т/п j=1,2,3...m (7)
i=1
f = f / n
(8)
7. Продолжение. Перейти к шагу (3), чтобы принять следующее кодовое слово.
Анализ эффективности SSOM-декодера на примере LDPC-кода
Анализ сложности
Низкоплотностные коды (LDPC) относятся к линейным блоковым кодам и широко используются в системе связи [6]. Ниже приведено сравнение низкоплотностного декодера с нейросетевым декодером с использованием симметричной самоорганизующейся карты.
Вычислительная сложность декодеров приведена в таблице.
Основная вычислительная сложность LDPC-декодера и SSOM-декодера
Арифметический тип XOR Сложение
LDPC-декодер (Алгоритм Sum-Product) kmn
SSOM-декодер пх
к - итерация LDPC-декодера, т - номер строки проверочной матрицы, п - размерность кодового слова, х - номер допустимого кодового слова.
Что касается традиционного декодера, то т и п обычно определяются заранее. к определяется результатом вычисления между текущим кодовым словом и проверочной матрицей, которое в основном зависит от BER (частоты ошибок по битам) текущего входного кодового слова. Следовательно, BER входного кодового слова является важным фактором, влияющим на сложность низкоплотностного декодера.
С другой стороны, сложность SSOM-декодера зависит от количества допустимых кодовых слов и размера кодового слова. Вообще говоря, размерность кодового слова фиксируется заранее. Таким образом, количество допустимых кодовых слов является основным фактором, определяющим сложность SSOM-декодера.
Из приведенного выше анализа сложность SSOM-декодера не имеет ничего общего с BER входного кодового слова. Естественно, результаты обучения и декодирования могут быть достигнуты очень быстро. Однако количество допустимых кодовых слов напрямую влияет на сложность вычислений.
Анализ результатов моделирования
Моделирование проводилось с использованием (10, 4) LDPC-кода. В целях сравнения BER низкоплотностного декодера и SSOM декодера моделирование проводилось в разных SNR (отношение сигнал / шум). Результаты моделирования приведены на рис. 3.
Рис. 3. Сравнение между LDPC-декодером и ББОМ декодером
Из рис. 3 видно, что LDPC-декодер имеет хорошую производительность, когда SNR низкое. Однако SSOM-декодер имеет лучшую производительность в сравнении с LDPC-декодером, когда SNR > 1 дБ.
Низкое SNR означает больше ошибок в наборах кодовых слов. SSOM-декодер относится к нейросетевым декодерам, и обучение на выборочных наборах является основной их характеристикой. Начальные наборы веса не могут быть идеально сопоставлены с кодовым словом на начальном этапе, поэтому в условиях низкого SNR возникает больше ошибок. Тем не менее, производительность SSOM-декодера будет улучшаться в устойчивой фазе.
С другой стороны, обучение на наборах кодовых слов - это интеллектуальный процесс, который похож на обучение человека. Следовательно, более высокая вероятность появления кодового слова означает большую вероятность правильного исправления ошибок.
Заключение
Ниже перечислены основные достижения:
- Построена работоспособная архитектура декодера нейронной сети на основе симметричной самоорганизующейся карты (SSOM), которая обеспечивает интеллектуальную функцию декодирования.
- Обучение и декодирование осуществляются одновременно в SSOM-декодере, который обладает определенным интеллектом по сравнению с обычным LDPC-декодером.
- Вместо того чтобы обучать нейронную сеть с помощью заранее установленных наборов кодовых слов, SSOM-декодер может быть использован непосредственно в системе связи. Изучение примеров наборов кодовых слов является основной особенностью декодера, где характеристика выборочных наборов кодовых слов извлекается и сохраняется в SSOM распределенным способом.
- SSOM-декодер нейронной сети может быть использован для декодирования любых блочных кодов с исправлением ошибок без соответствующих правил кодирования.
- По сравнению с обычным декодером с исправлением ошибок, он прост в реализации, обучаем для различных наборов кодовых слов.
Начальные наборы весов являются случайными в декодере SSOM, которые не могут
точно соответствовать кодовому слову. Естественно, неправильное решение обычно происходит на начальной стадии. И ошибка будет постепенно уменьшаться с процессом обучения декодера. Поэтому важно изучить алгоритм при инициализации наборов весов SSOM-декодера.
Кроме того, когда количество допустимых кодовых слов увеличивается, сложность вычислений будет постепенно увеличиваться. Естественно, SSOM-декодер подходит для меньшего числа допустимых кодовых слов.
Прежде всего, когда допустимое кодовое слово выбирается случайным образом независимо от какого-либо правила кодирования, только на основе изучения кодового слова можно решить проблему декодирования таких наборов кодовых слов. Таким образом, SSOM-декодер имеет определенные перспективы в частных системах связи, которые требуют более высокой надежности и безопасности.
Литература
1. Adaptive complex interpolator for channel estimation in pilotaided OFDM system / L. Guanghui, Z. Liaoyuan, L. Hongliang, X. Linfeng, W. Zhengning // J. Commun. and networks. 2013. Vol. 15. No. 5. pp. 496 - 503.
2. Adaptive interpolation for pilot-aided channel estimator in OFDM system/ L. Guanghui, Z. Liaoyuan, L. Hongliang, X. Linfeng, W. Zhengning // IEEE Transactions on Broadcasting. 2014. Vol. 60. No. 3. pp. 486 - 498.
3. Хорошайлова М.В. Архитектура канального кодирования на основе ПЛИС для 5G беспроводной сети с использованием высокоуровневого синтеза // Вестник Воронежского государственного технического университета. 2018. Т. 14. № 2. С. 99-105.
4. A novel hard decision decoding scheme based on genetic algorithm and neural network/ J. Yuan, C. He, W. Gao, J. Lin, Y. Pang// Optik - International Journal for Light and Electron Optics. 2014. Vol. 125. No. 14. pp. 3457-3461
5. Башкиров А.В., Хорошайлова М.В., Белецкая С.Ю. Использование стохастического вычисления для реализации недвоичного LDPC-декодера на ПЛИС // Вестник Воронежского государственного технического университета. 2016. Т. 12. № 5. С. 70-73.
6. Khoroshaylova M.V. LDPC code and decoding algorithms// Антропоцентрические науки: инновационный взгляд на образование и развитие личности: материалы II-ой междунар. науч.-практ. конф. В 2-х ч. /под ред. Э.П. Комаровой. Воронеж: Издательско-полиграфический центр «Научная книга», 2015. С. 227-228.
Поступила 24.01.2020; принята к публикации 15.06.2020 Информация об авторах
Хорошайлова Марина Владимировна - канд. техн. наук, старший преподаватель, Воронежский государственный технический университет (394026, Россия, г. Воронеж, Московский проспект, 14), e-mail: [email protected], ORCID: https://orcid.org/0000-0001-9167-9538
DEVELOPMENT AND IMPLEMENTATION OF A SYMMETRIC SELF-ORGANIZING NEURAL NETWORK DECODER
M.V. Khoroshailova
Voronezh State Technical University, Voronezh, Russia
Abstract: the article presents a new decoder based on a neural network in the form of a symmetrical self-organizing map (SSOM), which can decode any error correction codes. A SSOM decoder is verified by decoding a Low Density Parity Check (LDPC) code. The performance comparison of a SSOM decoder and traditional decoder is performed by simulation. Instead of pre-training the neural network using examples of sets of code words, a decoder using self-organizing cards can be used directly in the communication system. The study of examples of code word sets is the main feature of the decoder, where the characteristic of selective codeword sets is extracted and stored in SSOM in a distributed way. The obtained results show that a SSOM decoder can carry out training and decoding simultaneously, regardless of any encoding rules. A higher probability of the appearance of a code word means a greater probability of correct error correction. Compared to the error correction performance of a conventional decoder, a neural network decoder is easier to implement, it is more flexible and trained for various sets of code words, which has certain prospects for future developments in the communication channel coding system
Key words: neural network decoder, symmetric self-organizing map (SSOM), low density parity check code (LDPC), architecture, implementation
References
1. Guanghui L., Liaoyuan Z., Hongliang L., Linfeng X., Zhengning W. "Adaptive complex interpolator for channel estimation in pilotaided OFDM system", J. Commun. and Networks, 2013, vol. 15, no. 5, pp. 496-503.
2. Guanghui L., Liaoyuan Z., Hongliang L., Linfeng X., Zhengning W. 'Adaptive interpolation for pilot-aided channel estimator in OFDM system', IEEE Transactions on Broadcasting, 2014, vol. 60, no. 3, pp. 486-498.
3. Khoroshaylova M.V. "FPGA-based channel coding architecture for a 5G wireless network using high-level synthesis", Bulletin of Voronezh State Technical University (Vestnik Voronezhskogo gosudarstvennogo tekhnicheskogo universiteta), 2018, vol. 14, no. 2, pp. 99-105.
4. Yuan J., He C., Gao W., Lin J., Pang Y. "A novel hard decision decoding scheme based on genetic algorithm and neural network", Optik - International Journal for Light and Electron Optics, 2014, vol. 125, no. 14, pp. 3457-3461
5. Bashkirov A.V., Khoroshaylova M.V. Beletskaya S.Yu. 'Using stochastic computing to implement a non-binary LDPC decoder on FPGA", Bulletin of Voronezh State Technical University (Vestnik Voronezhskogo gosudarstvennogo tekhnicheskogo univer-siteta), 2016, vol. 12, no. 5, pp. 70-73.
6. Khoroshaylova M.V. "LDPC code and decoding algorithms", Anthropocentric Sciences: an Innovative View of the Education and development of Personality: Proc. of the Second International Scientific-Practical Conf. (Antropotsentricheskie nauki: inno-vatsionnyy vzglyad na obrazovaniye i razvitie lichnosti: materialy II-oy mezhdunar. nauch.-prakt. konf.), ed. E.P. Komarova, Voronezh, Nauchnaya kniga, 2015, pp. 227-228.
Submitted 24.01.2020; revised 15.06.2020 Information about the authors
Marina V. Khoroshaylova, Cand. Sc. (Technical), Assistant Professor, Voronezh State Technical University (14 Moskovskiy prospekt, Voronezh 394026, Russia), e-mail: [email protected], ORCID: http://orcid.org/0000-0001-9167-9538
