CC BY
33
Краткое сообщение УДК 004
DOI: 10.14529/ctcr220215
ИССЛЕДОВАНИЕ НЕЛИНЕЙНОЙ ЦИФРОВОЙ ФИЛЬТРАЦИИ СИГНАЛОВ С ИСПОЛЬЗОВАНИЕМ ГЕНЕРАТИВНО-СОСТЯЗАТЕЛЬНОЙ НЕЙРОННОЙ СЕТИ
Д.Э. Цибулис, inz.radio25k10@gmail.com
А.Н. Рагозин, ragozinan@susu.ru
С.Н. Даровских, darovskikhsn@susu.ru
А.З. Кулганатов, kulganatov97@gmail.com
Южно-Уральский государственный университет, Челябинск, Россия
Аннотация. В статье приведены результаты исследования, а также структурные схемы и параметры составляющих генеративно-состязательной нейронной сети. Приведены графические изображения результатов фильтрации радиотехнических сигналов. Сделаны выводы о возможностях применения данных нейронных сетей. Цель исследования: обоснование возможностей использования генеративносостязательных искусственных нейронных сетей для решения задач цифровой обработки радиотехнических сигналов. Материалы и методы. Для оценки результатов цифровой фильтрации зашумленных сигналов использовался метод математического моделирования в среде МАГЪАВ. В качестве тестовых сигналов были взяты: синусоида, сигнал в виде суммы синусоид, модель реального радиотехнического информационного сигнала. В качестве шумовой составляющей используется белый гауссовский шум. Также проводится фильтрация сигнала, в котором отсутствует фрагмент определенной длинны. Была сгенерирована обучающая выборка для нейронной сети генератора, состоящая из зашумленных тестовых сигналов. Была также сгенерирована обучающая выборка нейронной сети дискриминатора, состоящая из тестовых сигналов, не содержащих шума. Результаты. На основе проведенного моделирования сделан вывод о том, что генеративно-состязательная нейронная сеть успешно решает задачи выделения полезного сигнала в смеси его с шумом различной физической природы. Такая нейросетевая структура способна также восстановить полезный сигнал, если в нем отсутствует какая-либо часть в результате воздействия внешних помех. Заключение. Существующие методы цифровой фильтрации радиотехнических сигналов требуют определенных трудовых и временных затрат, связанных с расчетом цифровых фильтров. Также при проектировании фильтров высоких порядков возникает сложность при проведении расчета данных фильтров. Идея использования нейронной сети в задачах фильтрации позволяет значительно уменьшить время проектирования фильтра, упростив, таким образом, процесс его реализации. Нейронная сеть, являющаяся самообучаемой системой, может находить решения, недоступные для обычных алгоритмов цифровой фильтрации. Результаты данной работы могут найти свое применение в области цифровой обработки сигналов и в развитии программно-конфигурируемого радио.
Ключевые слова: генеративно-состязательная сеть, генератор, дискриминатор, цифровой фильтр, информационный сигнал, радиотехнический сигнал
Для цитирования: Исследование нелинейной цифровой фильтрации сигналов с использованием генеративно-состязательной нейронной сети / Д.Э. Цибулис, А.Н. Рагозин, С.Н. Даровских, А.З. Кулганатов // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». 2022. Т. 22, № 2. С. 158-167. DOI: 10Л4529/йсг220215
© Цибулис Д.Э., Рагозин А.Н., Даровских С.Н., Кулганатов А.З., 2022
Brief report
DOI: 10.14529/ctcr220215
STUDY OF NONLINEAR DIGITAL FILTERING OF SIGNALS USING GENERATIVE COMPETITIVE NEURAL NETWORK
D.E. Tsibulis, inz.radio25k10@gmail.com A.N. Ragozin, ragozinan@susu.ru S.N. Darovskikh, darovskikhsn@susu.ru A.Z. Kulganatov, kulganatov97@gmail.com South Ural State University, Chelyabinsk, Russia
Abstract. The article presents the results of the study, as well as the structural schemes and parameters of the components of the generative-adversarial neural network. Graphical images of the results of filtering radio signals are given. Conclusions are drawn about the possibilities of using these neural networks. The purpose of the study. Substantiation of the possibilities of using generative-sensory artificial neural networks to solve problems of digital processing of radio signals. Materials and methods. To evaluate the results of digital filtering of noisy signals, the method of mathematical modeling in the Matlab environment was used. As test signals, the following were taken: a sine wave, a signal in the form of a sum of sinusoids, a model of a real radio-technical information signal. White Gaussian noise is used as the noise component. Also, filtering of the signal is carried out, in which there is no fragment of a certain length. A training sample was generated for the neural network of the generator, consisting of noisy test signals. A training sample of the discriminator neural network was also generated, consisting of test signals that do not contain noise. Results. Based on the simulation, it is concluded that the generative-adversarial neural network successfully solves the problems of isolating a useful signal in a mixture of it with noise of various physical nature. Such a neural network structure is also able to restore a useful signal if any part of it is missing as a result of external interference. Conclusion. The existing methods of digital filtering of radio signals require certain labor and time costs associated with the calculation of digital filters. Also, when designing high-order filters, it becomes difficult to calculate these filters. The idea of using a neural network in filtering tasks makes it possible to significantly reduce the filter design time, thus simplifying the process of its implementation. A neural network, which is a self-learning system, can find solutions that are inaccessible to conventional digital filtering algorithms. The results of this work can find their application in the field of digital signal processing and in the development of software-configurable radio.
Keywords: generative adversarial network, digital filter, information signal
For citation: Tsibulis D.E., Ragozin A.N., Darovskikh S.N., Kulganatov A.Z. Study of nonlinear digital filtering of signals using generative competitive neural network. Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control, Radio Electronics. 2022;22(2): 158-167. (In Russ.) DOI: 10.14529/ctcr220215
Введение
Информационные сигналы в процессе их обработки, при передаче и приеме по каналу связи подвержены различного рода искажениям. Например, наложение шума на сигнал, нелинейные искажения сигнала или потеря какого-либо фрагмента сигнала, что приводит к неправильной передаче сообщения и ухудшению качества связи в целом.
С развитием цифровой обработки сигналов такие процессы, как фильтрация, кодирование, декодирование, возможно реализовать при помощи программных средств. Также стало возможным применить в этой сфере технологии машинного обучения. Ниже представлен вариант цифрового нелинейного фильтра, реализованный на генеративно-состязательной искусственной нейронной сети (ГС ИНС).
1. Краткие сведения о генеративно-состязательных нейронных сетях
ГС ИНС - модель в области машинного обучения, позволяющая имитировать заданное распределение данных. Такая модель состоит из двух нейронных сетей: генератора (Г) и дискриминатора (Д) [1-4].
Генератор формирует объекты из скрытого пространства признаков, а дискриминатор, обученный на реальных объектах, стремится найти расхождения между настоящим и сгенерированным объектом. При этом генератор пытается повысить процент ошибок дискриминатора, а тот, в свою очередь, старается увеличить точность распознавания [5].
Генеративно-состязательная модель обучения нейронной сети отлично подходит для различных типов данных и специфических задач. Все, что приходит на вход, а именно: изображение, текст или аудиосигнал, в дальнейшем представимо в виде вектора значений, называемого цифровым изображением. Представление информационных сигналов в виде цифровых изображений делает возможным использовать ГС ИНС для задач цифровой обработки сигналов, к примеру нелинейной цифровой фильтрации [6-9].
Идея применения ГС ИНС состоит в том, чтобы обучить генератор восстанавливать сигнал из некоего шума [10]. При этом дискриминатор, обученный на чистых сигналах, будет отбрасывать изображения, далекие от действительных. Ожидается, что генератор сможет подобрать такие весовые коэффициенты, что на выходе он будет выдавать сигнал без шума [10, 11].
2. Описание исследуемой нейронной сети
Исследование нелинейного фильтра с использованием ГС ИНС разбито на несколько этапов:
- сборка ГС ИНС в среде MATLAB;
- тренировка ГС ИНС на незашумленных данных (набор синусоид, набор сумм синусоид, модель реального сигнала);
- моделирование тестовых сигналов;
- добавление в тестовый сигнал шумовой составляющей, такой как белый гауссовский шум;
- удаление из тестового сигнала небольшого фрагмента;
- проверка работы сети на зашумленных данных и оценка результатов фильтрации.
Структура генератора данной сети представлена на рис. 1.
Генератор
<N
N « «
о о
эК ч о ч о <N
О к 5S я со к £ w :Я к £
о ЭК Л Д я со
О я т « и M « и M
tt О а О а
о О JJ О JJ
X я я
PQ ч ч
о с о с
Рис. 1. Структурная схема генератора Fig. 1. Block diagram of the generator
Структура дискриминатора представлена на рис. 2.
Рис. 2. Структурная схема дискриминатора Fig. 2. Block diagram of the discriminator
В таблице представлены параметры генератора и дискриминатора.
Параметры генератора и дискриминатора Parameters of the generator and discriminator
Параметр Генератор Дискриминатор
Количество слоев 5 6
Функции активации последнего слоя leakyReLU(x) = {£*>о leakyReLU(x) =
Величина входного слоя 1001 1001
Наличие DropOut слоев Нет Есть
3. Результаты моделирования
Сначала исследование проводилось на простых модельных сигналах. На вход генератора подавались синусоиды с добавлением белого гауссовского шума. Фрагмент обучающей выборки генератора представлен на рис. 3.
0.05 0.1 0 0.05 0.1 0 0.05 0.1
Рис. 3. Фрагмент обучающей выборки генератора Fig. 3. Fragment of the training sample of the generator
Для обучения дискриминатора использовались чистые модельные сигналы. Фрагмент обучающей выборки дискриминатора представлен на рис. 4.
Рис. 4. Фрагмент обучающей выборки дискриминатора Fig. 4. A fragment of the training sample of the discriminator
Результат работы нелинейного фильтра с использованием ГС ИНС на элементарной синусоиде с добавлением белого гауссовского шума представлен на рис. 5.
2 1 0 -1 -2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
2 1 0 -1 -2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
Рис. 5. Работа генеративно-состязательной сети на простом сигнале Fig. 5. The work of the generative adversarial network on a simple signal
Результат работы генеративно-состязательной сети в ситуации, когда из синусоиды пропадает фрагмент сигнала, представлен на рис. 6.
2 1 0 -1 -2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
2 1 0 -1 -2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
Рис. 6. Восстановление фрагмента синусоиды генеративно-состязательной сетью Fig. 6. Reconstruction of a fragment of a sinusoid by a generative adversarial network
Затем ГС ИНС обучалась на сложном сигнале, представляющем сумму синусоид. Результат работы генеративной сети на сложном сигнале, в который был добавлен белый шум, изображен на рис. 7.
Отфильтрованный сигнал
1-1-!-1-1-1-!-!-Г
J_I_I_I_I_I_I_I_L
Зашумленный входной сигнал
1 i i i i i i i
1 ! !
.1-1 Uj
i 1 i 1 1 i 1 1 1
Цибулис Д.Э., Рагозин А.Н., Исследование нелинейной цифровой фильтрации сигналов
Даровских С.Н., Кулганатов А.З. с использованием генеративно-состязательной нейронной сети
2
1
0
-1
-2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
2 1 0 -1 -2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
Рис. 7. Работа генеративно-состязательной сети на сложном сигнале
с добавлением белого гауссовского шума Fig. 7. The work of a generative adversarial network on a complex signal with the addition of white Gaussian noise
Результат восстановления сложного сигнала представлен на рис. 8.
2 1 0 -1 -2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
2 1 0 -1 -2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
Рис. 8. Восстановление сложного сигнала Fig. 8. Complex signal recovery
В завершающем исследовании ГС ИНС обучалась на сложном сигнале, представляющем модель реального информационного сигнала. Результат работы генеративной сети на модели реального сигнала, в который был добавлен белый шум, изображен на рис. 9.
Зашумленныи входной сигнал
Зашумленныи входной сигнал
2
1
0
-1
-2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
2
1
0
-1
-2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
Рис. 9. Результат работы сети на модели реального сигнала, в который добавлен белый шум Fig. 9. The result of the network operation on the model of a real signal, to which white noise is added
Результат восстановления сетью реального сигнала представлен на рис. 10.
2
1
0
-1
-2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
2
1
0
-1
-2
0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1
Рис. 10. Восстановление реального сигнала Fig. 10. Reconstruction of the real signal
Заключение
ГС ИНС восстанавливает сигнал, похожий по форме на входной, но с примесями шума. Проблема заключается в структурах генератора и дискриминатора: количество и тип слоев, вид функции активации, размер слоев и т. д. Изменяя эти параметры, можно значительно улучшить результаты работы данного нелинейного цифрового фильтра.
Зашумленныи входной сигнал
Отфильтрованный сигнал
ijjll I 1 til i ff 11111 (ti
................. И I ! 1 1 : Í
Зашумленныи входной сигнал
Отфильтрованный сигнал
Рассмотренный нелинейный цифровой фильтр с использованием ГС ИНС возможно широко применить в задачах, связанных с цифровой обработкой сигналов, восстановлением сигналов, подвергающихся как линейным, так и нелинейным искажениям [12-15].
Список литературы
1. Цибулис Д.Э., Рагозин А.Н., Даровских С.Н. Исследование цифровой фильтрации информационного сигнала с использованием искусственной нейронной сети автокодировщика // Инфо-коммуникационные технологии: актуальные вопросы цифровой экономики: сб. науч. тр. II Меж-дунар. науч.-практ. конф., Екатеринбург, 26-27 января 2022 года / под ред. В.П. Шувалова., сост. М.П. Карачарова. 2022. С. 144-149. EDN MNBGOL.
2. Цибулис Д.Э., Рагозин А.Н. Анализ информационных сигналов с использованием генеративно-состязательных нейронных сетей // Безопасность информационного пространства: сб. тр. XIX Всерос. науч.-практ. конф. студентов, аспирантов и молодых ученых, Екатеринбург, 08-11 декабря 2020 года. 2021. С. 40-44. EDN BCYSYJ.
3. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение / пер. с англ. А. А. Слинкина. 2-е изд., испр. М.: ДМК Пресс, 2018. 652 с.
4. Зеленский А.А., Письменскова М.Н., Воронин В.В. Алгоритм поиска изображений в виде хэш-функций на основе глубинных нейросетевых технологий // Доклады Томского государственного университета систем управления и радиоэлектроники. 2018. Т. 21, № 3. С. 57-62.
5. Акинина А.Н., Никифоров М.Б. Алгоритм детектирования несанкционированных свалок мусора на основе анализа данных дистанционного зондирования Земли // Известия Тульского государственного университета. Технические науки. 2019. № 10. С. 321-329.
6. Анализ методов многомодального объединения информации для аудиовизуального распознавания речи / Д.В. Иванько, И.С. Кипяткова, А.Л. Ронжин, А.А. Карпов // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16, № 3. С. 387-401.
7. Детектирование неизвестных звуков для людей с нарушенным слухом на основе вариационного автоэнкодера / А.Х. Сарафасланян, В.В. Чепраков, Д.А. Суворов и др. // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2019. № 1 (124). С. 35-49.
8. Generative Adversarial Networks / I. Goodfellow, J. Pouget-Abadie, M. Mirza et al. Department of Computer Science and Research, University of Montreal. Montreal. QC H3C 3J7.
9. Arjovsky M., Chintala S., Bottou L. Wasserstein GAN. 06.12.2017. [Электронный ресурс]. URL: https://arxiv.org/pdf/1701.07875.pdf.
10 Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks / Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros. University of California at Berkeley, in ICCV, 2017. URL: https: //j unyanz .github.io/CycleGAN/.
11. Hesse C. Image-to-Image Demo. Interactive Image Translation with pix2pix-tensorflow. 2017. [Электронный ресурс]. URL: http://www.newart.ru/htm/flash/risovalka_90.php.
12. Татузов А.Л. Нейронные сети в задачах радиолокации. Кн. 28. М.: Радиотехника, 2009. 432 с. (Научная серия «Нейрокомпьютеры и их применение»).
13. Аксенов С.В., Новосельцев В.Б. Организация и использование нейронных сетей (методы и технологии) / под общ. ред. В.Б. Новосельцева. Томск: Изд-во НТЛ, 2006. 128 с.
14. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы / пер. с польск. И.Д. Рудинского. 2-е изд., стереотип. М.: Горячая линия -Телеком, 2013. 384 с.:
15. Фокин Г.А. Технологии программно-конфигурируемого радио: учеб. пособие для вузов. М.: Горячая линия - Телеком, 2019. - 316 с.
References
1. Tsibulis D.E., Ragozin A.N., Darovskikh S.N. [Digital filtering research information signal using an artificial neural network of an autoencoder]. In: Infokommunikatsionnye tekhnologii: aktual'nye voprosy tsifrovoy ekonomiki: sbornik nauchnykh trudov II Mezhdunarodnoy nauchno-prakticheskoy konferentsii [Infocommunication technologies: topical issues of the digital economy: Collection of scientific papers of the II International Scientific and Practical Conference]. Ekaterinburg; 2022. P. 144-149. EDN MNBGOL. (In Russ.)
2. Tsibulis D.E., Ragozin A.N. [Analysis of infor-mation signals using generative-adversarial neural networks]. In: Bezopasnost' informatsionnogoprostranstva: sbornik trudovXIX Vserossiyskoy nauchno-prakticheskoy konferentsii studentov, aspirantov i molodykh uchenykh [Information Space Security: Proceedings of the XIX All-Russian Scientific and Practical Conference of Students, Postgraduates and Young Scientists]. Ekaterinburg; 2021. P. 40-44. EDN BCYSYJ. (In Russ.)
3. Goodfellow J., Benjio I., Courville A. Deep learning. Transl from Engl. 2nd ed., rev. Moscow: DMK Press; 2018. 652 p. (In Russ.)
4. Zelensky A.A., Pismenskova M.M., Voronin V.V. Algorithm for image retravel in the space of hash functions based on the deep neural network technologies. Doklady Tomskogo gosudarstvennogo universiteta sistem upravleniya i radioelektroniki. 2018;21(3):57-62. (In Russ.)
5. Akinina N.V., Nikiforov M.B. Algorithm for detecting unauthorized dumps based on the analysis of remote sensing data. Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki. 2019;(10):321-329. (In Russ.)
6. Ivan'ko D.V., Kipyatkova I.S., Ronzhin A.L., Karpov A.A. [Analysis of methods of multimodal information combining for audiovisual speech recognition]. Scientufic and technical journal of information technologies, mechanics and optics. 2016;16(3):387-401. (In Russ.)
7. Sarafaslanyan A.Kh., Cheprakov V.V., Suvorov D.A., Mozgovoy M.V., Volkov A.V. Employing a variational auto-encoder to detect unknown sounds for hearing-impaired people. Herald of the Bauman Moscow state technical university. Series: Instrument engineering. 2019;1(124):35-49. (In Russ.)
8. Goodfellow I., Pouget-Abadie J., Mirza M. et al. Generative Adversarial Networks. Department of Computer Science and Research, University of Montreal. Montreal. QC H3C 3J7.
9. Arjovsky M., Chintala S., Bottou L. Wasserstein GAN. 06.12.2017. Available at: https://arxiv.org/pdf/1701.07875.pdf.
10 Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros. Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. University of California at Berkeley, in ICCV, 2017. Available at: https://junyanz .github.io/CycleGAN/.
11. Hesse C. Image-to-Image Demo. Interactive Image Translation with pix2pix-tensorflow. 2017. Available at: http://www.newart.ru/htm/flash/risovalka_90.php.
12. Tatuzov A.L. Neyronnyye seti v zadachakh radiolokatsii. Kn. 28 [Neural networks in radar problems. Book 28]. Scientific series "Neuro-computers and their applications". Moscow: Radiotekh-nika; 2009. 432 p. (In Russ.)
13. Aksenov S.V., Novosel'tsev V.B. Organizatsiya i ispol'zovaniye neyronnykh setey (metody i tekhnologii) [Organization and use of neural networks (methods and technologies)]. Tomsk: NTL Publ., 2006. 128 p. (In Russ.)
14. Rutkovskaya D., Pilinsky M., Rutkovsky L. Sieci neuronowe, algorytmy genetyczne i systemy rozmyte. 2nd ed., stereotype. Moscow: Goryachaya liniya - Telekom; 2013. 384 p.: (In Russ.)
15. Fokin G.A. Tekhnologii programmno-konfiguriruyemogo radio: ucheb. posobiye dlya vuzov [Software-configurable radio technologies. Textbook for universities]. Moscow: Goryachaya liniya -Telekom; 2019. 316 p. (In Russ.)
Информация об авторах
Цибулис Дмитрий Эдуардович, аспирант кафедры инфокоммуникационных технологий, Южно-Уральский государственный университет, Челябинск, Россия; inz.radio25k10@gmail.com.
Рагозин Андрей Николаевич, канд. техн. наук, доц. кафедры защиты информации, доц. кафедры инфокоммуникационных технологий, Южно-Уральский государственный университет, Челябинск, Россия; ragozinan@susu.ru.
Даровских Станислав Никифорович, д-р техн. наук, проф. кафедры инфокоммуника-ционных технологий, Южно-Уральский государственный университет, Челябинск, Россия; darovskikhsn@susu.ru.
Кулганатов Аскар Зайдакбаевич, аспирант кафедры электрических станций, сетей и систем электроснабжения, Южно-Уральский государственный университет, Челябинск, Россия; kulganatov97@gmail.com.
Information about the authors
Dmitry E. Tsibulis, Postgraduate Student of the Department of Infocommunication Technologies, South Ural State University, Chelyabinsk, Russia; inz.radio25k10@gmail.com.
Andrey N. Ragozin, Cand. Sci. (Eng.), Ass. Prof., Department of Information Security, Department of Infocommunication Technologies, South Ural State University, Chelyabinsk, Russia ragozinan@susu.ru.
Stanislav N. Darovskikh, Dr. Sci. (Eng.), Prof. of the Department of Infocommunication Technologies, South Ural State University, Chelyabinsk, Russia; darovskikhsn@susu.ru.
Askar Z. Kulganatov, Postgraduate Student of the Department of Electric Power Generation Stations, Networks and Supply Systems, South Ural State University, Chelyabinsk, Russia; kulganatov97@ gmail.com.
Статья поступила в редакцию 08.02.2022
The article was submitted 08.02.2022
