CC BY
12
DOI: 10.47026/1810-1909-2022-3-5-11
УДК 621.316.91 ББК 31.247
О Н. АНДРЕЕВ, Л.А. СЛАВУТСКИЙ, Е В. СЛАВУТСКАЯ
РЕКУРРЕНТНОЕ ИСПОЛЬЗОВАНИЕ ПЕРСЕПТРОНА ДЛЯ СТРУКТУРНОГО АНАЛИЗА СИГНАЛОВ
Ключевые слова: искусственные нейронные сети, многослойный персептрон, рекуррентное использование, структурный анализ сигналов, оценка точности нейроалго-ритма.
Работа посвящена использованию искусственной нейронной сети прямого распространения (многослойного персептрона) для обработки сигналов в электротехнике и электроэнергетике. Такие простейшие нейросети предлагается использовать вместо искусственной нейронной сети с более сложной структурой (сверточных, рекуррентных), но в рамках последовательного рекуррентного алгоритма. Это позволяет проверять и контролировать качество обработки сигналов на каждом этапе вычислений. Предлагаемый алгоритм апробирован на примере структурного анализа сигнала с нелинейными искажениями в скользящем временном окне. Показано, что амплитуда, частота и фаза сигнала промышленной частоты с высоким уровнем гармоник и апериодической составляющей могут быть выделены с точностью в единицы процентов за время, не превышающее единиц миллисекунд. Для повышения точности на каждом шаге вычислений могут кроме искусственной нейронной сети использоваться традиционные методы: усреднение, медианное сглаживание и т.д.
Искусственный интеллект (ИИ, AI) - понятие очень широкое [10, 14]. Чаще всего c его помощью решаются задачи распознавания образов, задачи принятия решений и задачи оптимального, быстрого управления процессами и системами [2, 12, 16, 19]. При этом основой ИИ считается аппарат искусственных нейронных сетей (ИНС) [1, 3-5]. Алгоритмы ИИ, с одной стороны, основаны на «глубоком обучении» (deep learning). Это понятие подразумевает огромную выборку обучающих данных, требует значительного времени, необходимо принять во внимание все режимы и состояния системы, которая изучается. Это далеко не всегда возможно.
С другой стороны, все методы машинного обучения основаны на решении задач оптимизации [8, 17]. Для ИНС - это нахождение оптимальных величин весовых коэффициентов («весов синапсов»). В этом смысле даже многослойный персептрон (multilayer perceptron, MLP) - сеть прямого распространения [1, 3] - может считаться элементом искусственного интеллекта. Поэтому изучение функционирования и возможностей использования ИНС может осуществляться на его примере [4, 11].
Многослойный персептрон - самая простая ИНС. Как основа ИИ он получил очень широкое распространение [13, 18] прежде всего для решения задач аппроксимации и интерполяции, которые классифицируются как регрессионные задачи. Обучение ИНС, особенно «глубокое», является основной проблемой. Возникают вопросы получения необходимого размера обучающей выборки, диапазона варьирования входных параметров, выбора целевых функций
на выходе ИНС и т.д. Все эти вопросы в абсолютном большинстве случаев решаются эмпирически. Поэтому нейросетевые алгоритмы требуют современных, апробированных методик моделирования изучаемых процессов. Многие практические задачи можно решать методами традиционной аппроксимации, интерполяции и т.д., методами планирования эксперимента [17]. Это может быть надёжнее. А ИНС позволяют эти задачи решать точнее, но при этом из-за параллельных вычислений и нечеткой логики существует вероятность очень значительных ошибок. Необходимы контроль, защита от таких ошибок и сопоставление результатов использования ИНС-алгоритмов с данными, полученными традиционными методами. Персептрон, как простейшая ИНС, позволяет это делать.
Рекуррентный ИНС-алгоритм. Обучение ИНС прямого распространения не зависит от последовательности, в которой на ее вход подается обучающая выборка. Поэтому для анализа динамических процессов эффективно используются рекуррентные ИНС с обратными связями [9, 15]. MLP «не знает» времени и не запоминает предыдущее значение. Для анализа временных рядов MLP необходимо обучать в «скользящем окне» и задавать весь диапазон варьируемых параметров [6]. Это усложняет процесс обучения, но позволяет проверить его качество на каждом этапе вычислений.
Strand,Brand,trand)^ MLP [=> AA,AB
1
w
Sl(A{),B0,tl)^ MLP I=> AbB}
i
S2(AbBbt2) ->• | mlp |i=> A2,B2 Рис. 1. Схема рекуррентного алгоритма с MLP
Пример соответствующего алгоритма приведен на рис. 1, где Si(Arand, Brand, trand) - обучающая выборка сигнала со случайными параметрами Arand, Brand (например, амплитуда и фаза); trand - случайный момент времени, соответствующий началу окна оцифровки сигнала; ДА, ДВ - погрешности обучения, W - матрица весовых коэффициентов; Si(Ao, Во, ti) - сигнал, подаваемый на вход обученной ИНС в режиме «если то»; Ai, Bi - полученные на первом шаге искомые параметры; S2(Ai, Bi, ti) - сигнал на входе ИНС после смещения «скользящего окна»; A2, Bi - значения искомых параметров на втором шаге.
Последовательная процедура ограничивается частотой дискретизации, длительностью окна оцифровки и вычислительными ресурсами. Она может быть особенно эффективна тогда, когда диапазон варьирования параметров Arand, Brand ограничен, а погрешность обучения ИНС для них сильно отличается [6]. При оценке ^ на каждом шаге вычислений могут кроме ИНС использоваться традиционные методы: усреднение, медианное сглаживание и т.д.
Пример обработки сигнала. Обучающая выборка для структурного анализа сигнала промышленной частоты 50Гц с нелинейными искажениями задавалась следующей функцией:
Я (г) = А • +Е Акг 81П(2к -л- /г • г + к-фг).
к
Случайные величины А0, Акг, Ь, /г, фг, чтобы сигнал соответствовал искажению тока ДО в переходных режимах [6], варьировались в следующих диапазонах: 1\(А\г) - от 0,6 до 1,4; Ь(А2г) - от 0,1 до 0,4 от Л; 1з(Азг) - от 0,01 до 0,1 от IV; /5(А5г) - от 0,01 до 0,05 от IV, /А) - от 0,01 до 0,04 от IV ЬА) - от 0 до 1 от 1\, Ь - от 10 до 50,/- от 45 до 55Гц, ф - от 0 до 2п, к = 1...7. Частота дискретизации сигнала 2400 Гц.
Временной интервал, соответствующий длительности скользящего временного окна, количеству отсчетов и нейронов во входном слое ИНС, определяется временем ¿1... гп. Пример структуры ИНС на первом и втором шаге последовательных вычислений показан на рис.2.
Рис. 2. Структура ИНС на первом и втором шаге вычислений
На первом шаге ИНС используется для определения начальных значений амплитуд первой и второй гармоники A\r, A2r, частоты fr и фазы фг. Как показано в [6], минимальная погрешность достигается для фг, поэтому полученное значение фг подается на вход ИНС вместе со значениями сигнала на втором шаге вычислений (см. рис. 2) и т.д. При этом точность вычисления остальных параметров на выходе ИНС (обученной соответствующим образом) увеличивается. Для определения амплитуды A\r на третьем шаге на вход ИНС подаются фг и полученная на втором шаге частота fr.
Диаграммы рассеяния при определении амплитуды основной гармоники тока 1\ на первом и третьем шаге показаны на рис. 3. Временное окно здесь составляет 6,25 мс, т.е. меньше трети периода основной гармоники. Как видно из диаграмм рис. 3, точность нейросетевого алгоритма увеличивается.
Изменчивость масимальной и среднеквадратичной ошибки при рекуррентном использовании персептронов, показанных на рис. 2, для определения амплитуды основной гармоники показана на рис. 4.
о.е. 1,4 1,2 1,0 0,8 0,6
0,6
0,8
1,0 б
1,2
1,4 /lout, о.е.
Рис. 3. Диаграммы рассеяния ИНС при определении Air на первом (а) и третьем (б) шаге
а, % 21 18
15 12 9 6 3 0
/
0 I 2 3 /V
Рис.4. Зависимость максимальной (А) и среднеквадратичной (В) ошибки алгоритма при выислении амплитуды основной гармоники от номера шага
Как видно из рис. 4, максимальная ошибка на третьем шаге вычислений оказывается менее 10%, а средняя - не более одного процента. Максимальные ошибки, вероятность которых составляет незначительную величину [4]
(см. рис. 3), могут быть уменьшены статистическими методами сглаживания сигнала в пределах скользящего временного окна [6].
Выводы. Таким образом, структурный анализ [7] и фильтрация нелинейных искажений электротехнических сигналов могут осуществляться при помощи нейросетевого алгоритма, основанного на рекуррентном использовании нескольких заранее обученных персептронов. Количество таких простых ИНС должно соответствовать числу параметров сигнала, которые необходимо определить. Структура ИНС и диапазоны варьирования параметров сигнала в обучающей выборке подбираются эмпирически. Достоинством предлагаемого подхода является то, что точность функционирования алгоритма может контролироваться на каждом этапе вычислений и сопровождаться традиционной обработкой сигналов в виде сглаживания и аппроксимации временных зависимостей в режиме скользящего временного окна.
Литература
1. Боровиков В.П. Нейронные сети. Методология и технологии современного анализа данных / под ред. В.П. Боровикова. М.: Горячая линия-Телеком, 2008. 392 с.
2. Кощеев М.И., Ларюхин А.А., Славутский А.Л. Использование адаптивных нейроалго-ритмов для распознавания аномальных режимов систем вторичного оборудования электроэнергетики // Вестник Чувашского университета. 2019. № 1. С. 47-58.
3. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001. 382 с.
4. Славутская ЕВ., Славутский Л.А. О выборе структуры искусственных нейросетей и алгоритмов анализа психодиагностических данных // Казанский педагогический журнал. 2020. № 5(142). С. 202-211.
5. Хайкин С. Нейронные сети: полный курс: 2-е изд.: пер. с англ. М.: ООО «И.Д.Вильямс». 2006. 1104 с.
6. Andreev O.N., Slavutskiy A.L., Slavutskii L.A. Neural network in a sliding window for power grids signals structural analysis. IOP Conference Series: Earth and Environmental Science. 990 012054. https://iopscience.iop.org/article/10.1088/1755-1315/990/1/012054
7. Antonov V.I., Naumov V.A., Fomin A.I. et al. Adaptive structural analysis of input signals of digital and relay protection and automation. Russian Electrical Engineering, 2015, vol. 86, 391-397. DOI: 10.3103/S1068371215070032
8. Basodi S., Zhang H., Pan Y. Gradient amplification: An efficient way to train deep neural networks. Big Data Mining and Analytics, 2020, vol. 3(3), pp.196-207.
9. Billings S.A. Nonlinear system identification: NARMAX methods in the time, frequency, and spatio-temporal domains. John Wiley & Sons, 2013. 555 p. DOI: 10.1002/9781118535561
10. Bhattacharya B., Sinha А. Intelligent Fault Analysis in Electrical Power Grids. IEEE 29th International Conference on Tools with Artificial Intelligence (ICTAI). Boston: IEEE, 2017, pp. 985990. DOI: 10.1109/ICTAI.2017.00151
11. Bychkov A., Slavutskii L., Slavutskaya E. Neural Network for Pulsed Ultrasonic Vibration Control of Electrical Equipment. 2020 International Ural Conference on Electrical Power Engineering, UralCon 2020, pp. 24-28. DOI: 10.1109/UralCon49858.2020.9216248
12. Burton B., Harley R.G. Reducing the computational demands of continually online-trained artificial neural networks for system identification and control of fast processes. IEEE Transactions on Industry Applications, 1998, vol. 34(3), pp. 589-596.
13. Dharmendra K., MoushmiK., ZadgaonkarA.S. Analysis of generated harmonics due to transformer load on power system using artificial neural network. International journal of electrical engineering, 2013, vol. 4(1), pp. 81-90.
14. Grossberg S. A Path Toward Explainable AI and Autonomous Adaptive Intelligence: Deep Learning, Adaptive Resonance, and Models of Perception, Emotion, and Action. Front. Neurorobot, 2020, June 25. DOI: https://doi.org/10.3389/fnbot.2020.00036
15. Ince T., Kiranyaz S., Eren L., Askar M., Gabbou M. Real-Time Motor Fault Detection by 1-D Convolutional Neural Networks. IEEE Transactions on Industrial Electronics, 2016, vol. 63, no. 11, pp. 7067-7075. DOI: 10.1109/TIE.2016.2582729.
16. Mazumdar J., Harley R.G., Lambert F., Venayagamoorthy G. Neural Network Based Method for Predicting Nonlinear Load Harmonics. Power Electronics, IEEE Transactions, 2007, vol. 22(3), pp. 1036-1045. DOI: 10.1109/TPEL.2007.897109.
17. MontgomeryD.C. Design and Analysis of Experiments. John Wiley & Sons. Inc., 1997, 757 p.
18. Osowski S. Neural network for estimation of harmonic components in a power system. IEEЕ Proceedings on Generation, Transmission and Distribution, 1992, vol. 139(2), pp. 129-135.
19. Samarasinghe S. Neural Networks for Applied Sciences and Engineering: From Fundamentals to Complex Pattern Recognition. 1st ed. Boca Raton, Auerbach Publications, 2006, 570 p.
АНДРЕЕВ ОЛЕГ НИКОЛАЕВИЧ - аспирант кафедры автоматики и управления в технических системах, Чувашский государственный университет, Россия, Чебоксары (helga013@yandex.ru; ОКСГО: https://orcid.org/0000-0003-2974-2502).
СЛАВУТСКИЙ ЛЕОНИД АНАТОЛЬЕВИЧ - доктор физико-математических наук, профессор кафедры автоматики и управления в технических системах, Чувашский государственный университет, Россия, Чебоксары (lenya@slavutskii.ru; https://orcid.org/0000-0001-6783-2985).
СЛАВУТСКАЯ ЕЛЕНА ВЛАДИМИРОВНА - доктор психологических наук, профессор кафедры психологии и социальной педагогики, Чувашский государственный педагогический университет имени И.Я. Яковлева, Россия, Чебоксары (slavutskayaev@gmail.com; https://orcid.org/0000-0002-3759-6288)._
Oleg N. ANDREEV, Leonid A. SLAVUTSKII, Elena V. SLAVUTSKAYA
RECURRENT USE OF A PERCEPTRON FOR SIGNAL STRUCTURAL ANALYSIS Key words: artificial neural networks, multilayer perceptron, recurrent use, structural analysis of signals, neuroalgorithm accuracy evaluation.
The paper is devoted to the use of an artificial neural network (ANN) of direct propagation (multilayer perceptron) for signal processing in electrical engineering and electric power industry. It is proposed to use such simple neural networks instead of ANN with a more complex structure (convolutional, recurrent), but within the framework of a sequential recurrent algorithm. This allows checking and controlling the quality of signal processing at each stage of calculations. The proposed algorithm is tested on the example of structural analysis of a signal with nonlinear distortions in a sliding time window. It is shown that the amplitude, frequency and phase of an industrial frequency signal with a high level of harmonics and an aperiodic component can be isolated with an accuracy of units of percent for a time not exceeding units of milliseconds. To increase the accuracy at each step of the calculations, traditional methods can be used, in addition to the ANN: averaging, median smoothing, etc.
References
1. Borovikov V.P. Neironnye seti. Metodologiya i tekhnologii sovremennogo analiza dannykh [Neural networks. Methodology and technologies of modern data analysis]. Moscow, Goryachaya liniya-Telekom Publ., 2008, 392 p.
2. Koshcheev M.I., Lariukhin A.A., Slavutskiy A.L. Ispol'zovaniye adaptivnykh neyroalgoritmov dlya ustoychivykh anomal'nykh rezhimov sistem vtorichnogo oborudovaniya elektroenergetiki [Application of adaptive neuro algorithms for recognition of anomalous behaviour of secondary equipment systems in electric power industry]. VestnikChuvashskogo universiteta, 2019, no. 1, pp. 47-58.
3. Kruglov V.V., Borisov V.V. Iskusstvennye neironnye seti. Teoriya i praktika [Neural networks. Theory and practice]. Moscow, Goryachaya liniya Telekom Publ., 2001, 382 p.
4. Slavutskaya E.V., Slavutskiy L.A. O vybore struktury iskusstvennykh neyrosetey i algoritmov analiza psikhodiagnosticheskikh dannykh [On choosing the artificial neural networks structure and the algorithms for psycho diagnostic data analyzing]. Kazanskii pedagogicheskii zhurnal, 2020, no. 5 (142), pp.202-210. DOI: 10.34772/KPJ.2020.142.5.026
5. Haykin S. Neural networks, a comprehensive founda-tion. 2nd ed. Upper Saddle River, NJ, Prentice Hall, Inc., 1999 (Russ. ed.: Neironniiseti:polniy: 2nd ed. Moscow, Villiams Publ., 2006, 1104 p.).
6. Andreev O.N., Slavutskiy A.L., Slavutskii L.A. Neural network in a sliding window for power grids signals structural analysis. IOP Conference Series: Earth and Environmental Science. 990 012054. https://iopscience.iop.org/article/10.1088/1755-1315/990/1/012054
7. Antonov V.I., Naumov V.A., Fomin A.I. et al. Adaptive structural analysis of input signals of digital and relay protection and automation. Russian Electrical Engineering, 2015, vol. 86, 391-397. DOI: 10.3103/S1068371215070032
8. Basodi S., Zhang H., Pan Y. Gradient amplification: An efficient way to train deep neural networks. Big Data Mining and Analytics, 2020, vol. 3(3), pp.196-207.
9. Billings S.A. Nonlinear system identification: NARMAX methods in the time, frequency, and spatio-temporal domains. John Wiley & Sons, 2013. 555 p. DOI: 10.1002/9781118535561
10. Bhattacharya B., Sinha A. Intelligent Fault Analysis in Electrical Power Grids. IEEE 29th International Conference on Tools with Artificial Intelligence (ICTAI). Boston: IEEE, 2017, pp. 985990. DOI: 10.1109/ICTAI.2017.00151
11. Bychkov A., Slavutskii L., Slavutskaya E. Neural Network for Pulsed Ultrasonic Vibration Control of Electrical Equipment. 2020 International Ural Conference on Electrical Power Engineering, UralCon 2020, pp. 24-28. DOI: 10.1109/UralCon49858.2020.9216248
12. Burton B., Harley R.G. Reducing the computational demands of continually online-trained artificial neural networks for system identification and control of fast processes. IEEE Transactions on Industry Applications, 1998, vol. 34(3), pp. 589-596.
13. Dharmendra K., Moushmi K., Zadgaonkar A.S. Analysis of generated harmonics due to transformer load on power system using artificial neural network. International journal of electrical engineering, 2013, vol. 4(1), pp. 81-90.
14. Grossberg S. A Path Toward Explainable AI and Autonomous Adaptive Intelligence: Deep Learning, Adaptive Resonance, and Models of Perception, Emotion, and Action. Front. Neurorobot, 2020, June 25. DOI: https://doi.org/10.3389/fnbot.2020.00036
15. Ince T., Kiranyaz S., Eren L., Askar M., Gabbou M. Real-Time Motor Fault Detection by 1-D Convolutional Neural Networks. IEEE Transactions on Industrial Electronics, 2016, vol. 63, no. 11, pp. 7067-7075. DOI: 10.1109/TIE.2016.2582729.
16. Mazumdar J., Harley R.G., Lambert F., Venayagamoorthy G. Neural Network Based Method for Predicting Nonlinear Load Harmonics. Power Electronics, IEEE Transactions, 2007, vol. 22(3), pp. 1036-1045. DOI: 10.1109/TPEL.2007.897109.
17. Montgomery D.C. Design and Analysis of Experiments. John Wiley & Sons. Inc., 1997, 757 p.
18. Osowski S. Neural network for estimation of harmonic components in a power system. IEEE Proceedings on Generation, Transmission and Distribution, 1992, vol. 139(2), pp. 129-135.
19. Samarasinghe S. Neural Networks for Applied Sciences and Engineering: From Fundamentals to Complex Pattern Recognition. 1st ed. Boca Raton, Auerbach Publications, 2006, 570 p.
OLEG N. ANDREEV - Post-Graduate Student, Department of Automation and Control in Technical Systems, Chuvash State University, Russia, Cheboksary (helga013@yandex.ru; ORCID: https://orcid.org/0000-0003-2974-2502).
LEONID A. SLAVUTSKII - Doctor of Physical and Mathematical Sciences, Professor, Department of Automation and Control in Technical Systems, Chuvash State University, Russia, Cheboksary (lenya@slavutskii.ru; https://orcid.org/0000-0001-6783-2985).
ELENA V. SLAVUTSKAYA - Doctor of Psychological Sciences, Professor of the Department of Psychology and Social Pedagogy, I Ya. Yakovlev Chuvash State Pedagogical University, Russia, Cheboksary (slavutskayaev@gmail.com; https://orcid.org/0000-0002-3759-6288).
Формат цитирования: Андреев О.Н., Славутский Л.А., Славутская Е.В. Рекуррентное использование персептрона для структурного анализа сигналов // Вестник Чувашского университета. - 2022. - № 3. - С. 5-11. БО!: 10.47026/1810-1909-2022-3-5-11.
