CC BY
8
ДИАГНОСТИЧЕСКИЕ МЕТОДЫ ОБЕСПЕЧЕНИЯ НАДЕЖНОСТИ И КАЧЕСТВА СЛОЖНЫХ СИСТЕМ
DIAGNOSTIC METHODS FOR ENSURING RELIABILITY AND QUALITY OF COMPLEX SYSTEMS
УДК 519.24; 53; 57.017 519 ао1:10.21685/2307-4205-2022-4-10
ВИРТУАЛЬНОЕ УСИЛЕНИЕ ЭФФЕКТА РАСПАРАЛЛЕЛИВАНИЯ
ВЫЧИСЛЕНИЙ ПРИ ПЕРЕХОДЕ ОТ БИНАРНЫХ НЕЙРОНОВ К ИСПОЛЬЗОВАНИЮ Q-АРНЫХ ИСКУССТВЕННЫХ НЕЙРОНОВ
А. И. Иванов1, А. П. Иванов2, К. Н. Савинов3, Р. В. Еременко4
1 Пензенский научно-исследовательский электротехнический институт, Пенза, Россия 2' 3' 4 Пензенский государственный университет, Пенза, Россия 1 [email protected], 2 [email protected], 3 [email protected], 4 [email protected]
Аннотация. Актуальность и цели. Рассматривается проблема распараллеливания нейросетевых вычислений в неявной форме. Проблема возникает в основном при попытках ускорения вычислений на многоядерных процессорах. Аналогичная ситуация возникает при нейросетевом объединении нескольких классических статистических критериев. Материалы и методы. Рассматривается симметризация пяти классических статистических критериев проверки гипотезы нормального распределения малых выборок в 16 опытов. Рассматриваются классические критерии Андерсона - Дарлинга, нормированного размаха, Васичека, Фроцини и критерий четвертого статистического момента. К сожалению, их нейросетевые аналоги имеют низкую достоверность принятия решений - 0,75. Пяти бинарных нейронов недостаточно. В связи с этим выполнено моделирование результата объединения до 1000 бинарных нейронов. Результаты. Бинарные нейроны не могут обеспечить доверительную вероятность более 0,93. Тысяча троичных нейронов способна обеспечить доверительную вероятность 0,98. Переход к 5-арным искусственным нейронам должен позволить достичь доверительной вероятности 0,997 при объединении 40 нейронов. Выводы. Мы наблюдаем значительный рост качества принимаемых нейронными сетями решений при увеличении числа уровней в их выходных квантователях. Естественные нейроны живых существ обмениваются пачками импульсов, что косвенно свидетельствует о наличии у них многоуровневых квантователей. Нет необходимости синтезировать новые статистические критерии, достаточно перейти к использованию д-арных искусственных нейронов, являющихся аналогами уже известных статистических критериев.
Ключевые слова: статистические критерии, искусственные нейроны эквивалентные статистическим критериям, корректировка ошибок выходного кода нейросети
Для цитирования: Иванов А. И., Иванов А. П., Савинов К. Н., Еременко Р. В. Виртуальное усиление эффекта распараллеливания вычислений при переходе от бинарных нейронов к использованию q-арных искусственных нейронов // Надежность и качество сложных систем. 2022. № 4. С. 89-97. ёо1:10.21685/2307-4205-2022-4-10
© Иванов А. И., Иванов А. П., Савинов К. Н., Еременко Р. В., 2022. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
VIRTUAL ENHANCEMENT OF THE EFFECT OF PARALLELIZATION OF CALCULATIONS IN THE TRANSITION FROM BINARY NEURONS TO THE USE OF Q-ARY ARTIFICIAL NEURONS
A.I. Ivanov1, A.P. Ivanov2, K.N. Savinov3, R.V. Eremenko4
1 Penza Research Electrotechnical Institute, Penza, Russia 2' 3' 4 Penza State University, Penza, Russia 1 [email protected], 2 [email protected], 3 [email protected], 4 [email protected]
Abstract. Background. The problem of parallelization of neural network calculations in an implicit form is considered. The problem occurs mainly when trying to speed up calculations on multi-core processors. A similar situation arises when a neural network combines several classical statistical criteria. Materials and methods. Summarization of five classical statistical criteria for testing the hypothesis of normal distribution of small samples in 16 experiments is considered. Classical tests of Anderson-Darling, normalized range, Vasicek, Frotsini and the test of the fourth statistical moment are considered. Unfortunately, their neural network counterparts have a low decision confidence of -0.75. Five binary neurons are not enough. In this regard, the simulation of the result of combining up to 1000 binary neurons was performed. Results. Binary neurons cannot provide a confidence level greater than 0.93. A thousand ternary neurons can provide a confidence level of 0.98. The transition to 5-art artificial neurons should allow reaching a confidence level of 0.997 when combining 40 neurons. Conclusions. We observe a significant increase in the quality of decisions made by neural networks with an increase in the number of levels in their output quantizes. Natural neurons of living beings exchange bursts of impulses, which indirectly indicates that they have multilevel quantizes. There is no need to synthesize new statistical criteria; it is enough to switch to the use of q-ary artificial neurons, which are analogues of already known statistical criteria.
Keywords: statistical criteria, artificial neurons equivalent to statistical criteria, error correction of the neural network output code
For citation: Ivanov A.I., Ivanov A.P., Savinov K.N., Eremenko R.V. Virtual enhancement of the effect of parallelization of calculations in the transition from binary neurons to the use of q-ary artificial neurons. Nadezhnost' i kachestvo slozhnykh sistem = Reliability and quality of complex systems. 2022;(4):89-97. (In Russ.). doi:10.21685/2307-4205-2022-4-10
Введение
Искусственные нейронные сети удобны для ускорения вычислений путем их распараллеливания. Современные процессоры имеют от 4 до 4096 ядер. В простейшей парадигме распараллеливания вычислений можно попытаться ускорить в N раз нейросетевые вычисления, распределив эмуляцию искусственных нейронов между N ядрами процессора. Если не учитывать затраты на передачу информации между ядрами, то мы имеем линейную модель выигрыша от распараллеливания вычислений. При этом возникает вопрос о том, может ли быть достигнуто более эффективное нелинейное ускорение вычислений при реальном или виртуальном распараллеливании.
Одной из задач, решаемых большими сетями искусственных нейронов, является задача многокритериальной статистической оценки той или иной статистической гипотезы. Например, на практике часто встречается задача проверки гипотезы нормального распределения выборки. В 20 в. усилиями математической общественности было создано порядка 20 статистических критериев для проверки гипотезы нормального распределения при тех или иных условиях [1]. Однако не все классические статистические критерии достаточно хорошо работают на малых выборках в 16 опытов [2]. Как результат, удается использовать примерно половину из созданных в 20 в. статистических критериев [3]. К сожалению, десяти классических статистических критериев прошлого века оказывается недостаточно для принятия решений с доверительной вероятностью 0,997. В связи с этим в этом веке вновь возник интерес к синтезу новых статистических критериев [4-7]. В первом приближении можно считать, что за 10 лет усилиями исследователей Пензенского государственного университета было создано примерно 20 новых статистических критериев. Если продолжить эти работы с той же интенсивностью, то к 2032 г. появится еще 20 новых статистических критериев. Итого проверять гипотезу нормальности на малых выборках мы сможем путем параллельного использования примерно 50 статистических критериев.
Как показано в работах [2-7], самым простым способом объединения множества статистических критериев является представление каждого критерия эквивалентным ему бинарным искусственным нейроном. Тогда нейросеть из 50 нейронов на каждую из проверяемых выборок будет от-
кликаться 50-битным бинарным кодом. Мы получаем классическую ситуацию возможного применения кодов с высокой избыточностью для обнаружения и устранения в них ошибок. При этом, чем выше кодовая избыточность, тем больше мы можем обнаружить и исправить ошибок. Теоретически продолжение работ по синтезу новых статистических критериев с той же интенсивностью может привести к возможности в конце этого века работать с кодами, обладающими 210-кратной избыточностью.
В связи с этим в данной статье мы попытаемся оценить желаемую кодовую избыточность, которая может дать доверительную вероятность принятия решений на уровне 0,997.
Упрощение задачи моделирования нейросетевых преобразований за счет симметризации
К сожалению, создать достаточно корректную имитационную модель даже для пяти классических искусственных нейронов достаточно сложно. Проблема состоит в низкой устойчивости задач оценки элементов корреляционных матриц 5^5 и более высокой размерности, а также задач их имитационного моделирования [8]. Эта проблема особенно остро стояла для корреляционных матриц размерности 416^416 биометрических данных среды моделирования «БиоНейроАвтограф» [9, 10]. Проблема решается замещением исходной асимметричной корреляционной матрицы на ее симметричный аналог с одинаковыми элементами, находящимися вне диагонали [11, 12].
Для определенности рассмотрим пять следующих классических статистических критериев [1, 2]:
- Андерсона - Дарлинга (1952);
- нормированного размаха (1954);
- Васичека (1976);
- Фроцини (1978);
- четвертого статистического момента (1984).
Симметризация задачи дает эквивалентные симметричные нейроны, которые имеют одинаковые вероятности ошибок первого и второго рода на уровне 0,251. Оценка выполнена через вычисление среднего геометрического всех подобных показателей по каждому из рассматриваемых критериев. Усреднение модулей коэффициентов корреляции рассматриваемых критериев дает значение 0,431. В результате мы имеем для каждого из пяти симметризованных нейронов статистическую модель, представленную на рис. 1.
q=5
Рис. 1. Симметричная статистическая модель откликов одного из пяти нейронов на входные нормальные данные (непрерывное распределение) и равномерные входные данные (точечная линия) для малых выборок объемом в 16 опытов
Следует также отметить, что все искусственные нейроны, как правило, выполняют обогащение относительно «бедных» входных данных. Например, персептроны выполняют обогащение взвешенным суммированием в линейном пространстве. Квадратичные нейроны выполняют суммирование в квадратичном пространстве и т.д. Нейроны, эквивалентные тому или иному статистиче-
скому критерию, выполняют обогащение «бедных» входных данных в том или ином нелинейном пространстве. Вид пространства, в котором происходит обогащение, зависит от конструкции эмулируемого статистического критерия, однако все обогатители являются достаточно «хорошими» нормализаторами, т.е. при росте числа входов у искусственных нейронов нормализуются отклики их входных обогащающих конструкций. В связи с этим на рис. 1 отклики симметричных нейронов представлены нормальными распределениями, хотя отклики реальных нейронов для того или иного статистического критерия существенно асимметричны [2, 3]. Замена асимметричных распределений симметричными нормальными распределениями является побочным эффектом симметризации задачи.
Оценка выигрыша от совместного использования пяти статистических критериев при их замещении пятью бинарными нейронами
Из рис. 1 видно, что для симметризованной модели бинарный квантователь (д = 2) должен переключаться в точке х = 0,0. При этом его выходное состояние «0» будет соответствовать обнаружению нейроном нормального закона распределения входных данных. Если все пять искусственных нейронов дают отклик «00000», то с высокой вероятностью мы обнаруживаем нормально распределенные входные данные. Также решение о нормальном распределении должно приниматься при обнаружении в коде четырех состояний «0» и трех состояний «0». В иных случаях мы должны отклонять гипотезу обнаружения нормального закона. Это простой алгоритм условно можно назвать «голосованием разрядов». Формально он сводится к подсчету состояний «0» или, что то же самое, к вычислению расстояний Хэмминга между выходным кодом нейросети и идеальным кодом «00000». На рис. 2 приведено распределение амплитуд вероятности появления разных значений расстояний Хэмминга для порога квантователя к = 0,0.
0.5|-1-1-1-
Р(]ф 2
04
0.3
0 2
0.1 о
Рис. 2. Шесть спектральных линий Хэмминга для выходных бинарных кодов с 5-кратной избыточностью
Работа критерия «голосования по большинству» отображена на рис. 2 еще одним квантователем. Нулевое состояние этого квантователя соответствует обнаружению нормального распределения данных. Подсчет амплитуд вероятности появления трех последних спектральных линий дает значение вероятностей ошибок второго рода Р2 ~ 0,191. Если один симметричный нейрон дает вероятности ошибок Р2 ~ 0,251, то пять симметричных нейронов дают снижение вероятности на 31 %. Такой уровень снижения вероятности ошибок обусловлен высоким уровнем корреляционной сцеп-ленности г = 0,431 между выходными состояниями симметричных нейронов. Если бы корреляционная сцепленность полностью отсутствовала г = 0,0, то вероятность ошибок снизилась бы практически до нуля Р2 ~ 0,001 (в 250 раз).
Оценка выигрыша от совместного использования пяти статистических критериев при их замещении пятью троичными нейронами
Если мы формально перейдем от бинарных нейронов к троичным с тремя выходными состояниями {«-1», «0», «1»}, то в бинарном коде мы должны будем их кодировать двумя битами, т.е. в пространстве бинарных кодов мы получаем 10-кратную кодовую избыточность. Это является пред-
посылкой для роста, корректирующей способность конструкций, опирающихся на применение троичных искусственных нейронов. Спектр амплитуд вероятности расстояний Хэмминга для пяти троичных нейронов приведен на рис. 3 для двух порогов троичного квантователя k = {-0,671; +0,671}.
Рис. 3. Одиннадцать спектральных линий расстояний Хэмминга для пяти троичных нейронов
Из рис. 3 видно, что корректор ошибок, построенный на выходных данных троичных нейронов, позволяет уменьшить вероятность появления обнаруженных, но не исправленных ошибок до величины 0,141. Это примерно на 34 % меньше, чем для двоичных нейронов. Мы наблюдаем существенный рост снижения вероятности появления обнаруживаемых корректором, но не исправляемых ошибок. Несмотря на прежнее значение корреляционной сцепленности выходных состояний пяти обогатителей симметричных нейронов г = 0,431, мы имеем существенное повышение корректирующей способности троичных нейронов по сравнению с двоичными нейронами.
Оценка выигрыша от совместного использования пяти статистических критериев при их замещении 5-арными эквивалентными нейронами
При повышении числа выходных состояний у квантователя эквивалентных нейронов всегда растет кодовая избыточность. Так, если использовать 5-арные квантователи с состояниями {«-1», «0», «1», «2», «3»}, мы вынуждены кодировать каждое из состояний тремя битами бинарного кода, т.е. мы формально выходим для пяти нейронов на 15-кратную кодовую избыточность. Естественно, что это является предпосылкой для корректировки значительно большего числа обнаруживаемых ошибок.
Как итог, спектр расстояний Хэмминга имеет 17 линий, отображенных на рис. 4. Важным обстоятельством является то, что последние восемь спектральных линий имеют малые значения амплитуд вероятности. Кодовый корректор не может исправлять ошибки, возникающие с вероятностью 0,051. Это значение вероятности мы наблюдаем для порогов выходного квантователя к = {-1,0; 0,0; 0,671; 2,13}.
Рис. 4. Семнадцать спектральных линий расстояний Хэмминга для 5-арных эквивалентных нейронов
Прогнозирование ожидаемых значений вероятности появления не поддающихся корректировке ошибок с ростом числа искусственных нейронов
Очевидно, что синтезировать новые статистические критерии проверки гипотезы нормальности или гипотезы равномерности [3-5] достаточно сложно. Куда проще повышать число выходных состояний квантователей искусственных нейронов. Для прогнозирования достижимых вероятностей ошибок в зависимости от числа нейронов достаточно двух точек для трех типов, рассмотренных в данной статье искусственных нейронов. Прогнозирование удобно выполнять в логарифмическом масштабе по двум координатам. В простейшем случае может быть использована линейная экстраполяция, как это показано на рис. 5.
Рис. 5. Прогноз достижимых вероятностей ошибок второго рода при разном числе нейронов, имеющих многоуровневые квантователи
Из рис. 5 мы видим, что простейшие бинарные нейроны являются самыми слабыми. Даже нейросеть, состоящая из 1000 бинарных нейронов, способна обеспечить решения с ожидаемой доверительной вероятностью 0,93. Троичные нейроны гораздо сильнее. Тысяча троичных нейронов должна давать решения с доверительной вероятностью 0,98, что уже приемлемо для ряда практических применений.
В случае использования нейросетевых преобразователей биометрии в код длиной в 256 бит желательно принимать решения с доверительной вероятностью 0,997. Как видно из прогноза рис. 5, такую доверительную вероятность могут обеспечить уже 40 5-арных искусственных нейронов.
Заключение
Естественно, что выполненные нами приближения (симметризация искусственных нейронов, линейная экстраполяция в координатах двойного логарифмирования) могут приводить к существенным ошибкам предсказания. Однако авторы этой статьи убеждены, что переход от простейших бинарных нейронов к более сложным д-арным нейронам дает значительные технические преимущества. Наша статья является подтверждением ранее полученных положительных результатов по перспективам применений искусственных нейронов с выходными многоуровневыми квантователями [13, 14].
Исследования физиологов показывают, что естественные нейроны живых существ обмениваются между собой пачками импульсов. Это косвенно подтверждает наличие в естественных нейронах эффектов многоуровневого квантования. Видимо, переход от простейших бинарных нейронов к более сложным g-арным нейронам является копированием давно используемых живой природой эффектов.
Для нас принципиально важным является то, что распараллеливание вычислений с использованием бинарных нейронов путем их распределения по множеству ядер современных процессоров дает линейное ускорение вычислений. Переход от бинарных нейронов к g-арнам нейросетевым конструкциям позволяет заменить 1000 относительно слабых бинарных нейронов на 40 более сильных пятеричных нейронов. Очевидно, что в этом случае мы должны наблюдать дополнительное нелинейное (виртуальное) ускорение вычислений примерно в 25 раз. Для эмуляции 40 5-арных искусственных нейронов требуется существенно меньше ядер, чем для эмуляции 1000 бинарных нейронов.
Список литературы
1. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : Физ-матлит, 2006. 816 с.
2. Иванов А. П., Иванов А. И., Малыгин А. Ю. [и др.]. Альбом из девяти классических статистических критериев для проверки гипотезы нормального или равномерного распределения данных малых выборок // Надежность и качество сложных систем. 2022. № 1. С. 20-29. doi:10.21685/2307-4205-2022-1-3
3. Иванов А. П., Иванов А. И., Безяев А. В. [и др.]. Обзор новых статистических критериев проверки гипотезы нормальности и равномерности распределения данных малых выборок // Надежность и качество сложных систем. 2022. № 2. С. 33-44. doi:10.21685/2307-4205-2022-2-4
4. Иванов А. И., Иванов А. П., Куприянов Е. Н. Интегрально-дифференциальное расширенные номенклатуры статистических критериев семейства Колмогорова - Смирнова для проверки гипотезы нормального распределения данных малых выборок // Труды Международного симпозиума Надежность и качество. 2022. Т. 1. С. 10-13.
5. Иванов А. И., Куприянов Е. Н. Синтез новых более мощных статистических критериев через мультипликативное объединение классических критериев Фроцини и Мурота - Такеучи с критерием Херста для проверки гипотезы нормальности малых выборок // Надежность. 2022. Т. 22, № 1. С. 52-55. doi:10.21683/1729-2646-2022-22-1-52-55
6. Иванов А. И., Иванов А. П., Куприянов Е. Н. Мультипликативно-нейросетевое объединение статистических критериев Херста и Мурота - Такеучи при проверке гипотезы нормальности малых выборок // Надежность и качество сложных систем. 2021. № 4. С. 27-33. doi:10.21685/2307-4205-2021-4-4
7. Волчихин В. И., Иванов А. И., Иванов А. П., Лукин В. С. Расширение номенклатуры семейства критериев среднего гармонического полиномами Эрмита при проверке гипотезы нормального распределения малых выборок биометрических данных // Динамика систем, механизмов и машин. 2021. Т. 9, № 4. С. 3-11. doi:10.25206/2310-9793-9-4-3-11
8. Шалыгин А. С., Палагин Ю. И. Прикладные методы статистического моделирования. Л. : Машиностроение, 1986. 320 с.
9. Иванов А. И., Захаров О. С. Среда моделирования «БиоНейроАвтограф» [Программный продукт создан лабораторией биометрических и нейросетевых технологий, размещен с 2009 г. на сайте АО «ПНИЭИ»]. URL: Шр://пниэи.рф/асйуйу/ science/noc/bioneuroautograph.zip
10. Иванов А. И. Автоматическое обучение больших искусственных нейронных сетей в биометрических приложениях : учеб. пособие. Пенза, 2013. 30 с. URL: http://пниэи.рф/activity/science/noc/tm_IvanovAI.pdf
11. Иванов А. И., Банных А. Г., Серикова Ю. И. Учет влияния корреляционных связей через их усреднение по модулю при нейросетевом обобщении статистических критериев для малых выборок // Надежность. 2020. Т. 20, № 2. С. 28-34. URL: https://doi. org/10.21683/1729-2646-2020-20-2-28-34
12. Иванов А. И., Полковникова С. А. Хи-квадрат симметризация корреляционных связей, ориентированная на одиночные нейроны и их обучение на малые выборках // Информационно-управляющие, телекоммуникационные системы, средства поражения и их техническое обеспечение : сб. науч. ст. по материалам IV Всерос. межведомственной науч.-техн. конф. Пенза, 2022. С. 123-127.
13. Волчихин В. И., Иванов А. И., Фунтиков В. А., Малыгина Е. А. Перспективы использования искусственных нейронных сетей с многоуровневыми квантователями в технологии биометрико-нейросетевой аутентификации // Известия высших учебных заведений. Поволжский регион. Технические науки. 2013. № 4. С. 88-99.
14. Курников Д. С., Петров С. А. Использование нейронных сетей в экономике // Juvenis Scientia. 2017. № 6. C. 10-12.
References
1. Kobzar' A.I. Prikladnaya matematicheskaya statistika. Dlya inzhenerov i nauchnykh rabotnikov = Applied mathematical statistics. For engineers and researchers. Moscow: Fizmatlit, 2006:816. (In Russ.)
2. Ivanov A.P., Ivanov A.I., Malygin A.Yu. et al. An album of nine classical statistical criteria for testing the hypothesis of normal or uniform distribution of small sample data. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2022;(1):20-29. (In Russ.). doi:10.21685/2307-4205-2022-1-3
3. Ivanov A.P., Ivanov A.I., Bezyaev A.V. et al. Review of new statistical criteria for testing the hypothesis of normality and uniformity of distribution of small sample data. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2022;(20):33-44. (In Russ.). doi:10.21685/2307-4205-2022-2-4
4. Ivanov A.I., Ivanov A.P., Kupriyanov E.N. Integral-differential extended nomenclature of statistical criteria of the Kolmogorov- Smirnov family for testing the hypothesis of normal distribution of small sample data. Trudy Mezhdunarodnogo simpoziuma Nadezhnost' i kachestvo = Proceedings of the International Symposium Reliability and Quality. 2022;1:10-13. (In Russ.)
5. Ivanov A.I., Kupriyanov E.N. Synthesis of new more powerful statistical criteria through a multiplicative combination of the classical Frocini and Murota-Takeuchi criteria with the Hurst criterion for testing the hypothesis of normality of small samples. Nadezhnost' = Reliability. 2022;22(1):52-55. (In Russ.). doi:10.21683/1729-2646-2022-22-1-52-55
6. Ivanov A.I., Ivanov A.P., Kupriyanov E.N. Multiplicative neural network integration of Hearst and Murot-Takeuchi statistical criteria when testing the hypothesis of normality of small samples. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2021;(4):27-33. (In Russ.). doi: 10.21685/23074205-2021-4-4
7. Volchikhin V.I., Ivanov A.I., Ivanov A.P., Lukin V.S. Extension of the nomenclature of the family of criteria for the average harmonic Hermite polynomials when testing the hypothesis of the normal distribution of small samples of biometric data. Dinamika sistem, mekhanizmov i mashin = Dynamics of systems, mechanisms and machines. 2021;9(4):3-11. (In Russ.). doi:10.25206/2310-9793-9-4-3-11
8. Shalygin A.S., Palagin Yu.I. Prikladnye metody statisticheskogo modelirovaniya = Applied methods of statistical modeling. Leningrad: Mashinostroenie, 1986:320. (In Russ.)
9. Ivanov A.I., Zakharov O.S. Sreda modelirovaniya «BioNeyroAvtograf» [Programmnyy produkt sozdan laborato-riey biometricheskikh i neyrosetevykh tekhnologiy, razmeshchen s 2009 g. na sayte AO «PNIEI»] = Modeling environment "Bioneiroautograph" [The software product was created by the laboratory of biometric and neural network technologies, posted since 2009 on the website of JSC PNIEI]. (In Russ.). Available at: http://pniei.rf/ activity/science/noc/bioneuroautograph.zip
10. Ivanov A.I. Avtomaticheskoe obuchenie bol'shikh iskusstvennykh neyronnykh setey v biometricheskikh prilozheniyakh: ucheb. posobie = Automatic training of large artificial neural networks in biometric applications : textbook. Penza, 2013:30. (In Russ.). Available at: http://pniei.rf/activity/science/noc/tm_IvanovAI.pdf
11. Ivanov A.I., Bannykh A.G., Serikova Yu.I. Accounting for the influence of correlations through their modulus averaging in neural network generalization of statistical criteria for small samples. Nadezhnost' = Reliability. 2020;20(2):28-34. (In Russ.). Available at: https://doi. org/10.21683/1729-2646-2020-20-2-28-34
12. Ivanov A.I., Polkovnikova S.A. Chi-square symmetrization of correlation connections, focused on single neurons and their training on small samples. Informatsionno-upravlyayushchie, telekommunikatsionnye sistemy, sredstva porazheniya i ikh tekhnicheskoe obespechenie: sb. nauch. st. po materialam IV Vseros. mezhvedomstvennoy nauch.-tekhn. konf. = Information-control, telecommunication systems, means of destruction and their technical support : collection of scientific articles based on the materials of the IV All-Russian interdepartmental scientific-technical. conf. Penza, 2022:123-127. (In Russ.)
13. Volchikhin V.I., Ivanov A.I., Funtikov V.A., Malygina E.A. Prospects for the use of artificial neural networks with multilevel quantizers in biometric-neural network authentication technology. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = Proceedings of higher educational institutions. Volga region. Technical sciences. 2013;(4):88-99. (In Russ.)
14. Kurnikov D.S., Petrov S.A. The use of neural networks in economics. Juvenis Scientia. 2017;(6):10-12. (In Russ.)
Информация об авторах / Information about the authors
Александр Иванович Иванов
доктор технических наук, доцент, ведущий научный сотрудник, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9) E-mail: [email protected]
Aleksandr I. Ivanov
Doctor of technical sciences, associate professor, senior researcher,
Penza Research Electrotechnical Institute (9 Sovetskaya street, Penza, Russia)
Алексей Петрович Иванов
кандидат технических наук, доцент, заведующий кафедрой технических средств информационной безопасности, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Константин Николаевич Савинов
старший преподаватель кафедры проводной электросвязи и автоматизированных систем, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Роман Викторович Еременко
старший преподаватель кафедры радио и спутниковой связи, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Aleksey P. Ivanov
Candidate of technical sciences, associate professor,
head of the sub-department of technical means
of information security,
Penza State University
(40 Krasnaya street, Penza, Russia)
Konstantin N. Savinov
Senior lecturer of the sub-department of wired telecommunications and automated systems, Penza State University (40 Krasnaya street, Penza, Russia)
Roman V. Eremenko
Senior lecturer of the sub-department of radio
and satellite communications,
Penza State University
(40 Krasnaya street, Penza, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 21.02.2022 Поступила после рецензирования/Revised 22.03.2022 Принята к публикации/Accepted 25.04.2022
