CC BY
0
УДК 519.24; 53; 57.017
doi: 10.21685/2072-3059-2024-3-4
Нейросетевой анализ малых выборок с использованием большого числа статистических критериев для проверки последовательности гипотез о значении математических ожиданий коэффициентов корреляции
А. И. Иванов1, А. И. Годунов2, Е. А. Малыгина3, Н. А. Папуша4, А. И. Ермакова5
пензенский научно-исследовательский электротехнический институт, Пенза, Россия 2Д5Пензенский государственный университет, Пенза, Россия 3МИРЭА - Российский технологический университет, Москва, Россия
[email protected], [email protected], [email protected], \[email protected], [email protected]
Аннотация. Актуальность и цели. Целью работы является повышение точности нейросетевых оценок коэффициентов корреляции. Материалы и методы. Коэффициент корреляции является одним из наиболее значимых статистических моментов второго порядка. При обучении сетей квадратичных нейронов на малых выборках необходимо многократно снижать вероятности ошибок первого и второго рода, классических статистических критериев. Ранее было показано, что представление различных статистических критериев искусственными нейронами приводит к появлению некоторого эквивалента сверточных нейронных сетей, повышающих точность оценки коэффициентов корреляции. Результаты. Сети повышают точность оценок коэффициентов корреляции при проверке последовательности разных статистических гипотез вторым слоем, устраняющим кодовую избыточность большого числа нейронов первого слоя. Число проверяемых гипотез должно совпадать с числом выходных состояний сверточных искусственных нейронов. Выводы. В работе рассмотрены искусственные сверточные нейроны с выходными квантователями, имеющими восемь порогов квантования с математическими ожиданиями E(r) ~ {0,0; ±0,3; ±0,5; ±0,7; ±0,9} коэффициентов корреляции.
Ключевые слова: коэффициенты корреляции, малые выборки, статистические критерии проверки гипотезы независимости, искусственные нейроны, повышение точности оценок за счет устранения кодовой избыточности
Для цитирования: Иванов А. И., Годунов А. И., Малыгина Е. А., Папуша Н. А., Ермакова А. И. Нейросетевой анализ малых выборок с использованием большого числа статистических критериев для проверки последовательности гипотез о значении математических ожиданий коэффициентов корреляции // Известия высших учебных заведений. Поволжский регион. Технические науки. 2024. № 3. С. 37-46. doi: 10.21685/2072-3059-2024-3-4
Neural network analysis of small samples using a large number
of statistical criteria to test the sequence of hypotheses about the value of mathematical expectations of correlation coefficients
A.I. Ivanov1, A.I. Godunov2, E.A. Malygina3, N.A. Papusha4, A.I. Ermakova5
1Penza Scientific Research Electrotechnical Institute, Penza, Russia 2A5Penza State University, Penza, Russia
© Иванов А. И., Годунов А. И., Малыгина Е. А., Папуша Н. А., Ермакова А. И., 2024. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
3MIREA - Russian University of Technology, Moscow, Russia
[email protected], [email protected], [email protected], [email protected], [email protected]
Abstract. Background. The purpose of the article is to improve the accuracy of neural network estimates of correlation coefficients. Materials and methods. The correlation coefficient is one of the most significant second-order statistical points. When training networks of quadratic neurons on small samples, it is necessary to repeatedly reduce the probabilities of errors of the first and second kinds, classical statistical criteria. Previously, it was shown that the representation of various statistical criteria by artificial neurons leads to the emergence of some equivalent of convolutional neural networks, which increase the accuracy of estimating correlation coefficients. Results. The networks increase the accuracy of estimates of correlation coefficients when testing the sequence of different statistical hypotheses with a second layer, which eliminates the code redundancy of a large number of neurons of the first layer. The number of hypotheses to be tested must coincide with the number of output states of convolutional artificial neurons. The paper discusses artificial convolutional neurons with output quantizers having 8 quantization thresholds with mathematical expectations E(r) ~ {0.0; ±0.3; ±0.5; ±0.7; ±0.9} correlation coefficients.
Keywords: correlation coefficients, small samples, statistical criteria for testing the independence hypothesis, artificial neurons, improving the accuracy of estimates by eliminating code redundancy
For citation: Ivanov A.I., Godunov A.I., Malygina E.A., Papusha N.A., Ermakova A.I. Neural network analysis of small samples using a large number of statistical criteria to test the sequence of hypotheses about the value of mathematical expectations of correlation coefficients. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = University proceedings. Volga region. Engineering sciences. 2024;(3):37-46. (In Russ.). doi: 10.21685/2072-3059-2024-3-4
Постановка задачи
К сожалению, большинство статистических вычислений построено на использовании выборок реальных данных большого объема. Например, для достоверной оценки данных по хи-квадрат критерию [1] желательно иметь выборку в 200 и более опытов.
Аналогичная ситуация возникает и при попытках оценки коэффициентов корреляции на малых выборках по следующей формуле:
(x -E(x))•( -E(y))
r1(x,y) = Y^- " -(1)
i=1 o(x) c(y) ' V '
где E( . ) - операция вычисления математического ожидания; с( . ) - операция вычисления стандартного отклонения.
Далеко не всегда удается получить большую выборку реальных данных в приложениях экономики, медицины, биометрии. Имитационное моделирование вычислений по формуле (1) показывает значительный разброс оценок. Пример полученных моделированием распределений дан на рис. 1.
Нетрудно заметить, что пороги квантования рис. 1 совпадают с точками пересечения плотностей распределения соседних разделяемых классов.
Из рис. 1 следует, что наименее точными являются оценки малых значений коэффициентов корреляции. Так, если получать от программного генератора псевдослучайных данных выборки по 16 опытов, то вычисления по
формуле (1) дают разброс в интервале от -0,75 до +0,75 с нулевым математическим ожиданием Е(г\) ~ 0,0 и стандартным отклонением о(*1) ~ 0,256. Как следует из рис. 1, это распределение близко к нормальному. По мере увеличения модуля коэффициента корреляции распределение его значений существенно отклоняется от нормального.
Рис. 1. Распределения плотности вероятности значений р(г1) коэффициентов корреляции, вычисленных на малой выборке в 16 опытов
При этом разброс оценок существенно уменьшается. Так, при Е(п) ~ 0,9 ошибка оценок А*1 снижается примерно в 4 раза по сравнению с наихудшей ситуацией оценок слабо коррелированных данных.
В связи с тем, что наиболее неустойчивыми являются оценки слабо коррелированных данных при вычислениях по формуле (1) в прошлом веке физико-математической общественностью создано порядка 20 статистических критериев проверки гипотезы независимости [2].
Многоуровневое квантование данных модификации корреляционно-нейросетевого критерия Пирсона
Корреляционный критерий (1) активно использовался статистиками в конце XIX в. Он оказался настолько эффективным, что использование его стало общепринятой мировой практикой. Однако эта удачная математическая конструкция имеет ряд менее эффективных аналогов. В частности, в работе [3] описаны четыре более слабых аналога. Например, мы можем воспользоваться следующим аналогичным преобразованием:
16
г4( ^ У) =
i=1
(х; - E(х))•( -E(y)) X; - E(х)| + |y - E(y)| + 0,02'
(2)
Преобразование (2) существенно хуже базового преобразования (1). Вероятности ошибок первого и второго рода классического преобразования (1) примерно на 30 % меньше величин своего аналога (2). На рис. 2 приведены распределения откликов критерия (2) при разных математических ожиданиях базового критерия (1).
Рис. 2. Выходное 5-уровневое квантование откликов критерия, вычисленного по формуле (2)
Следует отметить, что дополнительную информацию о данных малой выборки удается получить, если отклики критериев (1) и (2) слабо коррели-рованы. По данным, приведенным в справочнике [4], показатель корреляционной сцепленности двух рассматриваемых критериев составляет - согг(г, г4) — - 0,194.
Еще одним свойством второго критерия является то, что он чувствителен только к модулю коэффициента корреляции:
Г4 (х, у) = |+Г4 (х, у)\ = |+Г4 (х, у)\. (3)
По этой причине перед вычислением функционала (2) обязательно следует выполнять центрирование данных малой выборки:
Е(х) - Е(у)- 0,00. (4)
Статистических корреляционных функционалов, чувствительных только к модулю коэффициентов корреляции, достаточно много [4]. В частности, к ним относятся все дискретные критерии, построенные на ранжировании данных и все автокорреляционные критерии г(х, х), построенные на учете только одной переменной. Для всех функционалов этого типа обязательно выполнение операции центрирования (4). В противном случае может возникать существенная методическая ошибка. На рис. 2 пунктиром выделены состояния 9-уровневого квантователя, которые могут быть восстановлены, если используются данные иных корреляционных функционалов.
Повышение устойчивости оценок при нейрокорреляционной многократной проверке гипотезы независимости на малой выборке за счет использования большого числа статистических критериев
Каждому из классических статистических критериев проверки гипотезы независимости [2] может быть поставлен в соответствие эквивалентный ему искусственный нейрон [3-5]. Тогда, объединив все эквивалентные
нейроны, получим однослойную сеть, способную откликаться на малую выборку бинарным кодом с 21-кратной избыточностью. Эта ситуация отображена на рис. 3.
Рис. 3. Устранение кодовой избыточности простейшим правилом подсчета состояний «0»
Большое число искусственных нейронов, параллельно обрабатывающих малую выборку, позволяет повысить достоверность принимаемых сетью решений. Самым простым является свертывание кодовой избыточности подсчетом состояний «0». Если состояний «0» большинство, то принимается итоговое решение «0». Если большинство разрядов имеет состояние «1», то итоговое решение соответствует состоянию «1».
Заметим, что только использование классических критериев проверки гипотезы независимости дает 21-кратную кодовую избыточность. Уже в начале этого века было создано еще порядка 180 новых статистических критериев [3-5]. То есть этим способом могут быть получены достаточно большие сети бинарных искусственных нейронов, обеспечивающие приемлемые для практики доверительные вероятности.
Преимущества перехода к использованию искусственных нейронов с многоуровневыми выходными квантователями
К сожалению, бинарные искусственные нейроны являются самыми низкоэффективными по способности получать информацию или по способности защищать информацию [6, 7]. Гораздо более эффективными являются искусственные нейроны с многоуровневыми выходными квантователями [8-11].
На рис. 3 представлена сеть бинарных нейронов, позволяющая поднимать достоверность проверки гипотезы независимости данных. Эта сеть фактически проверяет гипотезу Е(г\) = 0,0. Для того чтобы проверять две гипотезы одновременно, необходимо использовать 21 корреляционный нейрон с троичными квантователями. Если использовать квантователи с 9 уровнями
(см. рис. 1), то такая нейросеть будет способна параллельно проверять 9 статистических гипотез. Применение корреляционных нейронов, способных чувствовать только модуль коэффициента корреляции (3), дает возможность проверять не 9, а только 5 статистических гипотез.
Одной из положительных сторон применения более сложных нейросе-тевых конструкций является то, что открываются технические возможности параллельной проверки не одной, а нескольких статистических гипотез. Если классические критерии прошлого века [2] строились только для самого плохого случая проверки гипотезы независимости, или Е(г{) = 0,0, то применение квантователя с 9 площадками и 8 порогами сравнения приводит проверки 9 гипотез {Е(Г1) = -0,9; Е(г0 = -0,7; ..., Е(г0 = 0,7; Е(г0 = 0,9}.
Формально в каждом из известных на сегодня корреляционных нейронов [10, 12] вместо бинарного квантователя могут быть использованы более сложные 9-арные квантователи. Пороги этих квантователей всегда могут быть настроены на то, чтобы в центр каждой стабильной площадки квантователя попадали математические ожидания распределений, соответствующих условиям {Е(п) = -0,9; Е(п) = -0,7; ..., Е(п) = 0,7; Е(п) = 0,9} по первой классической шкале корреляций (1).
Естественно, что каждый новый статистический критерий будет иметь свою собственную шкалу «корреляций» и свой вектор порогов сравнения. Масштаб допустимых значений для каждой из шкал корреляций будет свой, однако под каждую шкалу может быть построен свой полином, приводящий ее к классической корреляционной шкале (1). Может быть построен как прямой, так и обратные полиномы, переводящие одну корреляционную шкалу в другую. То есть связи между первой и второй корреляционными шкалами могут быть приближенно представлены следующим образом:
П = Дъ) = а0 + а1 • А + а2 • г22 + «3 • г23 + «4 • г24 + «5 • (5)
г2 = /Ы = ¿0 + Ь • г/ + ¿>2 • г2 + Ь3 • 1 + ¿>4 • г4 + ¿>5 • г5. (6)
Связывание разных шкал дискретными таблицами и полиномами является типовым приемом стандартизации данных при изменении температур термопарами.
В нашем случае каждый из 21-го критерия (нейрона) будет всегда давать 9 дискретных откликов-состояний {«-0,9»; «-0,7»;.; «0,0»; ...; «0,9»}. Если мы подадим на нейросеть малую выборку в 16 опытов, то получим 21 дискретный отклик от каждого из искусственных нейронов. На рис. 4 приведен пример гистограммы наблюдения вероятностей 4 откликов-состояний {«-0,5»; «-0,3»; «0,0»; «0,3»}.
Из рис. 4 видно, что с наибольшей вероятностью 0,619 сеть из 21 нейрона откликается состоянием «0,0». С существенно меньшей вероятностью 0,238 сеть нейронов откликается состоянием «-0,3».
С наименьшей вероятностью 0,048 возникает наименьший ответ «-0,5». Наибольший ответ нейросети «0,3» возникает с вероятностью 0,095.
В рассмотренном примере свертывание 21 кратной кодовой избыточности нейросети происходит через вычисление математического ожидания данных гистограммы рис. 4:
г1 - (-0,5) • 0,048 + (-0,3) • 0,238 + (0,0) • 0,619 + (0,3) • 0,095 = -0,067. (7)
Рис. 4. Гистограмма вероятностей появления кодов, соответствующих математическим ожиданиям {Е(г\) = -0,5; Е(г\) = -0,3; Е(г\) = 0,0; Е(г\) = 0,3} в шкале наиболее часто используемого классического функционала (1)
Многократное повторение численного эксперимента и свертывание кодовой избыточности взвешенным суммированием вида (7) дает снижение стандартного отклонения до величины o(r1) ~ 0,191. Как результат, мы получаем сжатие интервала ошибок в 0,256/0,191 ~ 1,34 раза.
Последнее почти эквивалентно удвоению объема использованной малой выборки. В первом приближении можно утверждать, что добавление одного критерия (одного нейрона) в нашем случае приводит к росту объема анализируемой выборки примерно на один опыт.
Список литературы
1. Р 50.1.037-2002. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть I. Критерии типа х2. Госстандарт России. М., 2001. 140 с.
2. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : Физматлит, 2006. 816 с.
3. Volchikhin V. I., Ivanov A. I., Zolotareva T. A., Skudnev D. М. Synthesis of four new neuro-statistical tests for testing the hypothesis of independence of small samples of biométrie data // APITECH III 2021 Journal of Physics: Conference Series. 2021. Vol. 2094. P. 032013. doi: 10.1088/1742-6596/2094/3/032013
4. Иванов А. И. Нейросетевой многокритериальный статистический анализ малых выборок. Проверка гипотезы независимости : справочник. Пенза : Изд-во ПГУ, 2022. 218 с.
5. Иванов А. И., Золотарева Т. А. Искусственный интеллект в защищенном исполнении: синтез статистико-нейросетевых автоматов многокритериальной проверки гипотезы независимости малых выборок биометрических данных : препринт. Пенза : Изд-во ПГУ, 2020. 105 c.
6. Иванов А. И. Малые выборки, нейроморфные вычисления: быстрые алгоритмы оценки энтропии Шеннона - Пирсона квадратичной сложности : справочник. Пенза : Изд-во ПГУ, 2023. 32 с.
7. Иванов А. И. Бионика: обучение «на лету» с использованием генетически по-разному предобученных искусственных нейронов // Системы безопасности. 2023. № 4. С. 122-125.
8. Волчихин В. И., Иванов А. И., Фунтиков В. А., Малыгина Е. А. Перспективы использования искусственных нейронных сетей с многоуровневыми квантователями в технологии биометрико-нейросетевой аутентификации // Известия высших учебных заведений. Поволжский регион. Технические науки. 2013. № 4. С. 88-99.
9. Иванов А. И., Юнин А. П., Бояршинов М. А., Иванов А. П. Перспектива совместного использования двоичных и троичных искусственных нейронов при анализе качества «белого» шума в пространстве сверток Хэмминга, вычисленных по разным модулям // Интеллектуальные системы в производстве. 2022. Т. 20, № 3. С. 88-92. doi: 10.22213/2410-9304-2022-3-88-93
10. Малыгина Е. А. Биометрико-нейросетевая аутентификация: перспективы применения сетей квадратичных нейронов с многоуровневым квантованием биометрических данных : препринт. Пенза : Изд-во ПГУ, 2020. 114 с.
11. Иванов А. И., Сулавко А. Е. Использование сетей корреляционных нейронов с многоуровневым квантованием: защита от извлечения знаний из параметров решающего правила : препринт. Пенза : Изд-во ПГУ, 2020. 48 с.
12. Ложников П. С. Биометрическая защита гибридного документооборота : монография / М-во обр. и науки РФ, ФГБОУ ВО «ОмГТУ». Новосибирск : Изд-во СО РАН, 2017. 130 с.
References
1. R 50.1.037-2002. Rekomendatsii po standartizatsii. Prikladnaya statistika. Pravila proverki soglasiya opytnogo raspredeleniya s teoreticheskim. Chast' I. Kriterii tipa %2. Gosstandart Rossii = Recommendations for standardization. Applied statistics. Rules for proving agreement between experimental and theoretical distribution. Part I. Criteria of type x2. State Standard ofRussia. Moscow, 2001:140. (In Russ.)
2. Kobzar' A.I. Prikladnaya matematicheskaya statistika. Dlya inzhenerov i nauchnykh rabotnikov = Applied mathematical statistics. For engineers and scientists. Moscow: Fizmatlit, 2006:816. (In Russ.)
3. Volchikhin V.I., Ivanov A.I., Zolotareva T.A., Skudnev D.M. Synthesis of four new neuro-statistical tests for testing the hypothesis of independence of small samples of bi-ometric data. APITECH III 2021 Journal of Physics: Conference Series. 2021;2094:032013. doi: 10.1088/1742-6596/2094/3/032013
4. Ivanov A.I. Neyrosetevoy mnogokriterial'nyy statisticheskiy analiz malykh vyborok. Proverka gipotezy nezavisimosti: spravochnik = Neural network multicriteria statistical analysis of small samples. testing the hypothesis of independence: handbook. Penza: Izd-vo PGU, 2022:218. (In Russ.)
5. Ivanov A.I., Zolotareva T.A. Iskusstvennyy intellekt v zashchishchennom ispolnenii: sintez statistiko-neyrosetevykh avtomatov mnogokriterial'noy proverki gipotezy nezavisimosti malykh vyborok biometricheskikh dannykh: preprint = Artificial intelligence in secure implementation: synthesis of statistically-neutral machines for multi-criterial proof of hypothesis of independence of small samples of biometric data: preprint. Penza: Izd-vo PGU, 2020:105. (In Russ.)
6. Ivanov A.I. Malye vyborki, neyromorfnye vychisleniya: bystrye algoritmy otsenki en-tropii Shennona - Pirsona kvadratichnoy slozhnosti: spravochnik = Small samples, neu-romorphic computing: fast algorithms for estimating Shannon-Pearson entropy with quadratic complexity: handbook. Penza: Izd-vo PGU, 2023:32. (In Russ.)
7. Ivanov A.I. Bionics: learning on the fly using genetically differently engineered artificial neurons. Sistemy bezopasnosti = Security systems. 2023;(4):122-125. (In Russ.)
8. Volchikhin V.I., Ivanov A.I., Funtikov V.A., Malygina E.A. Prospects for the use of artificial neural networks with multi-level quantizers in biometric-neural network authentication technology. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = University proceedings. Volga region. Engineering sciences. 2013;(4):88-99. (In Russ.)
9. Ivanov A.I., Yunin A.P., Boyarshinov M.A., Ivanov A.P. The prospect of joint use of binary and ternary artificial neurons in analyzing the quality of "white" noise in the transmission of Khemming coils calculated in different modules. Intellektual'nye siste-my v proizvodstve = Intelligent systems in production. 2022;20(3):88-92. (In Russ.). doi: 10.22213/2410-9304-2022-3-88-93
10. Malygina E.A. Biometriko-neyrosetevaya autentifikatsiya: perspektivy primeneniya setey kvadratichnykh neyronov s mnogourovnevym kvantovaniem biometricheskikh dannykh: preprint = Biometric neuron authentication: prospects for the implementation of a set of quadratic neurons with multi-level quantization of biometric data: preprint. Penza: Izd-vo PGU, 2020:114. (In Russ.)
11. Ivanov A.I., Sulavko A.E. Ispol'zovanie setey korrelyatsionnykh neyronov s mnog-ourovnevym kvantovaniem: zashchita ot izvlecheniya znaniy iz parametrov reshayush-chego pravila: preprint = Using correlation neuron networks with multi-level quantization: defense against knowledge extraction from decision rule parameters: preprint. Penza: Izd-vo PGU, 2020:48. (In Russ.)
12. Lozhnikov P.S. Biometricheskaya zashchita gibridnogo dokumentooborota: mono-grafiya; M-vo obr. i nauki RF, FGBOU VO «OmGTU» = Biometricprotection of hybrid document flow: monograph; Ministry of Education and Sciences of the Russian Federation. Novosibirsk: Izd-vo SO RAN, 2017:130. (In Russ.)
Информация об авторах / Information about the authors
Александр Иванович Иванов
доктор технических наук, профессор, научный консультант, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9)
E-mail: [email protected]
Aleksandr I. Ivanov
Doctor of engineering sciences, professor, scientific adviser, Penza Scientific Research Electrotechnical Institute (9 Sovetskaya street, Penza, Russia)
Анатолий Иванович Годунов
доктор технических наук, профессор, профессор кафедры автоматики и телемеханики, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: [email protected]
Anatoly I. Godunov Doctor of engineering sciences, professor, professor of the sub-department of automation and telemechanics, Penza State University (40 Krasnaya street, Penza, Russia)
Елена Александровна Малыгина доктор технических наук, доцент кафедры информационных технологий в государственном управлении, МИРЭА - Российский технологический университет (Россия, г. Москва, пр-кт Вернадского, 78)
E-mail: [email protected]
Elena A. Malygina
Doctor of engineering sciences, associate professor of the sub-department of information technologies in public administration, MIREA - Russian Technological University (78 Vernadskogo avenue, Moscow, Russia)
Никита Александрович Папуша аспирант, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: [email protected]
Nikita A. Papusha
Postgraduate student, Penza State University (40 Krasnaya street, Penza, Russia)
Анна Игоревна Ермакова
Anna I. Ermakova Lecturer of the sub-department radio and satellite communications, Military Training Center, Penza State University (40 Krasnaya street, Penza, Russia)
преподаватель кафедры радио-и спутниковой связи Военного учебного центра, Пензенский государственный университет
(Россия, г. Пенза, ул. Красная, 40)
E-mail: [email protected]
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию / Received 11.04.2024
Поступила после рецензирования и доработки / Revised 27.05.2024 Принята к публикации / Accepted 18.06.2024
