CC BY
12
УДК 519.24; 53; 57.017 519 doi:10.21685/2307-4205-2022-3-9
МУЛЬТИКРИТЕРИАЛЬНАЯ ПРОВЕРКА ГИПОТЕЗЫ НОРМАЛЬНОСТИ И РАВНОМЕРНОСТИ МАЛЫХ ВЫБОРОК С ИСПОЛЬЗОВАНИЕМ ТРОИЧНЫХ И ДВОИЧНЫХ ИСКУССТВЕННЫХ НЕЙРОНОВ
А. И. Иванов1, А. П. Юнин2, А. П. Иванов3, Е. Н. Куприянов4, С. А. Полковникова5
1 2 Пензенский научно-исследовательский электротехнический институт, Пенза, Россия 3' 4' 5 Пензенский государственный университет, Пенза, Россия 1 ivan@pniei.penza.ru, 2 unin_ap@pniei.penza.ru, 3 ap_ivanov@pnzgu.ru, evgnkupr@gmail.com, 1996svetlanaserikova@gmail.com
Аннотация. Актуальность и цели. Рассматривается проблема совместного использования трех критериев проверки гипотезы равномерности и нормальности: Фроцини (1978), Али - Черго - Ревиса (1992) и дифференциального варианта критерия Фроцини (2016). Материалы и методы. Предложено каждому из исследуемых критериев поставить в соответствие эквивалентный искусственный нейрон. Тогда нейросеть из трех бинарных нейронов дает трехбитный выходной код. Сеть из троичных нейронов будет выдавать шестибитный выходной код. Избыточные выходные коды нейросетей могут быть свернуты с корректировкой ошибок. Результаты. Показано, что бинарные искусственные нейроны позволяют различать малые выборки в 16 опытов с нормальным или равномерным распределением при одинаковых вероятностях ошибок первого и второго рода - 0,031. Троичные нейроны дают одинаковые вероятности ошибок первого и второго рода на уровне -0,2303. Из-за независимости данных (спектры расстояний Хэмминга не перекрываются) возможно снижение вероятности ошибок до величины - 0,007. Выводы. Известные кодовые конструкции с избыточностью, способные обнаруживать и исправлять ошибки, создавались в основном под бинарные коды. Троичные кодовые конструкции слабо исследованы. Необходимо не только развивать ветвь троичных самокорректирующихся кодов, но и кодовую надстройку, объединяющую двоичные и троичные нейросетевые самокорректирующиеся конструкции.
Ключевые слова: статистические критерии, искусственные нейроны эквивалентные статистическим критериям, корректировка ошибок выходного кода нейросети
Для цитирования: Иванов А. И., Юнин А. П., Иванов А. П., Куприянов Е. Н., Полковникова С. А. Мультикрите-риальная проверка гипотезы нормальности и равномерности малых выборок с использованием троичных и двоичных искусственных нейронов // Надежность и качество сложных систем. 2022. № 3. С. 70-77. doi:10.21685/2307-4205-2022-3-9
MULTI-CRITERIA VERIFICATION OF THE HYPOTHESIS OF NORMALITY AND UNIFORMITY OF SMALL SAMPLES USING TERNARY AND BINARY ARTIFICIAL NEURONS
A.I. Ivanov1, A.P. Yunin2, A.P. Ivanov3, E.N. Kupriyanov4, S.A. Polkovnikova5
1 2 Penza Research Electrotechnical Institute, Penza, Russia 3' 4' 5 Penza State University, Penza, Russia 1 ivan@pniei.penza.ru, 2 unin_ap@pniei.penza.ru, 3 ap_ivanov@pnzgu.ru, evgnkupr@gmail.com, 1996svetlanaserikova@gmail.com
Abstract. Background. The problem of joint use of three criteria for testing the hypothesis of uniformity and normality is considered: Frotsini (1978), Ali - Chergo - Revis (1992) and a differential version of the Frotsini test (2016). Materials and methods. It is proposed to match each of the studied criteria with an equivalent artificial neuron. Then a neural network of three binary neurons gives a three-bit output code. A network of ternary neurons will produce a six-bit output code. Redundant output codes of neural networks can be convolved with error correction. Results. It is shown that binary artificial neurons make it possible to distinguish between small samples of 16 experiments with a normal or uniform distribution with the same probabilities of errors of the first and second kind - 0,031. Ternary neurons give the same probabilities of errors of the first and second kind at the level of - 0,2303. Due to the independence of the data (Hamming distance spectra do not overlap), it is possible to reduce the error probability to a value of - 0,007. Conclusions. Known code structures with redundancy, capable of detecting and correcting errors, were created mainly for binary codes. Ternary code constructions are poorly studied. It is necessary not only to develop a branch of ternary self-correcting codes, but also a code superstructure that combines binary and ternary neural network self-correcting structures.
© Иванов А. И., Юнин А. П., Иванов А. П., Куприянов Е. Н., Полковникова С. А., 2022. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
Keywords: statistical criteria, artificial neurons equivalent to statistical criteria, error correction of the neural network output code
For citation: Ivanov A.I., Yunin A.P., Ivanov A.P., Kupriyanov E.N., Polkovnikova S.A. Multi-criteria verification of the hypothesis of normality and uniformity of small samples using ternary and binary artificial neurons. Nadezhnost' i kachestvo slozhnykh sistem = Reliability and quality of complex systems. 2022;(3):70-77. (In Russ.). doi:10.21685/2307-4205-2022-3-9
Введение
Классические статистические критерии [1] при их создании были ориентированы на выборки в 200 и более опытов1. Эта ситуация вполне устраивала практиков до момента активного развития нейросетевой биометрии [2, 3]. Обучать нейронные сети преобразованию биометрия-код приходится на малых выборках в 16 примеров образа «Свой». При этом перспективные алгоритмы быстрого автоматического обучения нейронов, предположительно, должны строиться на подборе 16 биометрических параметров образа «Свой» с нормальным распределением для нейронов состояния «0» [4]. Для нейронов состояния «1» подбираются биометрические параметры с равномерным распределением. При этом используемые искусственные нейроны должны уметь с высокой достоверностью различать малые выборки с нормальным либо с равномерным распределениями.
Рассмотрим ситуацию использования в качестве перспективного искусственного нейрона классического статистического критерия Фроцини [5], синтезированного в 1978 г. Возможности этого критерия по отношению к малым выборкам в 16 опытов могут быть оценены численным экспериментом. Программное обеспечение на языке MathCAD приведено на рис. 1.
Рис. 1. Программное обеспечение моделирования критерия Фроцини при воздействии нормальных данных (левая часть рисунка) и при воздействии равномерно распределенных данных (правая часть рисунка)
Результаты численного моделирования приведены на рис. 2, где дополнительно приведены состояния выходного квантователя нейрона Фроцини.
Рис. 2. Распределение выходных состояний искусственного нейрона, работа которого эквивалентна критерию Фроцини 1978 г.
1 Р 50.1.037-2002. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть I. Критерии типа х2. ; Р 50.1.037-2002. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть II. Непараметрические критерии.
Обычно к статистическим критериям [1] придаются соответствующие таблицы оценки доверительных вероятностей для тех или иных условий принятия решений. В нашем случае применение подобных таблиц не совсем удобно. Так как мы рассматриваем задачу разделения двух типов данных (нормальных или равномерных), целесообразно выставлять порог принятия решений к = 0,24, обеспечивающий равновероятные ошибки первого и второго рода Р1 ~ Р2 ~ РЕЕ ~ 0,174.
Один из самых мощных статистических критериев создан в 1992 г. [6]. Критерий Али - Черго -Ревиса позволяет снизить вероятности ошибок до величины Р1 ~ Р2 ~ РЕЕ ~ 0,101. Программное обеспечение для его моделирования и результат численного моделирования приведены на рис. 3.
Рис. 3. Критерий Али - Черго - Ревиса и эквивалентный ему бинарный нейрон с порогом принятия решений к = 0,171
Исследования по созданию мощных статистических критериев велись не только в прошлом веке. В этом веке был создан дифференциальный вариант критерия Фроцини [7-9], позволивший снизить вероятности ошибок до величины Рх ~ Р2 ~ РЕЕ ~ 0,037 при пороге принятия решения к = 0,83. Программное обеспечение и результаты численного эксперимента по моделированию нового критерия приведены на рис. 4.
Рис. 4. Бинарный нейрон дифференциального аналога классического критерия Фроцини
Объединение трех статистических критериев через использование простейших искусственных нейронов с бинарным квантованием
Так как каждый из описанных выше искусственных нейронов имеет недостаточную мощность (дает неприемлемо высокие вероятности ошибок), их следует использовать совместно [10-12]. Принципиальная возможность такого обобщения обусловлена тем, что коэффициенты парной корреляции существенно меньше единицы: сотт(рт, АЖ) ~ 0,126, согг(АБК, й¥т) ~ 0,594, сотт(рт, й¥т) ~ 0,749, т.е. разряды выходного кода имеют существенные независимые компоненты. В идеальном случае, когда все три критерия воспринимают данные как нормальные, мы имеем код «000». Если какой-то один из критериев принимает решение об обнаружении равномерного распределения данных, то в одном из разрядов кода появляется состояние «1».
Простейший алгоритм свертывания кодовой избыточности [10-12] сводится к подсчету состояний «0» в коде. Коды с тремя состояниями «0» и двумя состояниями «0» рассматриваются как до-
пустимые. Все иные коды отбрасываются как ошибочные. Для анализа таких самокорректирующихся кодов удобными являются линии спектра амплитуд расстояний Хэмминга между кодом «000» и иными кодовыми состояниями. На рис. 5 представлен спектр линий амплитуд вероятности появления разных расстояний Хэмминга.
Рис. 5. Спектр линий амплитуд вероятности появления расстояний Хэмминга
Из рис. 5 видно, что спектр линий расстояний Хэмминга для бинарных кодов с трехкратной избыточностью имеет только линии с положительными ординатами. При этом самый лучший критерий dFr имеет Рг ~ Р2 ~ РЕЕ ~ 0,037, а после устранения ошибок при свертывании избыточности получаем Р1 ~ Р2 ~ РЕЕ ~ 0,031. Наблюдается ощутимое снижение вероятности ошибок на 19,4 %.
Использование троичных искусственных нейронов при объединении трех статистических критериев
Очевидно, что мы всегда можем заменить бинарный выходной квантователь искусственного нейрона с одним порогом (см. рис. 2-4) на более сложный квантователь с двумя порогами сравнения. Соответствующие изменения состояний нейронов отображены на рис. 6.
Рис. 6. Троичное квантование выходных данных нейронов сравнением с двумя порогами: Гг(к = 0,11, к2 = 0,41), ASR(k1 = 0,81, к2 = 1,1), dFr(k1 = 0,45, к2 = 1,21)
По аналогии с предыдущим свертыванием кодов мы можем построить аналогичный троичный свертыватель, для которого идеальным будет код с тремя отрицательными единичными состояниями «-1, -1, -1». Спектр амплитуд вероятности расстояний Хэмминга по отношению к коду «-1, -1, -1» отображен на рис. 7.
Рис. 7. Спектр расстояний Хэмминга, вычисленных по модулю три, возникающий для кодов трех объединяемых троичных нейронов
Из рис. 7 следует, что троичный самокорректирующийся код работает много хуже каждого нейрона из рассмотренных выше бинарных нейронов. Вероятность ошибок троичного корректора составляет Р\ ~ Р2 ~ РЕЕ ~ 0,2303. Это хуже аналогичного показателя -0,171 самого слабого из бинарных нейронов. Тем не менее это ухудшение на троичной части корректора не играет фатальной роли. Дело в том, что спектры рис. 5 и 7 не имеют общих линий. Это означает, что ошибки бинарного корректора и ошибки троичного корректора слабо коррелированы [15-17]. Как результат, теоретически может быть построен еще один уровень обобщающей корректировки кодов над уровнем корректировки бинарных нейронов и уровнем корректировки кодов троичных нейронов. Как реали-зовывать такой корректор, пока неизвестно, однако теоретически он может снизить вероятности ошибок Р1 ~ Р2 ~ РЕЕ ~ 0,007, что соответствует снижению вероятности ошибок примерно в 4,3 раза.
Заключение
В прошлом веке под нужды помехоустойчивой связи были созданы десятки разных кодовых конструкций. Эти кодовые конструкции в большинстве своем были ориентированы на бинарную систему счисления с достаточной избыточностью. Анализ первоисточников показал, что троичные самокорректирующиеся кодовые конструкции с избыточностью слабо изучены. Авторы данной работы на конкретном примере нейросетевого объединения трех статистических критериев попытались показать, что спектры расстояний Хэмминга для троичных нейронов и двоичных нейронов практически не пересекаются. Это открывает широкие возможности для дальнейших исследований. Прежде всего, следует более глубоко исследовать самокорректирующиеся нейросетевые кодовые конструкции, построенные в разных системах счисления. В этом контексте даже снижение вероятностных показателей в одной избыточной нейрокорректирующей кодовой конструкции может оказаться полезным.
В рассмотренном нами случае троичный нейрокодировщик с троичной избыточностью работает примерно в полтора раза хуже самого слабого бинарного одиночного нейрона. Тем не менее слабая коррелированность ошибок троичных и двоичных нейрокорректоров теоретически позволяет увеличить общий уровень их совместной корректирующей способности в 4,3 раза.
В живой природе все естественные нейроны имеют многоуровневые квантователи [14] и постоянно находятся в динамике шумоподобных состояний [15]. При этом возникающие в естественных нейронах живых существ, процессы кодирования данных с преобразованием их в пачки нескольких импульсов сложны и пока не понятны. В этом контексте работы, связанные с использованием нейрокорректоров нейрокодов в разных системах счисления (двоичных, троичных, пятеричных, ..., Q-х и их комбинаций), будут актуальны достаточно долго.
Список литературы
1. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : ФИЗМАТЛИТ, 2006. 816 с.
2. Волчихин В. И., Иванов А. И., Назаров И. Г. [и др.]. Нейросетевая защита персональных биометрических данных. М. : Радиотехника, 2012. 160 с.
3. Ахметов Б. С., Иванов А. И., Фунтиков В. А. [и др.]. Технология использования больших нейронных сетей для преобразования нечетких биометрических данных в код ключа доступа. Алматы : ТОО «Издательство LEM», 2014. 144 с.
4. Иванов А. И., Куприянов Е. Н. Защита искусственного интеллекта: ортогонализация статистико-нейросетевого анализа малых выборок биометрических данных : препринт. Пенза : Изд-во ПГУ, 2020. 72 с.
5. Frozini B. V. A survey of class of goodness-of-fit statistics // Metron. 1978. Vol. 36, № 1-2. P. 3-49.
6. Aly E.-E., Shayib M. A. On some goodness-of-fit tests for normal, logistic and extreme-value distributions // Communications in Statistics-Theory and Methods. 1992. Vol. 21, № 5. P. 1297-1308.
7. Иванов А. И. Многомерная нейросетевая обработка биометрических данных с программным воспроизведением эффектов квантовой суперпозиции. Пенза : ПНИЭИ, 2016. 133 с.
8. Волчихин В. И., Иванов А. И., Перфилов К. А. [и др.]. Быстрый алгоритм обучения больших сетей искусственных нейронов квадрата среднего геометрического плотностей распределения значений многомерных биометрических данных // Известия высших учебных заведений. Поволжский регион. Технические науки. 2018. № 3. С. 23-35.
9. Иванов А. И., Малыгин А. Ю., Полковникова С. А. Удвоение числа статистических критериев семейства Крамера - фон Мизеса дифференцированием малых выборок с нормальным и равномерным распределением биометрических данных // Известия высших учебных заведений. Поволжский регион. Технические науки. 2022. № 1. С. 53-61.
10. Иванов А. И., Банных А. Г., Безяев А. В. Искусственные молекулы, собранные из искусственных нейронов, воспроизводящих работу классических статистических критериев // Вестник Пермского университета. Сер.: Математика. Механика. Информатика. 2020. № 1. С. 26-32.
11. Иванов А. И., Иванов А. П., Куприянов Е. Н. Мультипликативно-нейросетевое объединение статистических критериев Херста и Мурота - Такеучи при проверке гипотезы нормальности малых выборок // Надежность и качество сложных систем. 2021. № 4. С. 27-33. doi:10.21685/2307-4205-2021-4-4
12. Иванов А. П., Иванов А. И., Малыгин А. Ю. [и др.]. Альбом из девяти классических статистических критериев для проверки гипотезы нормального или равномерного распределения данных малых выборок // Надежность и качество сложных систем. 2022. № 1. С. 20-29.
13. Иванов А. И., Юнин А. П. Эмбрион искусственного интеллекта: компактная нейросетевая проверка качества случайных последовательностей, полученных из биометрических данных : препринт. Пенза : Изд-во ПГУ, 2021. 68 с.
14. Малыгина Е. А. Биометрико-нейросетевая аутентификация: перспективы применения сетей квадратичных нейронов с многоуровневым квантованием биометрических данных : препринт. Пенза : Изд-во ПГУ, 2020. 114 с.
15. Иванов А. И. Нейродинамика: гиперускорение направленных переборов или повышение достоверности статистических оценок на малых выборках : препринт. Пенза : Изд-во ПГУ, 2021. 106 с.
References
1. Kobzar' A.I. Prikladnaya matematicheskaya statistika. Dlya inzhenerov i nauchnykh rabotnikov = Applied mathematical statistics. For engineers and researchers. Moscow: FIZMATLIT, 2006:816. (In Russ.)
2. Volchikhin V.I., Ivanov A.I., Nazarov I.G. et al. Neyrosetevaya zashchita personal'nykh biometricheskikh dannykh = Neural network protection of personal biometric data. Moscow: Radiotekhnika, 2012:160. (In Russ.)
3. Akhmetov B.S., Ivanov A.I., Funtikov V.A. et al. Tekhnologiya ispol'zovaniya bol'shikh neyronnykh setey dlya preobrazovaniya nechetkikh biometricheskikh dannykh v kod klyucha dostupa = Technology of using large neural networks to convert fuzzy biometric data into an access key code. Almaty: TOO «Izdatel'stvo LEM», 2014:144. (In Russ.)
4. Ivanov A.I., Kupriyanov E.N. Zashchita iskusstvennogo intellekta: ortogonalizatsiya statistiko-neyrosetevogo analiza malykh vyborok biometricheskikh dannykh: preprint = Protection of artificial intelligence: orthogonali-zation of statistical neural network analysis of small samples of biometric data : preprint. Penza: Izd-vo PGU, 2020:72. (In Russ.)
5. Frozini B.V. A survey of class of goodness-of-fit statistics. Metron. 1978;36(1-2):3-49.
6. Aly E.-E., Shayib M.A. On some goodness-of-fit tests for normal, logistic and extreme-value distributions.
Communications in Statistics-Theory and Methods. 1992;21(5):1297-1308.
7. Ivanov A.I. Mnogomernaya neyrosetevaya obrabotka biometricheskikh dannykh s programmnym vospro-izvedeniem effektov kvantovoy superpozitsii = Multidimensional neural network processing of biometric data with software reproduction of quantum superposition effects. Penza: PNIEI, 2016:133. (In Russ.)
8. Volchikhin V.I., Ivanov A.I., Perfilov K.A. et al. Fast algorithm for training large networks of artificial neurons of the square of the geometric mean density distribution of values of multidimensional biometric data. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = Proceedings of higher educational institutions. Volga region. Technical sciences. 2018;(3):23-35. (In Russ.)
9. Ivanov A.I., Malygin A.Yu., Polkovnikova S.A. Doubling the number of statistical criteria of the Kramer-von Mises family by differentiating small samples with a normal and uniform distribution of biometric data. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = Proceedings of higher educational institutions. Volga region. Technical sciences. 2022;(1):53-61. (In Russ.)
10. Ivanov A.I., Bannykh A.G., Bezyaev A.V. Artificial molecules assembled from artificial neurons reproducing the work of classical statistical criteria. Vestnik Permskogo universiteta. Ser.: Matematika. Mekhanika. Informatika = Bulletin of Perm University. Ser.: Matematika. Mechanics. Computer science. 2020;(1):26-32. (In Russ.)
11. Ivanov A.I., Ivanov A.P., Kupriyanov E.N. Multiplicative neural network association of statistical Hurst and Murota- Takeuchi criteria when testing the hypothesis of normality of small samples. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2021;(4):27-33. (In Russ.). doi: 10.21685/23074205-2021-4-4
12. Ivanov A.P., Ivanov A.I., Malygin A.Yu. et al. Album of nine classical statistical criteria for testing the hypothesis of normal or uniform distribution of small sample data. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2022;(1):20-29. (In Russ.)
13. Ivanov A.I., Yunin A.P. Embrion iskusstvennogo intellekta: kompaktnaya neyrosetevayaproverka kachestva slu-chaynykh posledovatel'nostey, poluchennykh iz biometricheskikh dannykh: preprint = Artificial intelligence embryo: compact neural network quality control of random sequences obtained from biometric data : preprint. Penza: Izd-vo PGU, 2021:68. (In Russ.)
14. Malygina E.A. Biometriko-neyrosetevaya autentifkatsiya: perspektivy primeneniya setey kvadratichnykh ney-ronov s mnogourovnevym kvantovaniem biometricheskikh dannykh : preprint = Biometric-neural network authentication: prospects for the use of networks of quadratic neurons with multilevel quantization of biometric data : preprint. Penza: Izd-vo PGU, 2020:114. (In Russ.)
15. Ivanov A.I. Neyrodinamika: giperuskorenie napravlennykh pereborov ili povyshenie dostovernosti statistich-eskikh otsenok na malykh vyborkakh: preprint = Neurodynamics: hyper-acceleration of directed searches or increasing the reliability of statistical estimates on small samples : preprint. Penza: Izd-vo PGU, 2021:106. (In Russ.)
Информация об авторах / Information about the authors
Александр Иванович Иванов
доктор технических наук, доцент, ведущий научный сотрудник, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9) E-mail: ivan@pniei.penza.ru
Aleksandr I. Ivanov
Doctor of technical sciences, associate professor, senior researcher,
Penza Research Electrotechnical Institute (9 Sovetskaya street, Penza, Russia)
Алексей Петрович Юнин
ведущий специалист, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9) E-mail: unin_ap@pniei.penza.ru
Aleksey P. Yunin
Leading specialist,
Penza Research Electrotechnical Institute (9 Sovetskaya street, Penza, Russia)
Алексей Петрович Иванов
кандидат технических наук, доцент, заведующий кафедрой технических средств информационной безопасности, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: ap_ivanov@pnzgu.ru
Aleksey P. Ivanov
Candidate of technical sciences, associate professor,
head of the sub-department of technical means
of information security,
Penza State University
(40 Krasnaya street, Penza, Russia)
Евгений Николаевич Куприянов
аспирант,
Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: evgnkupr@gmail.com
Светлана Андреевна Полковникова
аспирант,
Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: 1996svetlanaserikova@gmail.com
Evgeniy N. Kupriyanov
Postgraduate student,
Penza State University
(40 Krasnaya street, Penza, Russia)
Svetlana A. Polkovnikova
Postgraduate student,
Penza State University
(40 Krasnaya street, Penza, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 20.12.2021 Поступила после рецензирования/Revised 21.01.2022 Принята к публикации/Accepted 18.02.2022
