СНИЖЕНИЕ ТРЕБОВАНИЙ К ОБЪЕМУ ВЫБОРКИ ПРИ НЕЙРОСЕТЕВОМ ОБЪЕДИНЕНИИ КЛАССИЧЕСКОГО КРИТЕРИЯ ЭДЖУОРТА - ЭДЛТОНА - ПИРСОНА И ДВУХ ЕГО ФРАКТАЛЬНЫХ АНАЛОГОВ ПРИ ПРОВЕРКЕ ГИПОТЕЗЫ НЕЗАВИСИМОСТИ ДАННЫХ Текст научной статьи по специальности «Математика»

ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ

COMPUTER SCIENCE, COMPUTER ENGINEERING AND CONTROL

УДК 519.67; 681.518

doi: 10.21685/2072-3059-2023-1-1

Снижение требований к объему выборки при нейросетевом объединении классического критерия Эджуорта - Эдлтона - Пирсона и двух его фрактальных аналогов при проверке гипотезы независимости данных

В. И. Волчихин1, А. И. Иванов2, Ю. И. Серикова3

пензенский государственный университет, Пенза, Россия пензенский научно-исследовательский электротехнический институт, Пенза, Россия 3Научно-производственное предприятие «Рубин», Пенза, Россия

[email protected], [email protected], [email protected]

Аннотация. Актуальность и цели. В конце XIX в. статистики начали активно использовать формулу Эджуорта - Эдлтона - Пирсона, которая дает на малых выборках значительные ошибки при вычислении коэффициентов корреляции. Целью работы является повышение точности вычислений за счет нейросетевого объединения трех статистических критериев. Материалы и методы. Предложено дополнительно к формуле Эджуорта - Эдлтона - Пирсона использовать два новых варианта фрактальных статистических критериев, синтезированных в 2017 г. Каждый из трех критериев представлен эквивалентным ему искусственным нейроном. Результаты и выводы. Показано, что нейросетевое объединение трех статистических критериев позволяет в 1,87 раза снизить требования к объему тестовой выборки при проверке гипотезы независимости анализируемых данных. Малая выборка в 16 опытов становится эквивалентна использованию большей выборки в 30 опытов. Совместное использование 4, 5 и более статистических критериев должно приводить к монотонному росту доверия к принимаемым нейросетевым решениям. При использовании 4 статистических критериев ожидается достижение доверительной вероятности 0,9. Для достижения доверительной вероятности 0,99 потребуется использовать примерно 230 статистических критериев.

Ключевые слова: статистические критерии проверки гипотезы независимости, искусственный нейрон, статистический критерий, однослойная нейросеть, самокорректирующиеся коды, обнаружение и исправление ошибок

Для цитирования: Волчихин В. И., Иванов А. И., Серикова Ю. И. Снижение требований к объему выборки при нейросетевом объединении классического критерия Эджуорта - Эдлтона - Пирсона и двух его фрактальных аналогов при проверке гипотезы независимости данных // Известия высших учебных заведений. Поволжский регион. Технические науки. 2023. № 1. С. 5-13. doi: 10.21685/2072-3059-2023-1-1

© Волчихин В. И., Иванов А. И., Серикова Ю. И., 2023. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.

Reducing sample size requirements for neural network combining the classical Edgeworth-Edleton-Pearson test and its two-fractal counterparts when testing the data independence hypothesis

V.I. Volchikhin1, A.I. Ivanov2, Yu.I. Serikova3

1Penza State University, Penza, Russia 2Penza Scientific Research Electrotechnical Institute, Penza, Russia

3Research and Production Enterprise "Rubin", Penza, Russia [email protected], [email protected], [email protected]

Abstract. Background. At the end of the 19th century, statisticians began to actively use the Edgeworth-Edleton-Pearson formula, which gives significant errors in the calculation of correlation coefficients on small samples. The purpose of the work is to improve the accuracy of calculations by combining the neural network of three statistical criteria. Materials and methods. In addition to the Edgeworth-Edleton-Pearson formula, it is proposed to use two new versions of fractal statistical criteria synthesized in 2017. Each of the three criteria is represented by an equivalent artificial neuron. Results and conclusions. It is shown that the neural network combination of three statistical criteria makes it possible to reduce the requirements for the size of the test sample by 1.87 times when testing the hypothesis of independence of the analyzed data. A small sample of 16 trials becomes equivalent to using a larger sample of 30 trials. Sharing 4, 5 or more statistical criteria should lead to a monotonous increase in confidence in the neural network decisions. When using 4 statistical tests, a confidence level of 0.9 is expected. Approximately 230 statistical tests would be required to achieve a confidence level of 0.99.

Keywords: statistical criteria for testing the hypothesis of independence, artificial neuron, statistical criterion, single-layer neural network, self-correcting codes, error detection and correction

For citation: Volchikhin V.I., Ivanov A.I., Serikova Yu.I. Reducing sample size requirements for neural network combining the classical Edgeworth-Edleton-Pearson test and its two-fractal counter-parts when testing the data independence hypothesis. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = University proceedings. Volga region. Engineering sciences. 2023;(1):5-13. (In Russ.). doi: 10.21685/2072-30592023-1-1

Интерес к экономичному вычислению коэффициентов парной корреляции существовал давно, однако только в конце XIX в. английские статистики стали широко применять классическую формулу1:

Эта формула хорошо работает на больших выборках в 200 и более опытов. К сожалению, при 16 опытах ошибка оценки независимых данных (ошибка вычисления коэффициентов корреляции) может лежать в интервале от -0,75 до +0,75.

Пытаясь решать задачу в разных условиях, математики прошлого века создали порядка 20 статистических критериев для проверки гипотезы независимости [1]. К сожалению, все эти критерии по-прежнему плохо работают на

Введение

1 " (E(x) - xt) • (E(у) - у,) nf-f o( x) c( у)

(1)

1 https://ru.wikipedia.org/wiki/Корреляция

малых выборках. В связи с этим работы по синтезу новых перспективных критериев продолжаются и наше время [2].

В частности, в 2016 г. было предложено использовать два типа фрактально-корреляционных функционалов [3]. Первый тип функционалов предложено строить через упорядочивание данных по переменной х. При этом длина пути по упорядоченной переменной 5(х) от тт(х) до тах(х) сокращается. Пользуясь этим, мы можем оценивать корреляционную сцепленность данных, вычисляя отношения путей по упорядоченной и неупорядоченной переменным. Эта ситуация иллюстрируется рис. 1, построенным для большой выборки в 200 опытов.

0 50 100 150

Рис. 1. Соотношение длин пути по упорядоченным данным - х (толстая кривая) и по неупорядоченным (оставшимся случайными данным - у)

Очевидно, что соотношение длин путей ¿•(у)Л,(х) для независимых данных всегда значительно больше единицы. При увеличении корреляционной сцепленности данных происходит монотонное снижение значений рассматриваемого функционала. В пределе при г(х,у) ^ 1 значение контролируемого функционала так же стремится к единице 5(у)/^(х) ^ 1.

Еще одним важным моментом является то, что мы имеем возможность упорядочивать данные по разным переменным. При этом фрактально-корреляционные функционалы, упорядоченные по разным переменным, являются линейно независимыми по отношению друг к другу. Также эти функционалы оказываются линейно независимы (некоррелированны) по отношению к классическому функционалу Эджуорта - Эдлтона - Пирсона (1).

Нейросетевое обобщение трех разных статистических критериев

Если мы воспользуемся независимыми данными от программного генератора псевдослучайных чисел, то для малых выборок в 16 опытов получим нормальное распределение откликов вычислений по формуле (1) с интервалом возможных состояний от -0,75 до +0,75. При этом мы можем к выходу преобразователя (1) подключить бинарный квантователь с двумя порогами: -0,33 и +0,33. При попадании внутрь этих порогов возникает состояние «0», которое соответствует низкому уровню коррелированности данных малой выборки (рис. 2).

,(о>

- тогт(1б,0,1 ) • то1т(1б,031)

,А(1>)

.<0>

-(О 0 0)

КаД-Ы^),

г,(ат :)

КлЯ-иЛ

(г гО г1)

Р(г0)

р(г) \/ 1.1

013

Рис. 2. Распределения выходных состояний трех корреляционных функционалов и выходных бинарных квантователей эквивалентных им нейронов

В левой части рис. 2 представлена программная реализация функционалов оценки значений коэффициентов корреляции малых выборок. Обозначению г соответствует вычисление классического корреляционного функционала (1) в рамках правил языка программирования MathCAD. Обозначению г0 соответствует процедура упорядочивания данных по переменной х (рис. 1) с последующим вычислением отношения расстояний между соседними точками выборки и накапливанием модулей значений их отношений.

Третий корреляционный функционал г1 построен по аналогии с корреляционным функционалом г0. Отличие состоит лишь в том, что перед вычислениями выполнено упорядочивание данных по переменной у.

В силу того что функционалы г0 и г1 фактически выполняются по одной и той же программе (отличие только в процедуре предварительного упорядочивания исходных данных), в правой части рис. 2 кривые плотностей распределения их значений р(г0) и р(г1) полностью сливаются. При синтезе бинарных нейронов, эквивалентных этим двум критериям, выбраны пороги квантования -0,13 и 1,1. В итоге получается, что мы имеем однослойную нейросеть, состоящую из трех нейронов. Эта нейросеть откликается кодами из трех бит на предъявленные ей выборки малого объема.

Корректировка ошибок за счет свертывания выходных кодов нейросети с трехкратной избыточностью

В случае, когда все три искусственных нейрона принимают решение об обнаружении слабо коррелированных данных, на выходе нейросети появляется состояние «000». Фактически мы имеем выходной код, трижды подтверждающий гипотезу независимости. Однако могут появляться и другие выходные кодовые состояния нейросети. Так как мы имеем коды с трехкратной избыточностью, мы получаем возможность свернуть их избыточность. При этом появляется возможность повысить достоверность принимаемых нейросетью решений за счет обнаружения и корректировки ошибок в избыточном коде [4, 5].

Простейшие корректоры кода могут быть построены на подсчете числа единиц в коде. Формально такой подсчет может быть выполнен через вычис-

ление расстояний Хэмминга между идеальным кодом «000» и корректируемым кодом:

2

h = 2 ("0") © (" V), (2)

i=0

где " х" - состояние i-го разряда кода; © - операция сложения по модулю два.

Спектр расстояний Хэмминга ¥(h) дискретен. В нашем случае он состоит всего из четырех линий. На рис. 3 отражены эти линии, рядом с ними дано значение амплитуды вероятности их появления.

0 4

Й ' Г,

0 2

0

1

Рис. 3. Четыре линии амплитуд вероятности появления четырех состояний спектра Хэмминга

Из рис. 3 следует, что идеальные состояния «000» появляются с вероятностью 0,506. Коды с единицей в одном разряде появляются с вероятностью 0,382. Коды с двумя единицами в разрядах и тремя единицами в разрядах появляются с вероятностью 0,103 + 0,0094 ~ 0,112. Как видно из рис. 3, квантователь спектра Хэмминга должен быть настроен так, чтобы при обнаружении появления первых двух линий на его выходе появлялось состояние «0». При обнаружении двух последних линий должно появиться выходное состояние корректора кодов - «1».

Следует подчеркнуть, что искусственный нейрон, эквивалентный классическому функционалу (1), при значении порогов (рис. 1) дает вероятность ошибок второго рода 0,21. Использование трех искусственных нейронов позволяет снизить вероятность ошибок второго рода почти в 2 раза: 0,21/0,112 ~ 1,87. Столь значительное снижение вероятности ошибок второго рода обеспечивается, если объем исходной выборки в 16 опытов увеличить до 30 опытов (16 X 1,87 = 29,92). При этом наблюдается эффект снижения стандартного отклонения нормального распределения, как это отражено на рис. 4.

0.031

Р(г)

30

0.02

0.01

Г

1

Рис. 4. Эффект сжатия нормального распределения коэффициентов корреляции при использовании трех статистических критериев вместо одного классического статистического критерия (1)

Как результат, нам удалось значительно снизить вероятности ошибок второго рода, или, что то же самое, увеличить объем анализируемой эквивалентной выборки с 16 до 30 опытов.

Линейное предсказание необходимого числа искусственных нейронов для достижения доверительной вероятности 0,99

Следует отметить, что рассматриваемые преобразования относятся к фрактальным (имеющим дробный - не целый - показатель размерности или числа степеней свободы [6, 7]). Известно, что фрактальные преобразования удобно описывать в логарифмических масштабах по рассматриваемым переменным [8-10]. В связи с этим перейдем к представлению данных в пространстве логарифмов значений вероятности ошибок второго рода и числа, обобщаемых нейросетью статистических критериев. Данные представлены на рис. 5.

На вертикальной логарифмической оси (рис. 5) для одного нейрона (п = 1) отображена точка Р2 ~ 0,205, что соответствует значению среднего геометрического вероятностей ошибок второго рода всех трех искусственных нейронов [11]. Вторая точка Р2 ~ 0,112 соответствует выходным состояниям корректора ошибок кодов с трехкратной избыточностью (п = 3). Далее построена линейная экстраполяция в сторону увеличения числа обобщаемых нейронной сетью статистических критериев.

Построенная линейная экстраполяция позволяет утверждать, что уже нейросетевое объединение примерно 4 статистических критериев позволит добиться доверительной вероятности к принимаемым решениям на уровне лучше 0,9. Если же увеличить число объединяемых статистических критериев до 230 и более, то ожидаемая доверительная вероятность достигнет значения 0,99.

Рис. 5. Прогнозирование снижения вероятности ошибок второго рода с ростом числа объединяемых нейросетью статистических критериев

Заключение

Следует отметить, что полученный прогноз для большого числа в 230 используемых статистических критериев достаточно оптимистичен. Это связано с низкой коррелированностью выходных состояний трех объединяемых искусственных нейронов. К сожалению, порядка 20 статистических критериев, созданных в XX в. [1], имеют существенно более высокие значения модулей парных коэффициентов корреляции. Это обстоятельство приводит к снижению наклона прямой линейной экстраполяции (рис. 5). Еще одной неприятностью является то, что 20 уже синтезированных в прошлом веке статистических критериев недостаточно для получения доверительной вероятности

0.99. В этом плане необходимо предпринимать усилия по синтезу порядка 200 новых статистических критериев проверки гипотезы независимости уже в XXI в. Только при наличии порядка 230 статистических критериев мы можем ожидать доверительной вероятности на уровне 0,99 при анализе малых выборок в 16 опытов.

Список литературы

1. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : Физматлит, 2006. 816 с.

2. Иванов А. И., Золотарева Т. А. Искусственный интеллект в защищенном исполнении: синтез статистико-нейросетевых автоматов многокритериальной проверки гипотезы независимости малых выборок биометрических данных : препринт. Пенза : Изд-во ПГУ, 2020. 105 с.

3. Волчихин В. И., Иванов А. И., Ахметов Б. Б., Серикова Ю. И. Фрактально-корреляционный функционал, используемый при поиске пар слабо зависимых биометрических данных в малых выборках // Известия высших учебных заведений. Поволжский регион. Технические науки. 2016. № 4. С. 27-36.

4. Иванов А. И. Искусственные математические молекулы: повышение точности статистических оценок на малых выборках (программы на языке MathCAD) : препринт. Пенза : Из-во ПГУ, 2020. 36 с.

5. Иванов А. И., Банных А. Г., Безяев А. В. Искусственные молекулы, собранные из искусственных нейронов, воспроизводящих работу классических статистических критериев // Вестник Пермского университета. Математика. Механика. Информатика. 2020. № 1 (48). С. 26-32.

6. Гильмутдинов А. Х. Фракталы и дробные операторы. Казань : Изд-во Фэн Академии наук РТ, 2010. 488 с.

7. Volchikhin V. I., Ivanov A. I., Malygina E. A., Kupriyanov E. N., Serikova Yu. I. Precision statistics: fractional number of degrees of freedom chi-square criterion for small samples of biometric data // Journal of computational and engineering mathematics. 2019. Vol. 6, № 1. P. 55-62.

8. Мандельброт Б., Хадсон З. Л. (НЕ)послушные рынки. Фрактальная революция в финансах. М. ; СПб. ; Киев : Вильямс, 2006. 408 с.

9. Иванов А. И., Банных А. Г. Быстрая оценка энтропии длинных кодов с зависимыми разрядами на микроконтроллерах с малым потреблением и низкой разрядностью (обзор литературы по снижению размерности задачи) // Инженерные технологии и системы. 2020. Т. 30, № 2. С. 300-312. doi: 10.15507/26584123.030.2020.02.300.312

10. Иванов А. И., Иванов А. П., Макарычев П. П., Безяев А. В., Савинов К. Н. Рост корректирующей способности нейросетевых конструкций с избыточностью за счет замены в них бинарных нейронов на троичные нейроны // Известия высших учебных заведений. Поволжский регион. Технические науки. 2022. № 3. С. 27-36.

11. Иванов А. И., Банных А. Г., Серикова Ю. И. Учет влияния корреляционных связей через их усреднение по модулю при нейросетевом обобщении статистических критериев для малых выборок // Надежность. 2020. Т. 20, № 2. С. 28-34. doi: 10.21683/1729-2646-2020-20-2-28-34

References

1. Kobzar' A.I. Prikladnaya matematicheskaya statistika. Dlya inzhenerov i nauchnykh rabotnikov = Applied mathematical statistics. For engineers and scientists. Moscow: Fizmatlit, 2006:816. (In Russ.)

2. Ivanov A.I., Zolotareva T.A. Iskusstvennyy intellekt v zashchishchennom ispolnenii: sintez statistiko-neyrosetevykh avtomatov mnogokriterial'noy proverki gipotezy nezavi-simosti malykh vyborok biometricheskikh dannykh: preprint = Artificial intelligence in a secure design: synthesis of statistical neural network automata for multi-criteria testing of the hypothesis of independence of small samples of biometric data: preprint. Penza: Izd-vo PGU, 2020:105. (In Russ.)

3. Volchikhin V.I., Ivanov A.I., Akhmetov B.B., Serikova Yu.I. Fractal correlation functional used in searching for pairs of weakly dependent biometric data in small samples. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = University proceedings. Volga region. Engineering sciences. 2016;(4):27-36. (In Russ.)

4. Ivanov A.I. Iskusstvennye matematicheskie molekuly: povyshenie tochnosti statistich-eskikh otsenok na malykh vyborkakh (programmy na yazyke MathCAD): preprint = Artificial mathematical molecules: improving the accuracy of statistical estimates on small samples (MathCAD programmes): preprint. Penza: Iz-vo PGU, 2020:36. (In Russ.)

5. Ivanov A.I., Bannykh A.G., Bezyaev A.V. Artificial molecules assembled from artificial neurons that reproduce the work of classical statistical criteria. Vestnik Permskogo universiteta. Matematika. Mekhanika. Informatika = Bulletin of Perm University. Mathematics. Mechanics. Informatics. 2020;(1):26-32. (In Russ.)

6. Gil'mutdinov A.Kh. Fraktaly i drobnye operatory = Fractals and fractional operators. Kazan': Izd-vo Fen Akademii nauk RT, 2010:488. (In Russ.)

7. Volchikhin V.I., Ivanov A.I., Malygina E.A., Kupriyanov E.N., Serikova Yu.I. Precision statistics: fractional number of degrees of freedom chi-square criterion for small samples of biometric data. Journal of computational and engineering mathematics. 2019;6(1):55-62.

8. Mandel'brot B., Khadson Z.L. (NE)poslushnye rynki. Fraktal'naya revolyutsiya v finan-sakh = (NOT) obedient markets. Fractal revolution in finance. Moscow; Saint Petersburg; Kiev: Vil'yams, 2006:408. (In Russ.)

9. Ivanov A.I., Bannykh A.G. Fast entropy estimation of long codes with dependent bits on microcontrollers with low power and low bit capacity (review of literature on downsizing the problem). Inzhenernye tekhnologii i sistemy = Engineering technologies and systems. 2020;30(2):300-312. (In Russ.). doi: 10.15507/2658-4123.030.2020.02.300.312

10. Ivanov A.I., Ivanov A.P., Makarychev P.P., Bezyaev A.V., Savinov K.N. The growth of the corrective ability of neural network designs with redundancy due to the replacement of binary neurons in them with ternary neurons. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = University proceedings. Volga region. Engineering sciences. 2022;(3):27-36. (In Russ.)

11. Ivanov A.I., Bannykh A.G., Serikova Yu.I. Accounting for the influence of correlations through their modulo averaging with neural network generalization of statistical criteria for small samples. Nadezhnost' = Reliability. 2020;20(2):28-34. (In Russ.). doi: 10.21683/1729-2646-2020-20-2-28-34

Информация об авторах / Information about the authors

Владимир Иванович Волчихин

доктор технических наук, профессор, президент Пензенского государственного университета (Россия, г. Пенза, ул. Красная, 40)

E-mail: [email protected]

Vladimir I. Volchikhin Doctor of engineering sciences, professor, president of Penza State University (40 Krasnaya street, Penza, Russia)

Александр Иванович Иванов

доктор технических наук, доцент, научный консультант, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9)

E-mail: [email protected]

Юлия Игоревна Серикова инженер-программист, Научно-производственное предприятие «Рубин», (Россия, г. Пенза, ул. Байдукова, 2)

E-mail: [email protected]

Aleksandr I. Ivanov

Doctor of engineering sciences, associate

professor, scientific adviser, Penza

Scientific Research Electrotechnical

Institute (9 Sovetskaya street,

Penza, Russia)

Yuliya I. Serikova

Software engineer, Research and Production Enterprise "Rubin" (2 Baydukova street, Penza, Russia)

Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.

Поступила в редакцию / Received 28.11.2022

Поступила после рецензирования и доработки / Revised 20.01.2023 Принята к публикации / Accepted 19.02.2023