CC BY
12
ФУНДАМЕНТАЛЬНЫЕ ОСНОВЫ ПРОБЛЕМ НАДЕЖНОСТИ И КАЧЕСТВА
FUNDAMENTALS OF RELIABILITY
AND QUALITY ISSUES
УДК 519.24; 53; 57.017 doi:10.21685/2307-4205-2022-2-1
МУЛЬТИПЛИКАТИВНОЕ ОБЪЕДИНЕНИЕ ПОЛИНОМОВ ЛЕЖАНДРА С КЛАССИЧЕСКИМ СТАТИСТИЧЕСКИМ КРИТЕРИЕМ ВАСИЧЕКА ДЛЯ ПРОВЕРКИ ГИПОТЕЗ РАВНОМЕРНОСТИ ЛИБО НОРМАЛЬНОСТИ РАСПРЕДЕЛЕНИЙ ДАННЫХ МАЛЫХ ВЫБОРОК
А. И. Иванов1, А. В. Безяев2, А. Ю. Малыгин3, Е. Н. Куприянов4
1 Пензенский научно-исследовательский электротехнический институт, Пенза, Россия 2' 3' 4 Пензенский государственный университет, Пенза, Россия 1 [email protected], ' 4 [email protected], 3 [email protected]
Аннотация. Актуальность и цели. В прошлом веке создано порядка 20 статистических критериев проверки гипотезы нормального распределения данных и порядка 20 статистических критериев проверки гипотезы равномерности распределения данных. Рассматривается способ синтеза новых статистических критериев путем перемножения или деления их выходных состояний. Материалы и методы. Предложено выполнять перемножение (деление) отклика классического почти ортогонального полинома Лежандра на отклик классического статистического критерия Васичека. Результаты и выводы. Показано, что предложенные процедуры позволяют два новых сильных статистических критерия объединять с критерием Васичека. В итоге получается бинарный выходной код с трехкратной избыточностью. Свертывание избыточности кода позволяет снизить вероятности появления ошибок первого и второго рода в 5 раз.
Ключевые слова: статистический критерий Васичека, почти ортогональный полином Лежандра второго порядка, эквивалентные статистическим критериям искусственные нейроны, синтез новых статистических критериев перемножением выходных состояний известных критериев
Для цитирования: Иванов А. И., Безяев А. В., Малыгин А. Ю., Куприянов Е. Н. Мультипликативное объединение полиномов Лежандра с классическим статистическим критерием Васичека для проверки гипотез равномерности либо нормальности распределений данных малых выборок // Надежность и качество сложных систем. 2022. № 2. С. 5-13. doi:10.21685/2307-4205-2022-2-1
MULTIPLICATIVE UNION OF LEGENDRE POLYNOMIALS WITH THE CLASSICAL VASICEK STATISTICAL TEST FOR TESTING HYPOTHESES OF UNIFORMITY OR NORMALITY OF SMALL SAMPLE DATA DISTRIBUTIONS
A.I. Ivanov1, A.V. Bezyaev2, A.Yu. Malygin3, E.N. Kupriyanov4
1 Penza Research Institute of Electrical Engineering, Penza, Russia 2' 3' 4 Penza State University, Penza, Russia 1 [email protected], 2' 4 [email protected], 3 [email protected]
© Иванов А. И., Безяев А. В., Малыгин А. Ю., Куприянов Е. Н., 2022. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
Abstract. Background. In the last century, about 20 statistical criteria for testing the hypothesis of normal distribution of data and about 20 statistical criteria for testing the hypothesis of uniform distribution of data were created. The article considers a method for synthesizing new statistical criteria by multiplying or dividing their output states. Materials and methods. It is proposed to multiply (divide) the response of the classical almost orthogonal Legendre polynomial to the response of the classical Vasicek statistical test. Results and conclusions. It is shown that the proposed procedures allow two new strong statistical tests to be combined with the Vasicek test. The result is a binary output code with threefold redundancy. Code redundancy folding reduces the probability of occurrence of errors of the first and second kind by 5 times.
Keywords: Vasicek's statistical test, almost orthogonal Legendre polynomial of the second order, artificial neurons equivalent to statistical criteria, synthesis of new statistical tests by multiplying output states of known criteria
For citation: Ivanov A.I., Bezyaev A.V., Malygin A.Yu., Kupriyanov E.N. Multiplicative union of Legendre polynomials with the classical Vasicek statistical test for testing hypotheses of uniformity or normality of small sample data distributions. Nadezhnost' i kachestvo slozhnykh sistem = Reliability and quality of complex systems. 2022;(2):5-13. (In Russ.). doi:10.21685/2307-4205-2022-2-1
Введение
Прошлый век начался со значимого для математической статистики события. В 1900 г. Пирсоном был создан хи-квадрат критерий. Сегодня хи-квадрат критерий Пирсона является стандартным1, на ряду с другими классическими статистическими критериями2. В целом математической общественностью в XX в. было разработано более 21 критерия для проверки гипотезы нормального распределения данных и порядка 24 статистических критериев для проверки гипотезы равномерного распределения данных [1]. К сожалению, большинство ранее разработанных статистических критериев были ориентированы на обработку больших выборок в 200 и более примеров. Это существенно ограничивает область применения математической статистики. Так, в биометрии, медицине, экономике часто приходится иметь дело с малым числом примеров, доступных реальным практикам. Ждать накопления больших (представительных) статистических выборок нежелательно. Целесообразно работать с теми объемами статистики, которые легко доступны.
Еще одним важным аспектом является то, что уже сегодня разрабатываются перспективные алгоритмы быстрого и устойчивого обучения сетей искусственных нейронов, использующие подбор биометрических параметров с тем или иным законом распределения значений. Поясним эту перспективную технологию на примере анализа динамики рукописного почерка в среде моделирования «БиоНейроАвтограф» [2]. На рис. 1 приведено реальное распределение математических ожиданий 416 биометрических параметров, извлекаемых из динамики рукописного слова «Пенза» двухмерным преобразованием Фурье.
Рис. 1. Пример распределения значений математических ожиданий 416 биометрических параметров рукописного слова «Пенза»
Обучение нейронов ведется следующим образом. Если требуется отклик искусственного нейрона «0», то на 16 его входов подаются биометрические параметры с близкими математическими
1 Р 50.1.037-2002. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть I. Критерии типа х2.
2 Р 50.1.037-2002. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть II. Непараметрические критерии.
ожиданиями. Если требуется состояние «1», то на входы нейрона подаются биометрические параметры с достаточно большим расстоянием между их математическими ожиданиями. Биопараметры с близкими математическими ожиданиями всегда дают нормальное распределение входных данных нейрона, так как каждый из биопараметров имеет нормальное распределение. Биопараметры с разнесенными математическими ожиданиями всегда дают распределение близкое к равномерному. При этом один нейрон или группа нейронов должны уметь с высокой достоверностью различать между собой данные с нормальным и равномерным распределением.
Нейросетевое объединение нескольких статистических критериев для проверки гипотезы нормального или равномерного распределения данных
В XXI в. активно развиваются нейросетевые технологии, более того, пришло понимание, что любой из известных статистических критериев может быть представлен как некоторый эквивалентный ему искусственный нейрон. На сегодняшний день мы имеем коллекцию из порядка 30 статистических критериев, для которых уже построены эквивалентные им искусственные нейроны [3-5]. На данный момент для всех исследованных на сегодня статистических критериев удалось построить эквивалентные им искусственные нейроны.
Более того, формально искусственных нейронов может быть как угодно много. В литературе наиболее часто используются нейроны с накоплением данных в линейном пространстве суммированием. Так же хорошо изучены квадратичные нейроны с накоплением данных суммированием с предварительным квадратичным деформированием входного пространства. Любое иное искажение пространства входных данных перед суммированием будет давать некоторый искусственный нейрон, свойства которого слабо изучены. В этом отношении статистические критерии и эквивалентные им нейроны занимают промежуточное положение. Их статистические функционалы достаточно хорошо исследованы на больших выборках (при большом числе входов у эквивалентных им нейронов). Новизна материала данной статьи состоит в рассмотрении снижения числа входов у эквивалентных искусственных нейронов до 16 под малые выборки в 16 опытов.
При переходе к искусственным нейронам удается естественным образом объединять или совместно использовать несколько статистических критериев. Достаточно сформировать однослойную сеть из эквивалентных статистическим критериям нескольких искусственных нейронов. Структура такой однослойной сети параллельно работающих искусственных нейронов отображена на рис. 2.
Рис. 2. Параллельная обработка малой выборки в 16 опытов несколькими искусственными нейронами эквивалентными хи-квадрат критерию и иным известным статистическим критериям проверки той или иной гипотезы
Каждый из созданных в XX в. статистических критериев плохо работает на малых выборках. Например, на выборке в 16 опытов хи-квадрат критерий Пирсона дает значение появления вероятности ошибок первого и второго рода на уровне Р\ ~ Р2 ~ Рее ~ 0,33, что примерно в 10 раз хуже, чем требует практика. Очевидно, что, объединив в одну нейросеть 20 эквивалентных статистическим критериям нейронов, на выходе такой нейросети мы будем получать выходной код с 20-кратной из-
быточностью, т.е. мы всегда можем свернуть избыточный код, скорректировав в его разрядах ошибки [6, 7]. В простейшем случае может быть использован самокорректирующийся код, построенный на равноправном голосовании большинства состояний его разрядов.
Статистический критерий Васичека как один из самых эффективных классических критериев проверки гипотезы нормального распределения малых выборок
Существующие статистические критерии ведут себя по-разному в разных условиях. Для того, чтобы их сравнивать между собой, необходимо приводить их к одинаковым условиям. Очевидно, что при сравнении должны использоваться выборки одинакового размера. Кроме того, желательно выполнить симметризацию задачи по выбору порога принятия решения через выравнивание вероятностей появления ошибок первого и второго рода. Будем рассматривать задачу анализа малых выборок в 16 опытов для одного из самых мощных классического статистического критерия Васичека [1]. Будем рассматривать процесс принятия искусственным нейроном Васичека решения о различении малых выборок с альтернативой нормального и равномерного распределения входных данных. Статистики выходных состояний искусственного нейрона отражены на рис. 3.
Нормальные
данные
Рис. 3. Распределение выходных состояний критерия Васичека и эквивалентного ему искусственного нейрона для малой выборки в 16 опытов
Из рис. 3 видно, что при значении порога принятия решений нейроном V = 0,94 вероятности ошибок первого и второго рода оказываются близки и составляют Р1 ~ Р2 ~ РЕЕ ~ 0,055, т.е. критерий Васичека является одним из самых мощных классических критериев, созданных в прошлом веке для проверки гипотезы нормального распределения данных малых выборок в 16 опытов. Мощность критерия Васичека оказывается выше хи-квадрат критерия Пирсона в 0,33/0,055 = 6 раз. Программное обеспечение на языке МаШСАБ для реализации численного эксперимента моделирования критерия Васичека приведено на рис. 4.
Рис. 4. Фрагмент программы, воспроизводящей на языке МаШСАЭ отклики нейрона Васичека и оптимизированного полиномиального нейрона Лежандра
Моделирование ортогональных и почти ортогональных полиномов Лежандра второго порядка
Следует отметить, что рассмотренная выше ситуация синтеза искусственных нейронов ориентирована на разделение двух типов данных с нормальным и равномерным распределением. Перспективные быстрые алгоритмы обучения больших сетей искусственных нейронов биометрической аутентификации сегодня строятся подключением входов их нейронов к нормально распределенным данным или к равномерно распределенным биометрическим данным. При этом сколько искусственных нейронов будет работать параллельно (см. рис. 1), не имеет значения. Главное, чтобы их общее решение после свертки избыточности имело заранее заданный уровень достоверности. Технически оказалось выгодно увеличивать число параллельно работающих нейронов или эквивалентных им статистических критериев.
В связи с этим нам желательно иметь математические конструкции, изначально оптимизированные под обработку нормальных и равномерных данных. Кроме того, из теории нелинейных динамических объектов [8-11] нам известно о возможности ортогонализации вычислительных процедур. В связи с этим имеет смысл попытаться использовать полиномы Лежандра [11], так как они ортогональны для случайных данных с равномерным распределением в интервале от -1 до +1. Ранее проведенные исследования показали, что снижение размеров выборки биометрических данных размывает эффект ортогонализации полиномов. В связи с этим в работе [12] выполнена оптимизация полинома Лежандра второго порядка, выполненная заменой единичной постоянной составляющей полинома на значение 0,2 (см. рис. 3). Такая оптимизация позволяет снизить вероятности появления ошибок первого и второго рода на 41 % до значений Р1 ~ Р2 ~ РЕЕ ~ 0,262. На рис. 5 приведены распределения выходных состояний почти ортогонального полиномиального нейрона Лежандра второго порядка для малых выборок в 16 опытов.
0.015
Нормальные
данные
Рис. 5. Выходные состояния искусственного оптимизированного полиномиального нейрона Лежандра на малой выборке в 16 опытов
Новый статистический критерий почти ортогонального полинома Лежандра второго порядка имеет мощность в 0,33/0,264 = 1,26 выше по сравнению с хи-квадрат критерием Пирсона. Тем не менее его прямое использование в нейросетевых корректорах ошибок принятия решений на данный момент не целесообразно.
Мультипликативный синтез новых более мощных статистических критериев умножением и делением выходных состояний классического критерия Васичека и полиномиального критерия Лежандра
Одним из вариантов синтеза нового комбинированного критерия является перемножение выходных состояний критерия Лежандра и критерия Васичека. Статистики выходных состояний нового искусственного нейрона отображены на рис. 3, программное обеспечение численного эксперимента для исследования нового критерия отображено на рис. 4. При пороге квантования ЬеУ = 1,77 близкие вероятности ошибок первого и второго рода составляют Р] ~ Р2 ~ РЕЕ ~ 0,092.
Вторым вариантом синтеза нового статистического критерия является деление отклика критерия Лежандра на отклик критерия Васичека. Выходные состояния нового искусственного нейрона отображены на рис. 6. При пороге квантования Ье/У = 2,05 близкие вероятности ошибок первого и второго рода составляют Р1 ~ Р2 ~ РЕЕ ~ 0,262.
Рис. 6. Выходные состояния искусственного нейрона, синтезированного умножением полинома Лежандра на отклик критерия Васичека на выборке в 16 опытов
Таким образом, в дополнение к достаточно мощному критерию Васичека, мы получили два новых дополнительных статистических критериев с мощностью выше, чем у входящего в них исходного критерия Лежандра (рис. 7).
Рис. 7. Выходные состояния искусственного нейрона, синтезированного делением полинома Лежандра на отклик критерия Васичека на малой выборке в 16 опытов
Синтез нейросетевого корректора ошибок с тройной кодовой избыточностью для разделения данных малых выборок с нормальным и равномерным распределениями
Очевидным является то, что простейшие конструкции свертывания кодовой избыточности голосованием разрядов (см. рис. 1) малоэффективны по сравнению с более сложными кодовыми конструкциями [12]. Вопрос состоит только в том, как научиться создавать более сложные кодовые конструкции для нейронных сетей, обобщающих группы статистических критериев? При этом выигрыш от перехода к более сложным кодовым конструкциям всегда будет расти с ростом кодовой избыточности.
В рассматриваемом нами случае объединяются всего два критерия: статистический критерий Васичека и статистический критерий Лежандра. Построить на двух критериях простейший корректор нельзя. Однако если мы из двух критериев создадим четыре критерия, то можем взять три самых
мощных критерия и построить на них простейший сверточный самокорректирующийся код, устраняющий трехкратную избыточность. Структура организации этого кода отображена на рис. 8.
Рис. 8. Параллельная обработка данных тремя статистическими критериями с синтезом обнаружителя и корректора ошибок с тройной кодовой избыточностью
Заключение
Таким образом, мы получаем возможность за счет нелинейных операций перемножения и деления выходных состояний двух статистических критериев создавать достаточно сложную конструкцию, способную эффективно обнаруживать и исправлять ошибочные кодовые состояния. Это позволяет снизить вероятность ошибок по сравнению с лучшим одиночным критерием Васиче-ка РЕЕ ~ 0,055 до итоговой вероятности РЕЕ ~ 0,011. Эффект достигается объединением трех статистических критериев. Для рассмотренной самокорректирующейся кодовой конструкции с трехкратной избыточностью удается достичь пятикратного снижения вероятности появления ошибок. Последнее является подтверждением высокой эффективности рассмотренного в статье направления по мультипликативному объединению уже известных и новых статистических критериев.
Список литературы
1. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : Физ-матлит, 2006. 816 с.
2. Иванов А. И., Захаров О. С. Среда моделирования «БиоНейроАвтограф». Программный продукт для проведения лабораторных работ студентами, размещен с 2009 г. на сайте АО «ПНИЭИ». URL: http://пниэи.рф/activity/science/noc/bioneuroautograph.zip
3. Иванов А. И., Банных А. Г., Безяев А. В. Искусственные молекулы, собранные из искусственных нейронов, воспроизводящих работу классических статистических критериев // Вестник Пермского университета. Сер.: Математика. Механика. Информатика. 2020. № 1. С. 26-32.
4. Иванов А. И. Искусственные математические молекулы: повышение точности статистических оценок на малых выборках (программы на языке MathCAD) : препринт. Пенза : Из-во ПГУ, 2020. 36 с.
5. Иванов А. И., Банных А. Г., Куприянов Е. Н. [и др.]. Коллекция искусственных нейронов эквивалентных статистическим критериям для их совместного применения при проверке гипотезы нормальности малых выборок биометрических данных // Безопасность информационных технологий : сб. науч. ст. по материалам I Всерос. науч.-техн. конф. Пенза, 2019. С. 156-164.
6. Морелос-Сарагоса Р. Искусство помехоустойчивого кодирования : пер. с англ. М. : Техносфера, 2007. 320 с.
7. Безяев А. В. Биометрико-нейросетевая аутентификация: обнаружение и исправление ошибок в длинных кодах без накладных расходов на избыточность : препринт. Пенза : Изд-во ПГУ, 2020. 40 с.
8. Иванов А. И. Одномерный аналог многомерной идентификации Ли-Щецена // Управляющие системы и машины. 1999. № 2. C. 16-21.
9. Иванов А. И. Быстрый синтез моделей нелинейных динамических систем с заданной погрешностью // Измерительная техника. 1995. № 10. С. 13-15.
10. Ivanov A. I. Two Methods of Hammersteine Orthogonal Model Identification with the Possibility of Convergence Defect Estimation // Engineering Simulation. 1999. Vol. 16. P. 553-560.
11. Иванов А. И. Нейросетевые технологии биометрической аутентификации пользователей открытых систем : автореф. ... дис. д-ра техн. наук. Пенза, 2002. 34 с.
12. Куприянов Е. Н. Оптимизация параметров полиномиального критерия Лежандра, ориентированного на проверку гипотезы равномерного распределения данных малых выборок // Безопасность информационных технологий : сб. науч. ст. по материалам IV Всерос. науч.-техн. конф. Пенза, 2022. С. 56-60.
1. Kobzar' A.I. Prikladnaya matematicheskaya statistika. Dlya inzhenerov i nauchnykh rabotnikov = Applied mathematical statistics. For engineers and researchers. Moscow: Fizmatlit, 2006:816. (In Russ.)
2. Ivanov A.I., Zakharov O.S. Sreda modelirovaniya «BioNeyroAvtograf». Programmnyy produkt dlya provedeniya laboratornykh rabot studentami, razmeshchen s 2009 g. na sayte AO «PNIEI» = Modeling environment "Bionei-roautograph ". A software product for conducting laboratory work by students, posted since 2009 on the website of JSC PNIEI. (In Russ.). Available at: http://pniei.rf/activity/science/noc/bioneuroautograph.zip
3. Ivanov A.I., Bannykh A.G., Bezyaev A.V. Artificial molecules assembled from artificial neurons reproducing the work of classical statistical criteria. Vestnik Permskogo universiteta. Ser.: Matematika. Mekhanika. Informatika = Bulletin of the Perm University. Ser.: Matematika. Mechanics. Computer science. 2020;(1):26-32. (In Russ.)
4. Ivanov A.I. Iskusstvennye matematicheskie molekuly: povyshenie tochnosti statisticheskikh otsenok na malykh vyborkakh (programmy na yazyke MathCAD): preprint = Artificial mathematical molecules: improving the accuracy of statistical estimates on small samples (programs in MathCAD) : preprint. Penza: Iz-vo PGU, 2020:36. (In Russ.)
5. Ivanov A.I., Bannykh A.G., Kupriyanov E.N. [et al.]. Collection of artificial neurons equivalent to statistical criteria for their joint application when testing the hypothesis of normality of small samples of biometric data. Be-
zopasnost' informatsionnykh tekhnologiy: sb. nauch. st. po materialam I Vseros. nauch.-tekhn. konf. = Information technology security : collection of scientific articles based on the materials of I All-Russian Scientific-technical. conf. Penza, 2019:156-164. (In Russ.)
6. Morelos-Saragosa R. Iskusstvo pomekhoustoychivogo kodirovaniya: per. s angl. = The art of noise-resistant coding : trans. from English. Moscow: Tekhnosfera, 2007:320. (In Russ.)
7. Bezyaev A.V. Biometriko-neyrosetevaya autentifikatsiya: obnaruzhenie i ispravlenie oshibok v dlinnykh kodakh bez nakladnykh raskhodov na izbytochnost': preprint = Biometric-neural network authentication: detection and correction of errors in long codes without redundancy overhead : preprint. Penza: Izd-vo PGU, 2020:40. (In Russ.)
8. Ivanov A.I. One-dimensional analogue of the multidimensional identification of Li-Shchetsin. Upravlyayushchie sistemy i mashiny = Control systems and machines. 1999;(2):16-21. (In Russ.)
9. Ivanov A.I. Rapid synthesis of models of nonlinear dynamic systems with a given error. Izmeritel'naya tekhnika = Measuring equipment. 1995;(10):13-15. (In Russ.)
10. Ivanov A.I. Two Methods of Hammersteine Orthogonal Model Identification with the Possibility of Convergence Defect Estimation. Engineering Simulation. 1999;16:553-560.
11. Ivanov A.I. Neural network technologies of biometric authentication of users of open systems. DSc abstract. Penza, 2002:34. (In Russ.)
12. Kupriyanov E.N. Optimization of parameters of the Legendre polynomial criterion aimed at testing the hypothesis of uniform distribution of small sample data. Bezopasnost' informatsionnykh tekhnologiy: sb. nauch. st. po materialam IV Vseros. nauch.-tekhn. konf. = Security of information technologies : collection of scientific articles based on the materials of the IV All-Russian Scientific-Technical. conf.. Penza, 2022:56-60. (In Russ.)
References
Информация об авторах / Information about the authors
Александр Иванович Иванов
доктор технических наук, доцент, ведущий научный сотрудник, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9) E-mail: [email protected]
Aleksandr I. Ivanov
Doctor of technical sciences, associate professor, senior researcher,
Penza Research Electrotechnical Institute (9 Sovetskaya street, Penza, Russia)
Александр Викторович Безяев
кандидат технических наук, докторант, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Aleksandr V. Bezyaev
Candidate of technical sciences,
doctor's degree student, Penza State University
(40 Krasnaya street, Penza, Russia)
Александр Юрьевич Малыгин
доктор технических наук, профессор, начальник межотраслевой лаборатории тестирования биометрических устройств и технологий, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Евгений Николаевич Куприянов
аспирант,
Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Aleksandr Yu. Malygin
Doctor of technical sciences, professor, head of the Intersectoral testing laboratory of biometric devices and technologies, Penza State University (40 Krasnaya street, Penza, Russia)
Evgeniy N. Kupriyanov
Postgraduate student,
Penza State University
(40 Krasnaya street, Penza, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 15.12.2021 Поступила после рецензирования/Revised 10.01.2022 Принята к публикации/Accepted 15.02.2022
