CC BY
8
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
COMPUTER SCIENCE, COMPUTER ENGINEERING AND CONTROL
УДК 004.8, 004.032.26 doi:10.21685/2072-3059-2022-4-1
Номограммы для сравнения корректирующих способностей бинарных и троичных нейронов, используемых при многокритериальной проверке гипотезы независимости данных малых выборок
В. И. Волчихин1, А. И. Иванов2, А. П. Иванов3, Р. В. Еременко4, К. Н. Савинов5
1,3,4,5Пензенский государственный университет, Пенза, Россия 2Пензенский научно-исследовательский электротехнический институт, Пенза, Россия
[email protected], [email protected], [email protected], 4,[email protected]
Аннотация. Актуальность и цели. Целью работы является получение численной оценки эффекта перехода от обычных бинарных нейронов с двумя выходными состояниями «0», «1» к нейронам с тремя выходными состояниями «-1», «0», «1». Материалы и методы. В качестве примера рассматривается нейронная сеть, обобщающая три классических статистических критерия проверки гипотезы независимости малых выборок объемом в 22 опыта. Использованы критерий Пирсона - Эджуорта -Эдлтона (1890-1900), критерий Кенуя (1965) и модифицированный критерий Нельсона (1983). Для этих критериев построены эквивалентные им искусственные нейроны с бинарным и троичным квантователями. В итоге мы получаем двоичный и троичный выходной код с трехкратной кодовой избыточностью. Свертывание этих кодов дает возможность скорректировать присутствующие в них ошибки. Через выполнение симметризации корреляционных матриц создан прогноз качества принимаемых нейросетевых решений для ситуации, когда будет использован 21 статистический критерий проверки гипотезы независимости. Дана номограмма, позволяющая оценить выигрыш при переходе от обычных бинарных нейронов к троичным нейронам. Результаты. Троичный самокорректирующийся выходной код нейросети по его корректирующей способности оказался в полтора раза мощнее в сравнении с его бинарным аналогом. Последнее объясняется ростом объема доступной для анализа информации и большей информативностью данных о синдромах ошибок. Выводы. Сделано предположение о том, что эффект усиления роста корректирующей способности троичных нейронов по сравнению с двоичными нейронами будет усиливаться по мере роста числа искусственных нейронов, объединяющих для совместного использования известные сегодня статистические критерии.
Ключевые слова: искусственные нейроны, бинарные нейроны, троичные нейроны, троичные квантователи
© Волчихин В. И., Иванов А. И., Иванов А. П., Еременко Р. В., Савинов К. Н., 2022. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
Для цитирования: Волчихин В. И., Иванов А. И., Иванов А. П., Еременко Р. В., Савинов К. Н. Номограммы для сравнения корректирующих способностей бинарных и троичных нейронов, используемых при многокритериальной проверке гипотезы независимости данных малых выборок // Известия высших учебных заведений. Поволжский регион. Технические науки. 2022. № 4. С. 5-16. doi:10.21685/2072-3059-2022-4-1
Nomograms for comparing the corrective abilities of binary and ternary neurons used in multicriteria testing of the hypothesis of small sample data independence
V.I. Volchikhin1, A.I. Ivanov2, A.P. Ivanov3, R.V. Eremenko4, K.N. Savinov5
i,3,4,5penza State University, Penza, Russia 2Penza Scientific Research Electrotechnical Institute, Penza, Russia [email protected], [email protected], [email protected], [email protected]
Abstract. Background. The purpose of the research is to obtain a numerical estimate of the effect of the transition from ordinary binary neurons with two output states "0", "1" to neurons with three output states "-1", "0", "1". Materials and methods. As an example, a neural network is considered that generalizes three classical statistical criteria for testing the hypothesis of independence of small samples of 22 experiments. The Pearson-Edgeworth-Edleton test (1890-1900), the Kenoway test (1965) and the modified Nelson test (1983) were used. For these criteria, artificial neurons equivalent to them with binary and ternary quantizes have been constructed. As a result, we get a binary and ternary output code with a threefold code redundancy. The folding of these codes makes it possible to correct the errors present in them. Through the implementation of the summarization of correlation matrices, a forecast of the quality of the made neural network decisions was created for a situation where 21 statistical criteria for testing the independence hypothesis will be used. A nomogram is given that allows one to estimate the gain in the transition from ordinary binary neurons to ternary neurons. Results. The ternary self-correcting output code of the neural network in terms of its corrective ability turned out to be one and a half times more powerful in comparison with its binary counterpart. The latter is explained by the increase in the amount of information available for analysis and the greater information content of data on error syndromes. Conclusions. It has been suggested that the effect of increasing the growth of the corrective ability of ternary neurons compared to binary neurons will increase as the number of artificial neurons that combine the currently known statistical criteria for joint use increases. Keywords: artificial neurons, binary neurons, ternary neurons, ternary quantizes For citation: Volchikhin V.I., Ivanov A.I., Ivanov A.P., Eremenko R.V., Savinov K.N. Nomograms for comparing the corrective abilities of binary and ternary neurons used in multicriteria testing of the hypothesis of small sample data independence. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = University proceedings. Volga region. Engineering sciences. 2022;(4):5-16. (In Russ.). doi:10.21685/2072-3059-2022-4-1
Проблема достоверной оценки корреляционных связей на малых выборках биометрических данных
В конце XIX в. в период 1890-1900 гг. при статистическом анализе данных уже активно использовалась классическая формула вычисления коэффициентов корреляции:
о(х) с(у)
где Е(.) - математические ожидания; а(.) - стандартные отклонения сравниваемых выборок; п - размер выборок.
Так как нам требуется проверять гипотезу независимости малых выборок, формулу (1) следует рассматривать как один из самых ранних критериев. Условно будем его называть критерием Эджуорта - Эудлтона - Пирсона, так как формула (1) встречается в их работах конца XIX в.
К сожалению, попытки воспользоваться формулой (1) на малых выборках в 22 опыта дают огромный разброс оценок даже для слабо коррелированных данных (Дг ~ ±0,6). Столь значительный интервал ошибок не дает возможности быстро обучать ряд перспективных сетей искусственных нейронов [1-4].
В XX в. математическая общественность вела активные исследования по синтезу 21 статистического критерия [5], ориентированного на проверку гипотезы независимости данных. Так как классический критерий Эджуорта -Эудлтона - Пирсона (1) не может дать нужной точности, целесообразно использовать совместно несколько статистических критериев. Например, мы можем дополнить его критерием Кенуя [6] (1965) и модифицированным критерием Нельсона (1983) [7].
Критерий Кенуя построен на подсчете числа знаков координат точек (хг,у г]. Подсчитывается число точек с координатами, имеющими одинаковые знаки, и число точек с координатами, имеющими разные знаки. Далее вычисляется разность между ними.
Критерий Нельсона построен на сравнении расстояний между координатами двух соседних точек. Подсчитывается число точек с одинаковыми знаками разностей координат по обоим переменным и число точек с отличающимися знаками разностей. Далее вычисляют разность найденных чисел. Программное обеспечение на языке MathCAD 1 для моделирования перечисленных выше критериев представлено на рис. 1.
Результаты численных экспериментов приведены на рис. 2.
Решить проблему объединения трех статистических критериев удается, если каждому из критериев поставить в соответствие эквивалентный искусственный нейрон. Например, это может быть обычный бинарный нейрон с выходным двухпороговым квантователем к = -0,22 и к = +0,22. Как показано на рис. 2, попадание в интервал между двумя порогами дает для нейронов выходное состояние «0» с вероятностью 0,682. Попадание данных вне интервала между порогами дает выходное состояние «1» с вероятностью 0,318.
В результате сеть, состоящая из трех бинарных нейронов, для каждой малой выборки дает выходной трехбитный код. Если все три нейрона принимают гипотезу независимости данных, то появляется кодовое состояние «000». В этом случае с высокой вероятностью можно говорить об обнаружении действительно независимых данных.
Если решения трех нейронов расходятся, то в разрядах кода возникают единичные состояния «1». Рассматриваемый код имеет трехкратную избыточность, которая может быть свернута с параллельным устранением ошибок [8-10]. Одним из самых простых способов свертывания кодов является под-
счет в их разрядах числа состояний «1». Эта операция эквивалентна вычислению расстояний Хэмминга до эталонного кода «000». На рис. 3 представлен спектр амплитуд вероятности расстояний Хэмминга.
Рис. 1. Программное обеспечение, воспроизводящее работу классического критерия - г; критерия Кенуя - К и критерия Нельсона - N
Критерий Эджуорта - Эдлтона - Пирсона Критерий Кенуя
Рис. 2. Разброс значений оценок корреляции для слабо зависимых данных, возникающих из-за малого объема выборки
Нулевая линия на рис. 3 соответствует состоянию «000», возникающему с вероятностью 0,395, трех рассматриваемых нейронов. Первая линия соответствует кодам с одним единичным разрядом. Такие коды возникают с вероятностью 0,33. Две последующие линии отражают вероятности появле-
ния кодов с обнаруженной неисправимой ошибкой. В итоге рассматриваемая нейрокодовая конструкция исправляет примерно 6 % ошибочных состояний. При этом доверительная вероятность каждого нейрона 0,682 для трех нейронов поднимается до величины 0,725.
Рис. 3. Спектр линий амплитуд вероятности появления расстояний Хэмминга
Прогнозирование вероятностей принятия верных решений при нейросетевом объединении 21 известного статистического критерия
Очевидно, что доверительной вероятности 0,725 недостаточно для практического применения тройки объединяемых критериев. В связи с этим рассмотрим ситуацию, когда каждый из известных на текущий момент статистических критериев будет заменен на эквивалентный ему искусственный нейрон.
При прогнозах необходимо учитывать сильные корреляционные связи между откликами объединяемых статистических критериев. В рассматриваемом случае мы имеем между тремя нейронами коэффициенты взаимной корреляции 0,64; 0,585; 0,463. В простейшем случае операция симметризации выполняется усреднением модулей коэффициентов корреляции, находящихся вне диагонали (рис. 4) [11].
Рис. 4. Замена реальной асимметричной корреляционной матрицы на ее симметричный аналог с последующим увеличением симметричной матрицы с 3 х 3 до 6 х 6
Исходя из предположения, что коэффициенты корреляции симметричных матриц иных статистических критериев сопоставимы с коэффициентами корреляции симметричной матрицы 3 х 3, мы можем создать симметричную
модель нейросети, обобщающую 21 статистический критерий. Далее мы можем воспроизвести программно эту модель и перейти от анализа обычных кодов к анализу спектра расстояний Хэмминга (рис. 5).
Рис. 5. Спектр амплитуд вероятности появления линий расстояний Хэмминга для нейросети, обобщающей 21 статистический критерий
Из рис. 5 мы видим появление примерно 20 значимых по амплитудам вероятности расстояний Хэмминга. Амплитуды вероятности спектральных линий с номерами от 0 до 10 выше амплитуд вероятности спектральных линий с номерами от 11 до 20. Именно это и позволяет данной конструкции обнаруживать и устранять ошибки. Подсчет вероятностей устранения ошибок обеспечивает доверительную вероятность принятия решений на уровне 0,8.
Замена бинарных нейронов на их троичные аналоги
Очевидно, что бинарные выходные квантователи трех нейронов мы можем заменить на троичные квантователи, обеспечивающие каждому нейрону три выходных состояния: «-1», «0», «+1» с теми же самыми порогами квантования. Эта ситуация отображена на рис. 6.
Критерий Эджуорта - Эдлтона - Пирсона Критерий Кенуя
Рис. 6. Замена в искусственных нейронах бинарных квантователей на троичные квантователи
Формально три троичных нейрона будут давать выходной код с шестью битами, что удваивает его избыточность. Если теперь перейти к спектру
расстояний Хэмминга через подсчет суммы состояний разрядов кодов, то мы получим данные, отображенные на рис. 7.
Рис. 7. Спектр амплитуд вероятности расстояний Хэмминга для трех троичных нейронов
Троичный код с обнаружением и исправлением ошибок удается построить, если разделять три центральных линии спектра Хэмминга по модулю три и четыре боковых линии. Этот троичный самокорректирующийся код мощнее бинарного, так как исправляет примерно 9,4 % ошибок и обеспечивает доверительную вероятность 0,746.
Если мы воспроизведем программно 21 статистический критерий и эквивалентные им троичные нейроны, то получим спектр из 40 значимых линий расстояний Хэмминга. Пример такого спектра дан на рис. 8.
Рис. 8. Спектр линий расстояний Хэмминга 21 троичного нейрона для слабо коррелированных данных малых выборок
Значительное усложнение анализируемого спектра позволяет создавать самокорректирующуюся кодовую конструкцию, способную обнаруживать и исправлять примерно 28,7 % процентов ошибок, возникающих в этой кодовой конструкции. Сеть из 21 искусственного троичного нейрона позволяет достигать доверительной вероятности 0,878, что уже близко к требованиям практики.
Вероятностные номограммы нейросетевых самокорректирующихся кодовых конструкций
Проведенные исследования показали, что при использовании линейной шкалы вероятностей пропуска ошибок и логарифмической шкалы числа двоичных нейронов снижение вероятности ошибок хорошо описывается линейной функцией. Эта ситуация отображена для трех значений числа нейронов (1 нейрон, 3 нейрона, 21 нейрон) на рис. 9.
Рис. 9. Вероятностная номограмма роста корректирующей способности бинарных нейронов по мере увеличения их количества
Три точки хорошо ложатся на одну линию при разном числе опытов в анализируемых выборках объемом в 11, 22, 44, 88 опытов. При этом для бинарных нейронов не удается добиться доверительной вероятности 0,99 даже при использовании более 1000 статистических критериев проверки гипотезы независимости.
Ситуация значительно улучшается, если заменить бинарные нейроны на троичные нейроны. Линии прогнозирования для них приведены на рис. 10, из которого видно, что для достижения достаточных для практики доверительных вероятностей 0,99 достаточно будет использовать сеть, содержащую примерно 100 троичных нейронов.
Заключение
Результаты проведенных исследований показали, что троичные нейроны намного эффективнее обычных бинарных нейронов. Более того, можно высказать предположение о том, что переход к еще более сложным кодовым конструкциям (пятеричным и семеричным нейронам) позволит многократно усилить корректирующие способности конструкций рассматриваемого типа.
В этом отношении мы занимаемся копированием того, что существует в природе, в сетях естественных нейронов живых существ. Все естественные нейроны живых существ формируют пачки импульсов при взаимном обмене информацией, т.е. все естественные нейроны строятся с использованием многоуровневых квантователей [12, 13]. Фактически, переходя от хорошо изученных бинарных нейронов к более сложным нейронам с многоуровневыми квантователями, мы идем по тропе «бионики», повторяя механизмы, давно используемые живыми существами.
Рис. 10. Вероятностная номограмма роста корректирующей способности троичных нейронов по мере увеличения их количества
Еще одним важнейшим моментом исследований является то, что вероятностные номограммы всех Q-ичных искусственных нейронов, видимо, будут строиться как линейные функции в полулогарифмических системах координат. Это делает разработку соответствующего справочника, состоящего из сотен номограмм, вполне реальной задачей.
Список литературы
1. Иванов А. И., Безяев А. В., Малыгина Е. А., Серикова Ю. И. Второй национальный стандарт России по быстрому автоматическому обучению больших искусственных нейронных сетей на малых выборках биометрических данных // Безопасность информационных технологий : сб. науч. ст. по материалам I Всерос. науч.-техн. конф. (24 апреля 2019 г.). Пенза : Изд-во ПГУ, 2019. С. 174-177.
2. Иванов А. И., Сулавко А. Е. Проект третьего национального стандарта России по быстрому автоматическому обучению больших сетей корреляционных нейронов на малых обучающих выборках биометрических данных // Вопросы кибербез-опасности. 2021. № 3 (43). С. 84-93.
3. Иванов А. И., Сулавко А. Е. Использование сетей корреляционных нейронов с многоуровневым квантованием: защита от извлечения знаний из параметров решающего правила : препринт. Пенза : Изд-во ПГУ, 2020. 48 с.
4. Иванов А. И., Золотарева Т. А. Искусственный интеллект в защищенном исполнении: синтез статисшко-нейросетевых автоматов многокритериальной проверки гипотезы независимости малых выборок биометрических данных : препринт. Пенза : Изд-во ПГУ, 2020. 105 с.
5. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : Физматлит, 2006. 816 с.
6. Кенуй М. Г. Быстрые статистические вычисления. Упрощенные методы оценивания и проверки. М. : Статистика, 1979.
7. Nelson L. S. A sign test for correlation // Journal of Quality Technology. 1983. Vol. 15, № 4. P. 199-200.
8. Морелос-Сарагоса Р. Искусство помехоустойчивого кодирования. М. : Техносфера, 2007. 320 с.
9. Иванов А. И., Банных А. Г., Безяев А. В. Искусственные молекулы, собранные из искусственных нейронов, воспроизводящих работу классических статистических критериев // Вестник Пермского университета. Сер.: Математика. Механика. Информатика. 2020. № 1 (48). С. 26-32.
10. Безяев А. В. Биометрико-нейросетевая аутентификация: обнаружение и исправление ошибок в длинных кодах без накладных расходов на избыточность : препринт. Пенза : Изд-во ПГУ, 2020. 40 с.
11. Иванов А. И., Банных А. Г., Серикова Ю. И. Учет влияния корреляционных связей через их усреднение по модулю при нейросетевом обобщении статистических критериев для малых выборок // Надежность. 2020. Т. 20, № 2. С. 28-34. URL: https://doi.org/10.21683/1729-2646-2020-20-2-28-34
12. Малыгина Е. А. Биометрико-нейросетевая аутентификация: перспективы применения сетей квадратичных нейронов с многоуровневым квантованием биометрических данных : препринт. Пенза : Изд-во ПГУ, 2020. 114 с.
13. Иванов А. И. Нейродинамика: гиперускорение направленных переборов или повышение достоверности статистических оценок на малых выборках : препринт. Пенза : Изд-во ПГУ, 2021. 106 с.
References
1. Ivanov A.I., Bezyaev A.V., Malygina E.A., Serikova Yu.I. The second national standard of Russia for fast automatic training of large artificial neural networks on small samples of biometric data. Bezopasnost' informatsionnykh tekhnologiy: sb. nauch. st. po materialam I Vseros. nauch.-tekhn. konf. (24 aprelya 2019 g.) = Information technology security: proceedings of the 1st All-Russian scientific and engineering conference (April 24, 2019). Penza: Izd-vo PGU, 2019:174-177. (In Russ.)
2. Ivanov A.I., Sulavko A.E. Draft of the third national standard of Russia for fast automatic training of large networks of correlation neurons on small training samples of biometric data. Voprosy kiberbezopasnosti = Cyber security issues. 2021;(3):84-93. (In Russ.)
3. Ivanov A.I., Sulavko A.E. Ispol'zovanie setey korrelyatsionnykh neyronov s mnog-ourovnevym kvantovaniem: zashchita ot izvlecheniya znaniy iz parametrov reshayush-chego pravila: preprint = Using networks of correlation neurons with multilevel quantization: protection against extracting knowledge from the parameters of the decision rule: preprint. Penza: Izd-vo PGU, 2020:48. (In Russ.)
4. Ivanov A.I., Zolotareva T.A. Iskusstvennyy intellekt v zashchishchennom ispolnenii: sintez statistiko-neyrosetevykh avtomatov mnogokriterial'noy proverki gipotezy nezavi-simosti malykh vyborok biometricheskikh dannykh: preprint = Protected artificial intelligence: synthesis of statistical neural network automata for multicriteria testing of the independence hypothesis of small samples of biometric data: preprint. Penza: Izd-vo PGU, 2020:105. (In Russ.)
5. Kobzar' A.I. Prikladnaya matematicheskaya statistika. Dlya inzhenerov i nauchnykh rabotnikov = Applied mathematical statistics. For engineers and scientists. Moscow: Fizmatlit, 2006:816. (In Russ.)
6. Kenuy M.G. Bystrye statisticheskie vychisleniya. Uproshchennye metody otsenivaniya i proverki = Fast statistical calculations. Simplified scoring and validation methods. Moscow: Statistika, 1979. (In Russ.)
7. Nelson L.S. A sign test for correlation. Journal of Quality Technology. 1983;15(4):199-200.
8. Morelos-Saragosa R. Iskusstvo pomekhoustoychivogo kodirovaniya = The art of error-correcting coding. Moscow: Tekhnosfera, 2007:320. (In Russ.)
9. Ivanov A.I., Bannykh A.G., Bezyaev A.V. Artificial molecules assembled from artificial neurons that reproduce the work of classical statistical criteria. Vestnik Permskogo universiteta. Ser.: Matematika. Mekhanika. Informatika = Bulletin of Perm University. Series: Mathematics. Mechanics. Informatics. 2020;(1):26-32. (In Russ.)
10. Bezyaev A.V. Biometriko-neyrosetevaya autentifikatsiya: obnaruzhenie i ispravlenie oshibok v dlinnykh kodakh bez nakladnykh raskhodov na izbytochnost': preprint = Bio-metric-neural network authentication: detection and correction of errors in long codes without redundancy overhead: preprint. Penza: Izd-vo PGU, 2020:40. (In Russ.)
11. Ivanov A.I., Bannykh A.G., Serikova Yu.I. Accounting for the influence of correlations through their module averaging with neural network generalization of statistical criteria for small samples. Nadezhnost' = Reliability. 2020;20(2):28-34. (In Russ.). Available at: https://doi.org/10.21683/1729-2646-2020-20-2-28-34
12. Malygina E.A. Biometriko-neyrosetevaya autentifikatsiya: perspektivy primeneniya setey kvadratichnykh neyronov s mnogourovnevym kvantovaniem biometricheskikh dannykh: preprint = Biometric-neural network authentication: prospects for the use of networks of quadratic neurons with multilevel quantization of biometric data: preprint. Penza: Izd-vo PGU, 2020:114. (In Russ.)
13. Ivanov A.I. Neyrodinamika: giperuskorenie napravlennykh pereborov ili povyshenie dostovernosti statisticheskikh otsenok na malykh vyborkakh: preprint = Neurodynamics: hyperacceleration of directional enumeration or increase in the reliability of statistical estimates on small samples: preprint. Penza: Izd-vo PGU, 2021:106. (In Russ.)
Информация об авторах / Information about the authors
Владимир Иванович Волчихин
доктор технических наук, профессор, президент Пензенского государственного университета (Россия, г. Пенза, ул. Красная, 40)
E-mail: [email protected]
Vladimir I. Volchikhin Doctor of engineering sciences, professor, president of Penza State University (40 Krasnaya street, Penza, Russia)
Александр Иванович Иванов
доктор технических наук, профессор, научный консультант, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9)
E-mail: [email protected]
Aleksandr I. Ivanov
Doctor of engineering sciences, professor, scientific adviser, Penza Scientific Research Electrotechnical Institute (9 Sovetskaya street, Penza, Russia)
Алексей Петрович Иванов
кандидат технических наук, доцент, заведующий кафедрой технических средств информационной безопасности, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: [email protected]
Aleksey P. Ivanov
Candidate of engineering sciences, associate professor, head of the sub-department of technical means of information security, Penza State University (40 Krasnaya street, Penza, Russia)
Роман Викторович Еременко старший преподаватель кафедры радио- и спутниковой связи, Военный учебный центр, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: [email protected]
Константин Николаевич Савинов
старший преподаватель кафедры проводной электросвязи и автоматизированных систем, Военный учебный центр, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: [email protected]
Roman V. Eremenko
Senior lecturer of the sub-department
of radio and satellite communications,
Military Education Center,
Penza State University
(40 Krasnaya street, Penza, Russia)
Konstantin N. Savinov Senior lecturer of the sub-department of wire telecommunications and automated systems, Military Education Center, Penza State University (40 Krasnaya street, Penza, Russia)
Поступила в редакцию / Received 25.10.2022
Поступила после рецензирования и доработки / Revised 11.11.2022 Принята к публикации / Accepted 03.12.2022
