ЭНТРОПИЙНО-НЕЙРОСЕТЕВОЙ МЕТОД УСТРАНЕНИЯ ПРОТИВОРЕЧИВОСТИ ОЦЕНОК ЭКСПЕРТОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

ДИАГНОСТИЧЕСКИЕ МЕТОДЫ ОБЕСПЕЧЕНИЯ НАДЕЖНОСТИ И КАЧЕСТВА СЛОЖНЫХ СИСТЕМ

DIAGNOSTIC METHODS FOR ENSURING RELIABILITY AND QUALITY OF COMPLEX SYSTEMS

УДК 004.891.3

doi:10.21685/2307-4205-2021-4-7

ЭНТРОПИЙНО-НЕЙРОСЕТЕВОЙ МЕТОД УСТРАНЕНИЯ ПРОТИВОРЕЧИВОСТИ ОЦЕНОК ЭКСПЕРТОВ

И. А. Кубасов1, А. И. Иванов2

1 Академия управления МВД России, Москва, Россия 2 Пензенский научно-исследовательский электротехнический институт, Пенза, Россия 1 igorak@list.ru, 2 ivan@pniei.penza.ru

Аннотация. Актуальность и цели. Исследованы пути решения проблемы устранения возможной противоречивости мнений разных экспертов при оценке рейтинга сравниваемых по параметрам надежности и качества сложных систем. Данная проблема возникает в силу того, что выбор интегрального показателя и установление интегрального критерия оценки сложных систем, учитывающих значения параметров надежности и качества, могут быть отличными у разных экспертов. При этом теоретически возможна ситуация, когда голоса экспертов «за» и «против» делятся ровно пополам и тогда принимаемое решение по формированию рейтинга сложных систем будет неустойчивым. Материалы и методы. Обоснована целесообразность сравнения нескольких лидеров рейтинга сравниваемых сложных систем не между собой, а со среднестатистической системой рассматриваемого множества сложных систем. При этом возникающий эффект смазывания различия между лидерами рейтинга устраняется методом обучения нейросети (с большим числом нейронов) разделению сравниваемых лидеров, а затем контроля расстояний Хэмминга и/или разности энтропии между лидерами по отношению к расстояниям до среднестатистической системы. Результаты. Применение предлагаемого энтропийно-нейросетевого метода позволяет объективно определить первого лидера рейтинга по максимальному скачку энтропии кодовых откликов до второго лидера по порядку. Выводы. Предлагается новый метод устранения возможной противоречивости мнений разных экспертов, позволяющий получить объективный результат по формированию рейтинга сложных систем, построенный на полностью автоматическом обучении нейросетей и автоматическом классифицировании нейросетями всех сравниваемых сложных систем.

Ключевые слова: сложные системы, оценка эксперта, искусственные нейроны, расстояние Хэмминга, энтропия кодовых откликов

Для цитирования: Кубасов И. А., Иванов А. И. Энтропийно-нейросетевой метод устранения противоречивости оценок экспертов // Надежность и качество сложных систем. 2021. № 4. С. 56-63. ёо1:10.21685/2307-4205-2021-4-7

© Кубасов И. А., Иванов А. И., 2021. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.

ENTROPY-NEURAL NETWORK METHOD FOR ELIMINATING INCONSISTENCIES IN EXPERT ASSESSMENTS

I.A. Kubasov1, A.I. Ivanov2

1 Academy of Management of the Ministry of Internal Affairs of Russia, Moscow, Russia 2 Penza Research Electrotechnical Institute, Penza, Russia 1 igorak@list.ru, 2 ivan@pniei.penza.ru

Abstract. Background. The paper investigates ways to solve the problem of eliminating the possible inconsistency of opinions of different experts when evaluating the rating of complex systems compared in terms of reliability and quality parameters. This problem arises due to the fact that the choice of an integral indicator and the establishment of an integral criterion for evaluating complex systems that take into account the values of reliability and quality parameters may be different for different experts. At the same time, a situation is theoretically possible when the votes of experts "for" and "against" are divided exactly in half and then the decision to form a rating of complex systems will be unstable. Materials and methods. The expediency of comparing several leaders of the rating of the compared complex systems is justified, not among themselves, but with the average system of the considered set of complex systems. At the same time, the resulting effect of blurring the difference between the leaders of the rating is eliminated by training a neural network (with a large number of neurons) to separate the compared leaders, and then controlling the Hamming distances and/or the entropy difference between the leaders in relation to the distances to the average system. Results. The application of the proposed entropy-neural network method allows us to objectively determine the first leader of the rating by the maximum jump in the entropy of code responses to the second leader in order. Conclusions. A new method is proposed to eliminate the possible inconsistency of opinions of different experts, which allows to obtain an objective result on the formation of a rating of complex systems, based on fully automatic training of neural networks and automatic classification by neural networks of all compared complex systems.

Keywords: complex systems, expert evaluation, artificial neurons, Hamming distance, entropy of code states

For citation: Kubasov I.A., Ivanov A.I. Entropy-neural network method for eliminating inconsistencies in expert assessments. Nadezhnost' i kachestvo slozhnykh sistem = Reliability and quality of complex systems. 2021;(4):56-63. (In Russ.). doi:10.21685/2307-4205-2021-4-7

Введение

Экспертные оценки - это очень эффективный инструмент для предсказаний будущего и для принятия решений в настоящем. Люди-эксперты способны решать задачи огромной размерности. У современного человека обнаружены естественные нейроны с 10 000 входов [1]. Это означает, что теоретически эксперт-человек может решать 10 000-мерные задачи -flx\, х2, ..., Xi0000) практически в реальном времени, при этом мозг человека потребляет от 30 до 50 Вт. Причем известно, что современные компьютеры легко решают одномерные задачи f(x) в режиме микропотребления. Для двухмерных задач f(xj, х2) нужен графический ускоритель, потребляющий как минимум несколько Ватт. Для решения трехмерных задач f(xb х2, х3) нужна графическая станция, потребляющая сотни Ватт при решении задач в реальном времени. В этом аспекте ресурсы естественного интеллекта, в том числе в экспертной деятельности, огромны, но не полностью реализованы. Поэтому за помощью прибегают к искусственным нейронным сетям.

Следует отметить, что на практике иногда разные эксперты (полагаем, что это квалифицированные специалисты в определенной области) при оценке рейтинга сложных систем из некоторого рассматриваемого множества высказывают противоречивые мнения. При этом число учитываемых экспертами параметров сравниваемых систем может быть различным. Один эксперт учитывает десятки параметров надежности и качества, а другой эксперт, обладая большим опытом, учитывает сотни параметров. Кроме того, сами параметры могут не совпадать, даже если найти двух экспертов, учитывающих одинаковое число параметров. Для одного эксперта важным является одно, для другого - совсем иное. Поэтому выбор интегрального показателя и установление интегрального критерия оценки сложных систем, учитывающих значения параметров надежности и качества, могут быть отличными у разных экспертов.

Давно известен способ устранения противоречий экспертных оценок путем увеличения числа экспертов и принятия окончательного решения по большинству голосов. Этот способ доведен до технического предела, например, при выборе главы государства. Тогда каждый гражданин становится экспертом и отдает свой голос одному из претендентов или никому. При этом теоретически возможна ситуация, когда голоса «за» и «против» делятся ровно пополам, и в силу этого принимаемое решение будет неустойчивым.

Классическая математическая статистика легко справляется с задачей вычислений математических ожиданий, стандартных отклонений, коэффициентов корреляции на выборках, состоящих из 20 и более примеров реализации того или иного параметра оценки сложной системы. Однако, применяя классические методы многомерного статистического анализа [2], можно успешно решать достаточно широкий круг только задач ограниченной размерности. Основной причиной, сдерживающей рост размерности решаемых задач, является низкая устойчивость вычислений линейной алгебры. При попытках использовать вычисления с обращением линейных матриц высокой размерности быстро накапливаются ошибки, возникает эффект так называемого «проклятия размерности».

Для исключения этого негативного эффекта в качестве гипотезы будем рассматривать нейронные сети как реализацию некоторых нелинейных алгебр нейросетевых функционалов, решения которых обладают более высокой устойчивостью по сравнению с классическими решениями линейной алгебры [2]. Сегодня активно используются глубокие (многослойные) сети искусственных нейронов [3, 4] для распознавания лиц и широкие (однослойные) сети нейронов с большим числом выходов1.

Подтвердить гипотезу роста устойчивости нейросетевых вычислений удается на примере решения обратной задачи нейросетевой биометрии, когда, используя базу из 10 000 образов «Чужой», удается извлекать знания из таблиц весовых коэффициентов 256 нейронов, совместно обрабатывающих 416 биометрических параметров [5, 6]. Для примера можно отметить, что уже при обращении линейных матриц 16^16, построенных на реальных биометрических данных, их число обусловленности уже становится неприемлемо большим. Получается, что вычисления с обращением огромных матриц нейросетевых функционалов 256^416 технически выполнимы, а вычисления с обращением относительно небольших линейных матриц 16x16 выполнить нельзя. Это связано с особенностью нелинейной деформации, выполняемой многомерными нейросетевыми функционалами при обработке «сырых» входных данных нейросети. То, что технически невозможно выполнять в линейных многомерных пространствах, вполне выполнимо в нелинейных многомерных пространствах нейросетевых функционалов. Преимуществом нейронных сетей является то, что они во время обучения нелинейно деформируют многомерные пространства входных «сырых» данных, многократно повышая устойчивость вычислений.

Следовательно, научный и практический интерес представляет применение положительного опыта отечественной нейросетевой биометрии [7, 8] для решения задачи устранения возможной противоречивости мнений разных экспертов при оценке рейтинга сложных систем из некоторого рассматриваемого экспертами множества по параметрам надежности и качества. Поэтому в данной статье предлагается метод повышения устойчивости вычислений и устранения возможной противоречивости оценок разных экспертов за счет привлечения стандартизованного алгоритма автоматического обучения больших сетей искусственных нейронов2.

Устойчивая взаимная сортировка сетями искусственных нейронов многомерных образов

Быстрое обучение нейронных сетей алгоритмом ГОСТ Р 52633.5 на малых выборках в 20 примеров образа «Свой» выполняется в силу того, что полностью исключены итерации. Все весовые коэффициенты нейронов вычисляются, исходя из знания математического ожидания биометрических параметров и их стандартного отклонения. Как результат - время обучения нейросети на 20 примерах образа «Свой» составляет десятые доли секунды.

Тестирование качества работы сети из 256 искусственных нейронов также может быть выполнено быстро и на малых выборках из 20 примеров алгоритмом ГОСТ Р 52633.33. Такая возможность появляется, если отказаться от статистического анализа большого числа в 2256 возможных кодовых состояний [9, 10]. Для этой цели предлагается вычислять расстояния Хэмминга между кодом-откликом нейросети образа «Чужой» и кодом-откликом нейросети образа «Свой»:

1 ГОСТ Р 52633.0-2006. Защита информации. Техника защиты информации. Требования к средствам высоконадежной биометрической аутентификации ; ГОСТ Р 52633.5-2011. Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа ; ГОСТ Р 52633.3-2011. Защита информации. Техника защиты информации. Тестирование стойкости средств высоконадежной биометрической защиты к атакам подбора.

2 ГОСТ Р 52633.5-2011. Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа.

3 ГОСТ Р 52633.3-2011. Защита информации. Техника защиты информации. Тестирование стойкости средств высоконадежной биометрической защиты к атакам подбора.

' h " = J (" c¡ ") e (" x¡ "),

где "с" - состояние /-го разряда кода образа «Свой»; " х1" - состояние /-го разряда кода образа

«Чужой»; © - операция сложения по модулю два.

Результаты вычислений р(И) - плотности распределения вероятности появления расстояний Хэмминга при воздействии на нейросеть разными образами отражены на рис. 1.

Из-за суммирования 256 случайных величин при вычислении расстояний Хэмминга по формуле (1) происходит нормализация их распределений. При этом чем ближе математическое ожидание расстояний Хэмминга к нулю Е(«Ь»)^0, тем ближе образ «Чужой» к образу «Свой». Еще одним интересным эффектом является уменьшение энтропии кодов-откликов на образ «Чужой». Без особых проблем удается оценить энтропию каждого образа «Чужой» по отношению к нейросети, обученной ранее узнавать образ «Свой». Возникает эффект энтропийной самоклассификации образов «Чужой» относительно нейросети «Свой». На рис. 2 приведен пример распределения значений эн-тропий 10 000 образов «Чужой» при подаче их на нейросеть, обученную распознавать единственный образ «Свой» (на вертикальной оси отложены значения 256 энтропии кодовых откликов каждого из образов «Чужой», И(«х1, х2, ..., х256»)).

О 50 100 150 200 250

Рис. 1. Эффект взаимной сортировки образов в пространстве расстояний Хэмминга

Рис. 2. Значение энтропий 10 000 образов «Чужой», упорядоченных по значению их энтропии и расстоянию Хэмминга между их центрами кодов-откликов

i=i

Наблюдается условная «палатка» распределения значений энтропий разных образов «Чужой». Неожиданным является то, что максимальной энтропией всегда обладают образы среднестатистических «Чужих». При этом минимальной энтропией в 4 бита будут обладать наиболее близкие образы «Чужой» к образу «Свой» (см. окружность в левой части рисунка) и очень далекие образы (см. окружность в правой части рисунка). Дело в том, что широкие нейросети, обученные по ГОСТ Р 52633.51, обладают симметрией. Минимальной, практически нулевой энтропией обладают не только примеры образа «Свой», но и примеры инверсного образа «Свой», с инверсными параметрами и инверсными кодовыми откликами.

Отметим, что классические эконометрические модели линейной алгебры [2] не могут корректно учитывать большое число параметров сравнения. Проблема состоит в том, что анализируемые переменные оказываются сильно зависимыми. Появление даже одной пары сильно коррелированных параметров во входных данных делает невозможным обращение матриц линейной алгебры (их определитель оказывается близок к нулю). В этом случае приходится понижать размерность задачи, выделяя наиболее информативные параметры. Фактически приходится жертвовать размерностью задачи ради повышения ее устойчивости.

Предположим, что эксперты провели оценку рейтинга сложных систем из некоторого множества, а также определили систему № 1 и систему № 2 как двух лидеров по наилучшим значениям параметров надежности и качества. Для проверки этой гипотезы (подтверждения того, что система № 1 возглавляет рейтинг, а следующим в рейтинге является система № 2) следует построить нейросетевой классификатор, отделяющий систему № 1 (образ «Свой») от других систем из рассматриваемого экспертами множества систем, в том числе с высокими значениями параметров надежности и качества. Из рис. 2 видно подтверждение гипотезы о том, что образ «Свой» (система № 1) отличается от ближайшего лидера рейтинга - образа «Чужой-0» (системы № 2) на 4 бита по шкале энтропии и от следующей системы в рейтинге - образа «Чужой-1000» (системы № 3) на 4,1 бита.

Преимущество приведенной на рис. 2 «палатки» энтропийно-нейросетевого представления данных состоит в том, что можно повторить вычисления, обучив нейросетевой классификатор на выделение образа следующей в рейтинге системы (например, системы № 2). Если какой-либо из этих образов обеспечит больший скачок энтропии, то гипотеза о лидерстве системы № 1 должна быть отклонена, так как сложная система с самыми высокими показателями надежности и качества должна давать максимальный скачок энтропии кодовых откликов до ближайшего лидера второго по порядку, т.е. рейтинг возглавляет система № 1, когда энтропия кодовых откликов образа системы № 2 является самой минимальной (в сравнении с образами других систем) по отношению к системе № 1.

При использовании сетей искусственных нейронов с большим числом выходов, обучаемых по ГОСТ Р 52633.52, проблема от использования сильно коррелированных данных не возникает. Более того, например, в Омском государственном техническом университете разрабатываются сети корреляционных нейронов Байеса [11, 12], разделительная способность которых увеличивается с ростом корреляционной связанности их входных данных. Получается, что сильная корреляция между входными данными уже не является причиной, по которой приходится отбрасывать реальные входные данные, т.е. появляется возможность увеличивать размерность эконометрических моделей.

Как результат можно увеличить входную размерность решаемой эконометрической задачи, расширяя список учитываемых параметров. При этом рост входной и выходной размерности широких нейронных сетей всегда приводит к росту их разделяющей способности. Исчезает «проклятие размерности» линейных эконометрических моделей. Становится выгодным применять разнотипные нелинейные пространства, в которых искусственные нейроны выполняют обогащение (суммирование) относительно «бедных» входных данных. Проведенные в этом направлении исследования показали, что каждому из примерно 200 известных критериев проверки статистических гипотез [13] может быть поставлен в соответствие эквивалентный искусственный нейрон [14-16].

Еще одним важным технологическим приемом повышения числа выходов у нейросети является переход от применения искусственных нейронов с выходным одноуровневым квантователем к использованию многоуровневых квантователей [17, 18]. Последнее приводит к увеличению длины выходного кода нейросети в несколько раз.

1 ГОСТ Р 52633.5-2011. Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа.

2 ГОСТ Р 52633.5-2011. Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа.

Все перечисленные выше технические приемы хорошо отработаны в нейросетевой биометрии и позволяют существенно увеличить разрешающую способность нейросетевого энтропийного классификатора [19, 20].

Заключение

Рост размерности задачи автоматического обучения нейронных сетей по ГОСТ 52633.5 всегда приводит к росту разрешающей способности нейросетевых наблюдателей. Высокая разрешающая способность нейросетей с большим числом искусственных нейронов позволяет легко разделять лидеров рейтинга сложных систем по показателям надежности и качества. Для этого достаточно контролировать расстояния Хэмминга и/или разность энтропии между системами-лидерами по отношению к расстояниям до среднестатистической системы рассматриваемого множества. Первого лидера будет выделять максимальный скачок энтропии кодовых откликов до лидера второго по порядку рейтинга.

Таким образом, если воспользоваться предлагаемым энтропийно-нейросетевым методом, то получим более объективный результат, построенный на полностью автоматическом обучении нейросетей и полностью автоматическом классифицировании нейросетями всех систем оценки. Естественно, что подобные вычисления целесообразно делать, когда голосование экспертов дает почти баланс голосов «за» и «против». Если подавляющее большинство экспертов дает одинаковые оценки, то скорее всего нейросетевая классификация подтвердит их результат.

Субъективная составляющая мнений отдельных экспертов полностью устраняется, если от них требуется выбирать не лидеров, а среднестатистическую систему среди множества сложных систем, оцениваемых экспертами по параметрам надежности и качества. Это еще одна важная особенность предлагаемого нового метода для обнаружения субъективных (ангажированных) экспертов. Если результаты применения предложенных в статье процедур противоречат результатам голосования экспертов, то можно с уверенностью констатировать, что некоторые эксперты не являются объективными. Их можно установить, меняя частично состав экспертов.

Список литературы

1. Хайкин С. Нейронные сети: полный курс. М. : Вильямс, 2006. С. 1104.

2. Тихомиров Н. Т., Тихомирова Т. М., Ушмаев О. С. Методы эконометрики и многомерного статистического анализа : учебник. М. : Экономика, 2011. 647 с.

3. Николенко С., Кудрин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. СПб. : Питер, 2018.

4. Чару А. Нейронные сети и глубокое обучение. СПб. : Диалектика, 2020. 756 с.

5. Волчихин В. И., Иванов А. И. Нейросетевая молекула: решение обратной задачи биометрии через программную поддержку квантовой суперпозиции на выходах сети искусственных нейронов // Вестник Мордовского университета. 2017. Т. 27, № 4. С. 518-523.

6. Иванов А. И. Искусственный интеллект высокого доверия. Ускорение вычислений и экономия памяти при тестировании больших сетей искусственных нейронов на малых выборках // Системы безопасности. 2020. № 5. С. 60-62.

7. Язов Ю. К., Волчихин В. И., Иванов А. И. [и др.]. Нейросетевая защита персональных биометрических данных / под ред. Ю. К. Язова. М. : Радиотехника, 2012. 157 с.

8. Ахметов Б. С., Иванов А. И., Фунтиков В. А. [и др.]. Технология использования больших нейронных сетей для преобразования нечетких биометрических данных в код ключа доступа : монография. Алматы : LEM, 2014. 144 c. URL: http://portal.kazntu.kz/files/publicate/2014-06-27-11940.pdf

9. Иванов А. И., Кубасов И. А. Сильный искусственный интеллект: повышение качества нейросетевых решений с переходом к обработке входных данных большого объема // Надежность и качество сложных систем. 2021. № 1. С. 9-16.

10. Иванов А. И., Кубасов И. А., Самокутяев А. М. Тестирование больших нейронных сетей на малых выборках // Надежность и качество сложных систем. 2020. № 3. С. 72-79.

11. Ложников П. С. Биометрическая защита гибридного документооборота. Новосибирск : Изд-во СО РАН, 2017. 130 с.

12. Иванов А. И., Сулавко А. Е. Использование сетей корреляционных нейронов с многоуровневым квантованием: защита от извлечения знаний из параметров решающего правила : препринт. Пенза : Изд-во ПГУ, 2020. 48 с.

13. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : Физ-матлит, 2006. 816 с.

14. Иванов А. И., Банных А. Г., Безяев А. В. Искусственные молекулы, собранные из искусственных нейронов, воспроизводящих работу классических статистических критериев // Вестник Пермского университета. Сер.: Математика. Механика. Информатика. 2020. № 1. С. 26-32.

15. Иванов А. И. Искусственные математические молекулы: повышение точности статистических оценок на малых выборках (программы на языке MathCAD) : препринт. Пенза : Изд-во ПГУ, 2020. 36 с.

16. Иванов А. И., Золотарева Т. А. Искусственный интеллект в защищенном исполнении: синтез статистико-нейросетевых автоматов многокритериальной проверки гипотезы независимости малых выборок биометрических данных : препринт. Пенза : Изд-во ПГУ, 2020. 105 с.

17. Волчихин В. И., Иванов А. И., Фунтиков В. А., Малыгина Е. А. Перспективы использования искусственных нейронных сетей с многоуровневыми квантователями в технологии биометрико-нейросетевой аутентификации // Известия высших учебных заведений. Поволжский регион. Технические науки. 2013. № 4. С. 88-99.

18. Малыгина Е. А. Биометрико-нейросетевая аутентификация: перспективы применения сетей квадратичных нейронов с многоуровневым квантованием биометрических данных : препринт. Пенза : Изд-во ПГУ, 2020. 114 с.

19. Кубасов И. А., Мельников А. В., Мальцев С. А., Нарушев И. Р. Кластеризация объектов со слабо формализуемыми признаками на основе нейронной сети в виде слоя Кохонена // Вестник Воронежского государственного университета инженерных технологий. 2018. Т. 80, № 3. С. 86-91.

20. Кубасов И. А., Нарушев И. Р., Черников Д. Н. Решение задачи классификации технических объектов с использованием персептрона в условиях их близости к границе линейной разделимости // Охрана, безопасность, связь. 2019. № 4-2. С. 132-138.

References

1. Khaykin S. Neyronnye seti: polnyy kurs = Neural networks: a complete course. Moscow: Vil'yams, 2006:1104. (In Russ.)

2. Tikhomirov N.T., Tikhomirova T.M., Ushmaev O.S. Metody ekonometriki i mnogomernogo statisticheskogo analiza: uchebnik = Methods of econometrics and multidimensional statistical analysis : textbook. Moscow: Ekonomika, 2011:647. (In Russ.)

3. Nikolenko S., Kudrin A., Arkhangel'skaya E. Glubokoe obuchenie. Pogruzhenie v mir neyronnykh setey = Deep learning. Immersion in the world of neural networks. Saint Petersburg: Piter, 2018. (In Russ.)

4. Charu A. Neyronnye seti i glubokoe obuchenie = Neural networks and deep learning. Saint Petersburg: Dialek-tika, 2020:756. (In Russ.)

5. Volchikhin V.I., Ivanov A.I. Neural network molecule: solving the inverse problem of biometrics through software support for quantum superposition at the outputs of a network of artificial neurons. Vestnik Mordovskogo universiteta = Bulletin of the Mordovian University. 2017;27(4):518-523. (In Russ.)

6. Ivanov A.I. Artificial intelligence of high trust. Acceleration of calculations and memory savings when testing large networks of artificial neurons on small samples. Sistemy bezopasnosti = Security systems. 2020;(5):60-62. (In Russ.)

7. Yazov Yu.K., Volchikhin V.I., Ivanov A.I. [et al.]. Neyrosetevaya zashchita personal'nykh biometricheskikh dannykh = Neural network protection ofpersonal biometric data. Moscow: Radiotekhnika, 2012:157. (In Russ.)

8. Akhmetov B.S., Ivanov A.I., Funtikov V.A. [et al.]. Tekhnologiya ispol'zovaniya bol'shikh neyronnykh setey dlya preobrazovaniya nechetkikh biometricheskikh dannykh v kod klyucha dostupa: monografiya = Technology of using large neural networks to convert fuzzy biometric data into an access key code : monograph. Almaty: LEM, 2014:144. (In Russ.). Available at: http://portal.kazntu.kz/files/publicate/2014-06-27-11940.pdf

9. Ivanov A.I., Kubasov I.A. Strong artificial intelligence: improving the quality of neural network solutions with the transition to processing large-volume input data. Nadezhnost' i kachestvo slozhnykh system = Reliability and Quality of Complex Systems. 2021;(1):9-16. (In Russ.)

10. Ivanov A.I., Kubasov I.A., Samokutyaev A.M. Testing large neural networks on small samples. Nadezhnost' i kachestvo slozhnykh system = Reliability and Quality of Complex Systems. 2020;(3):72-79. (In Russ.)

11. Lozhnikov P.S. Biometricheskaya zashchita gibridnogo dokumentooborota = Biometric protection of hybrid document flow. Novosibirsk: Izd-vo SO RAN, 2017:130. (In Russ.)

12. Ivanov A.I., Sulavko A.E. Ispol'zovanie setey korrelyatsionnykh neyronov s mnogourovnevym kvantovaniem: zashchita ot izvlecheniya znaniy iz parametrov reshayushchego pravila: preprint = Using networks of correlation neurons with multilevel quantization: protection against extracting knowledge from the parameters of the decisive rule : preprint. Penza: Izd-vo PGU, 2020:48. (In Russ.)

13. Kobzar' A.I. Prikladnaya matematicheskaya statistika. Dlya inzhenerov i nauchnykh rabotnikov = Applied mathematical statistics. For engineers and scientists. Moscow: Fizmatlit, 2006:816. (In Russ.)

14. Ivanov A.I., Bannykh A.G., Bezyaev A.V. Artificial molecules assembled from artificial neurons reproducing the work of classical statistical criteria. Vestnik Permskogo universiteta. Ser.: Matematika. Mekhanika. Informatika = Bulletin of Perm University. Ser.: Mathematics. Mechanics. Computer science. 2020;(1):26-32. (In Russ.)

15. Ivanov A.I. Iskusstvennye matematicheskie molekuly: povyshenie tochnosti statisticheskikh otsenok na malykh vyborkakh (programmy na yazyke MathCAD): preprint = Artificial mathematical molecules: improving the accuracy of statistical estimates on small samples (programs in MathCAD) : preprint. Penza: Izd-vo PGU, 2020:36. (In Russ.)

16. Ivanov A.I., Zolotareva T.A. Iskusstvennyy intellekt v zashchishchennom ispolnenii: sintez statistiko-neyrosetevykh avtomatov mnogokriterial'noy proverki gipotezy nezavisimosti malykh vyborok biometricheskikh dannykh: preprint = Artificial intelligence in protected execution: synthesis of statistical neural network automata for multi-criteria verification of the hypothesis of independence of small samples of biometric data : preprint. Penza: Izd-vo PGU, 2020:105. (In Russ.)

17. Volchikhin V.I., Ivanov A.I., Funtikov V.A., Malygina E.A. Prospects for the use of artificial neural networks with multilevel quantizers in biometric-neural network authentication technology. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = University proceedings. Volga region. Technical sciences. 2013;(4):88-99. (In Russ.)

18. Malygina E.A. Biometriko-neyrosetevaya autentifikatsiya: perspektivy primeneniya setey kvadratichnykh ney-ronov s mnogourovnevym kvantovaniem biometricheskikh dannykh: preprint = Biometric-neural network authentication: prospects for the use of networks of quadratic neurons with multilevel quantization of biometric data : preprint. Penza: Izd-vo PGU, 2020:114. (In Russ.)

19. Kubasov I.A., Mel'nikov A.V., Mal'tsev S.A., Narushev I.R. Clustering of objects with weakly formalized features based on a neural network in the form of a Kohonen layer. Vestnik Voronezhskogo gosudarstvennogo uni-versiteta inzhenernykh tekhnologiy = Bulletin of the Voronezh State University of Engineering Technologies. 2018;80(3):86-91. (In Russ.)

20. Kubasov I.A., Narushev I.R., Chernikov D.N. Solving the problem of classification of technical objects using a perceptron in conditions of their proximity to the boundary of linear separability. Okhrana, bezopasnost', svyaz' = Security, security, communication. 2019;(4-2):132-138. (In Russ.)

Информация об авторах / Information about the authors

Игорь Анатольевич Кубасов

доктор технических наук, доцент,

профессор кафедры информационных технологий,

Академия управления МВД России,

(Россия, г. Москва, ул. Зои и Александра

Космодемьянских, 8)

E-mail: igorak@list.ru

Александр Иванович Иванов

доктор технических наук, доцент, ведущий научный сотрудник, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9) E-mail: ivan@pniei.penza.ru

Igor A. Kubasov

Doctor of technical sciences, associate professor,

professor of the sub-department

of information technologies,

Academy of Management of the Ministry

of Internal Affairs of Russia,

(8 Zoya and Alexander Kosmodemyanskikh street,

Moscow, Russia)

Aleksandr I. Ivanov

Doctor of technical sciences, associate professor, senior researcher,

Penza Research Electrotechnical Institute (9 Sovetskaya street, Penza, Russia)

Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.

Поступила в редакцию/Received 10.09.2021 Поступила после рецензирования/Revised 12.10.2021 Принята к публикации/Accepted 10.11.2021