CC BY-NC
16
DOI: 10.24937/2542-2324-2021-2-S-I-91-96 УДК: 004.42+004.032.26
Я.Б. Комаров, А.А. Шерминская, А.А. Николаев
АО «Концерн «Моринсис-Агат», Москва, Россия
МЕТОДЫ ОПРЕДЕЛЕНИЯ ПРИОРИТЕТА ВХОДНЫХ ПАРАМЕТРОВ ФУНКЦИОНАЛЬНО-МАТЕМАТИЧЕСКИХ БИБЛИОТЕК С ЗАКРЫТЫМ ИСХОДНЫМ КОДОМ
Основная цель данной работы - определить набор подходов и методов, наиболее подходящий для расчета степеней влияния входных параметров на выходные функционально-математической библиотеки с закрытым исходным кодом, и создать на их основе инструмент определения приоритета входных данных.
В качестве объекта исследования была предложена обобщенная регрессионная модель, представляющая собой абстракцию произвольной функционально-математической библиотеки и реализованная в виде исполняемого модуля, с помощью которого проводился анализ исследуемых методов.
Были рассмотрены два подхода к определению степеней влияния входных данных на выходные: 1) использование аппарата корреляционного анализа; 2) использование методов нейронных сетей.
Первый формульный подход основан на попарном вычислении коэффициентов корреляции Пирсона для всех входных и выходных параметров. В качестве альтернативы были дополнительно рассмотрены ранговые корреляции Спирмена и Кендалла. Второй подход в общем случае представляет собой обучение нейронной сети с установленной точностью на наборе вариаций входных параметров и соответствующих им выходных, полученных в результате отработки исполняемого модуля, и последующий расчет вклада каждого входного параметра в результат для обученной нейронной сети.
Проведен сравнительный анализ этих подходов по нескольким основным критериям: условия применения, скорость работы и качество получаемого результата. По результатам анализа, несмотря на некоторые недостатки, более подходящим для решения поставленной задачи признан подход, основанный на обучении нейронной сети. Обозначены перспективные направления дальнейших исследований, связанных с развитием выбранного метода и усложнением предложенной модели функционально-математической библиотеки.
Ключевые слова: корреляционный анализ, нейронные сети, функционально-математические библиотеки, тестирование, программное обеспечение, чувствительность нейронов, градиентный спуск. Авторы заявляют об отсутствии возможных конфликтов интересов.
DOI: 10.24937/2542-2324-2021-2-S-I-91-96 UDC: 004.42+004.032.26
Ya. Komarov, A. Sherminskaya, A. Nikolaev
JSC Concern Morinformsystem Agat, Moscow, Russia
RANKING METHODS FOR INPUTS OF FUNCTIONALLY-MATHEMATICAL LIBRARIES WITH INACCESSIBLE SOURCE CODE
This work mainly aimed to identify the most suitable calculation approaches and methods for the effect of inputs upon the outputs of a functionally-mathematical library with inaccessible source code, and further use these methods and approaches to develop an input ranking tool.
These methods and approaches were studied using a generalized regressive model representing an arbitrary functionally-mathematical library (an executable module).
Для цитирования: Комаров Я.Б., Шерминская А.А., Николаев А.А. Методы определения приоритета входных параметров функционально-математических библиотек с закрытым исходным кодом. Труды Крыловского государственного научного центра. 2021; Специальный выпуск 2: 91-96.
For citations: Komarov Ya., A. Sherminskaya, A. Nikolaev. Ranking methods for inputs of functionally-mathematical libraries with inaccessible source code. Transactions of the Krylov State Research Centre. 2021; Special Issue 2: 91-96 (in Russian).
The paper studied two approaches to the determination of input effects upon the outputs: 1) correlation analysis; 2) neural network method.
The first method is analytical calculation (couple by couple) of Pierson correlation coefficients for all input and output parameters. As an alternative, the study also investigated rank-based Spierman and Kendall correlations. The second approach basically meant neural network learning with required accuracy using the variation set of executable module inputs and their respective outputs with subsequent calculation of contribution from each parameter to the overall result for the neural network after learning.
These approaches have also been compared in terms of several major criteria, i.e. application peculiarities, speed and output quality. The analysis has shown that neural-network learning method, despite its certain drawbacks, is more suitable for the task of this study.
The paper also outlined possible ways for further improvement of this method and complexity increase of the suggested functionally-mathematical library model.
Keywords: correlation analysis, neural networks, functionally mathematical libraries, testing, software, neuron sensitivity, gradient descent.
Authors declare lack of the possible conflicts of interests.
Введение
Introduction
Современные технические системы требуют от разрабатываемых для них программных комплексов реализации все большего количества информационно-расчетных задач. Вместе с тем растет и время, затрачиваемое на проверку корректности продукта на каждом этапе разработки, что увеличивает влияние человеческого фактора на итоговую надежность. В таких условиях появляется необходимость в независимых системах тестирования программного обеспечения (ПО), способных выявить ошибочное поведение или, наоборот, доказать отсутствие подобных проблем.
Выявление наиболее и наименее значимых входных параметров функционально-математических библиотек ПО - один из главных шагов при анализе его поведения. Однако по различным причинам доступ к исходному коду ПО может оказаться закрыт.
В настоящей статье исследуются методы расчета степеней влияния входных параметров на выходные функционально-математической библиотеки, представленной в виде «черного ящика», посредством аппарата корреляционного анализа и нейросетевых алгоритмов. Производится сравнение рассматриваемых методов.
Объект исследования
Object of study
Программное функционально-математическое обеспечение (ПФМО) информационно-управляющей системы (ИУС) в общем случае представляет собой набор функционально-математических библиотек, каждая из которых реализует некоторые алгоритмы
информационно-расчетных задач (ИРЗ). Для нашего исследования отойдем от блоков кода, функций и алгоритмов конкретных библиотек и обобщим их понятием «коэффициент». При достаточно высоком уровне абстракции произвольную библиотеку из ПФМО можно представить в виде регрессионной модели, состоящей из числового материала (ЧМ), входных и выходных параметров и программных модулей (ПМ), представляющих собой функции, входными данными которых являются входные данные ПФМО или выходные данные других программных модулей (рис. 1).
В целях конкретизации и упрощения модели примем следующие допущения. Расчет контролируемых
Входные параметры
Входные параметры
ПМ
ПМ ЧМ
^ J
_ d_
ЧМ ПМ ПМ ЧМ
ПМ
Выходные параметры
Выходные параметры
Рис. 1. Пример модели библиотеки программного функционально-математического обеспечения информационно-управляющей системы
Fig. 1. A model of functionally mathematical library for information & control system
параметров в нашей модели в общем случае будет соответствовать формуле (1):
X = aA + ßB + jC +... + 8,
(1)
A = а0 A0 + а1 A1 + 80, B = ßo Bo +ßi Bi +ß2 B2 +§i, if (A > B )C = YoCo +Y1C1 +82, else C = y2C0 + y3C1 +83,
(2)
(3)
(4)
(5)
где А0, А1; B0, B1, B2, C0, C1 зависят от входных данных и/или числового материала с некоторой назначенной степенью влияния.
Входные и выходные данные, коэффициенты и числовой материал будут представлять собой действительные числа.
Согласно указанным выше принципам были реализованы несколько моделей для отработки, тестирования и оценки работоспособности исследуемых методов определения приоритета входных параметров:
1. Плотная линейная модель для оценки точности работы методов при зависимости выходного параметра от нескольких входных с малыми различиями в линейных коэффициентах.
2. Разреженная линейная модель для оценки точности работы методов на моделях с входными данными, не влияющими на выходные.
3. Универсальная модель с условными операциями для имитации реальных задач (рис. 2).
Методы исследования
Methods of study
В рамках исследования реализованная регрессионная модель представляется в виде исполняемого модуля (ИМ) с неизвестным исходным кодом. На вход ИМ подается вектор размерности m независимых входных данных {x1, x2,..., xm}, а на выходе получается вектор размерности к выходных данных -{у1, у2,..., ук}. При этом каждый элемент входного
где а, в, у отражают степень влияния соответствующего входного параметра на результат («черный ящик», реализующий некоторые алгоритмы), а 5 -коэффициент, отражающий часть алгоритма расчета контролируемого параметра, не меняющую степень влияния входных параметров и не зависящую от них. Кроме указанного выше вычисления в программных модулях библиотеки будут возможны условные операции следующего вида:
Рис. 2. Схема реализованной модели для отработки исследуемых методов
Fig. 2. Layout of the model implemented to refine the methods under investigation
или выходного вектора представляет собой скаляр или вектор произвольной длины в пространстве действительных чисел соответствующей размерности.
Цель: определить приоритет входных данных ИМ для каждого из выходных. Иными словами, нужно определить степень влияния каждого входа Xi на значение каждого выхода у.
Для решения поставленной задачи были рассмотрены два подхода. Первый из них опирается на аппарат корреляционного анализа, а второй - на нейросетевые методы.
1. Корреляционный анализ
В качестве базового инструмента в данном подходе используется коэффициент корреляции Пирсона
£ ti(Ar -ЦA)2 I;=1 (B -Цb;
(6)
где А и В - выборки элементов, взаимосвязь между которыми проверяется, а ца и цв - выборочные средние. Опираясь на определенный выше коэффициент корреляции, вводится коэффициент множественной корреляции
A, B1B2 ...Bp
(7)
AB
Г 1
R =
A, B
A,B1 1
A,Bn
B1, Bp
1
а R11 - алгебраическое дополнение.
На основе такого формульного подхода был реализован алгоритм, представляющий собой поэлементный расчет множественных коэффициентов корреляции для каждого элемента входного вектора в отношении к каждому элементу выходного с последующим усреднением по размерности элемента. При этом для работы алгоритма требовалось генерировать наборы вариантов входных данных особым способом: при вычислении степени влияния конкретного входного параметра допускались только его вариации.
Дополнительно были рассмотрены и реализованы другие виды корреляций (ранговые корреляции Спир-мена и Кендалла). Тестирование показало, что корреляции Пирсона и Спирмена показывают очень близкие между собой результаты и сопоставимы с точки зрения вычислительных затрат. Использование корреляции Кендалла на примере рассматриваемых задач показало неудовлетворительные результаты.
2. Нейросетевые методы В отличие от предыдущего метода, в котором для определения степеней влияния входов напрямую анализируются значения входных параметров с соответствующими им выходными, полученными на ИМ, концепция данного подхода заключается в анализе специальной обученной нейронной сети, имитирующей поведение представленного ИМ.
Так как выбранная нами модель функционально-математической библиотеки представляет собой некоторую функцию на входных параметрах, основную задачу нейронной сети можно определить как аппроксимацию. В связи с этим при реализации нейронной сети было решено использовать в качестве архитектуры глубокий многослойный персептрон, известный как универсальный аппроксиматор.
Для нейронов из внутренних слоев были рассмотрены несколько различных функций активации: логистическая, ReLU, SeLU и гиперболический тангенс. Наибольшая скорость сходимости нейронной сети на тестовых моделях оказалась при выборе в качестве функции активации SeLU.
Обучение сети проводилось вариациями метода градиентного спуска (стохастического и пакетного) с использованием обратного распространения ошибки, который является наиболее популярным и стабильным для широкого круга нейросетевых задач, в том числе для задач аппроксимации регрессионных моделей, как в нашем случае.
Для ускорения обучения и увеличения точности использовались следующие алгоритмы: адаптивная оценка момента (Adam optimizer), двоичный поиск оптимальной скорости обучения (ALR), нормализация входных данных (z-score).
При итоговом расчете приоритета входных параметров использовались несколько весовых методов (Garson, Yoon и Tsaur), из которых только метод Yoon показал удовлетворительный результат, и метод вычисления чувствительности нейронов через значения производных функций активации нейронов (Sensitivity), оказавшийся наиболее точным (рис. 3).
0,6 0,5 0,4 0,3 0,2 0,1 0
II
cf
J>
¿У
■ х0 Их1 Их2 Их3 Их4
Рис. 3. Результаты работы различных алгоритмов расчета степеней влияния входных параметров на выходной в разреженной модели (а) и плотной (б)
Fig. 3. Outputs of various calculation algorithms for input effect upon the outputs in sparse (left) and dense (right) model
Сравнительный анализ методов
Сравним описанные выше методы по критериям, представляющим наибольший интерес, отметив сильные и слабые стороны каждого из них.
Требования к набору вариаций входных параметров с соответствующими им выходными, полученными в результате отработки анализируемого программного модуля.
Корреляционный анализ:
Плюс: небольшой размер необходимого набора вариантов. Исследования показывают, что для расчета достаточно от 5т до 10т наборов.
Минусы: 1) строгие условия на требуемые вариации. Существование требуемых наборов в области определения функции, соответствующей ИМ, не всегда может гарантироваться; 2) неустойчивость к выбросам, которые могут возникать у ИМ с ошибками.
Нейросетевой метод:
Плюс: нейронная сеть способна обучаться на любых доступных наборах, в том числе полученных заранее в виде журнала отработки ИМ.
Минус: тесты показывают, что в некоторых случаях требуется достаточно большое количество наборов, чтобы исключить ложные зависимости параметров.
Скорость работы
В связи с тем, что метод корреляционного анализа является детерминированным алгоритмом, а обучение нейронной сети - стохастично, вычислительные сложности методов несравнимы. Однако тесты показывают, что даже на простых моделях сеть требует для обучения на порядок больше времени, чем расчет степеней влияния входных параметров с помощью корреляционного анализа.
Результаты применения метода
Корреляционный анализ:
Плюс: для выходного параметра у, не зависящего от входного параметра х, корреляционный метод оценивает зависимость между ними как полностью отсутствующую и присваивает параметру х наименьший приоритет.
Минусы: 1) показывает лишь линейность зависимости между двумя параметрами, не способен определить приоритетность входных параметров, линейная компонента которых в расчете выходного параметра одинакова; 2) неприменим для нелинейных зависимостей.
Нейросетевой метод:
Плюс: так как метод расчета приоритета не зависит от ИМ, который моделирует нейронная сеть, а ее архитектура делает из нее универсальный аппрокси-матор любой непрерывной функции, метод применим к большинству нелинейных зависимостей.
Минусы: 1) может потребоваться дополнительная настройка конфигурации сети для получения приемлемого результата; 2) в силу выбранной архитектуры сети, в которой нейрон соединен с каждым из следующего слоя, сеть предрасположена к накоплению малой ложноположительной зависимости даже между независимыми параметрами.
Результаты
Resultation
В настоящем исследовании были представлены методы определения приоритета входных параметров функционально-математических библиотек, заданных в виде «черного ящика», основанные на аппарате корреляционного анализа и нейросетевых алгоритмах. Были предложены варианты реализации указанных методов с описанием используемых программно-алгоритмических комплексов.
Были выделены основные критерии качества и проведен сравнительный анализ исследуемых методов относительно данных критериев. Несмотря на некоторые алгоритмические сложности и гораздо большее время работы, чем у конкурентного метода, подход, основанный на обучении нейронной сети, выглядит более перспективным для решения поставленной задачи, так как содержит меньше требований к структуре входных данных и анализируемых функционально-математических библиотек.
Дальнейшее развитие исследований
Prospects of further studies
Представленный в статье нейросетевой подход к решению задачи может быть улучшен. Так, перспективным выглядит расширение архитектуры нейронной сети до остаточной при помощи добавления «пропускающего соединения» между входным и выходным слоями нейронов. В этом случае, используя аппарат корреляционного анализа, мы сможем оценить линейность связи между двумя нейронами и ограничить избыточный взнос входного в первый скрытый слой, что, предположительно, должно уменьшить ложноположительную зависимость между независимыми параметрами.
Принятая в настоящем исследовании регрессионная модель отражает лишь небольшое множество реальных функционально-математических библиотек. В ходе дальнейшего развития метода с целью покрытия большего количества типов реальных библиотек модель необходимо будет усложнить. В качестве альтернативы текущей предлагаются модели следующих типов:
1. Авторегрессионная модель.
• Нелинейные относительно включенных объясняющих переменных, но линейные по оцениваемым параметрам:
2. Непараллельная линейная модель: X = aA + PB + eAB + ...+ 5.
3. Полиномиальная модель: X = aA + PA2 + yA3 +... + 5.
4. Гиперболическая модель:
X = aA+р ^ A j + . + 5.
• Нелинейные по оцениваемым параметрам:
5. Степенная.
6. Показательная.
7. Экспоненциальная.
Список использованной литературы
1. Хайкин С. Нейронные сети: полный курс / Пер. с англ. Н.Н. Куссуль, А.Ю. Шелестова. Изд. 2-е, испр. М.: Вильямс, 2008. 1103 с.
2. Курилов В.И. Комплексный корреляционный анализ больших объемов информации / Под общ. ред. Г. П. Климова. Сер. Статистика и стохастические системы. Ред. выпуск I. М.: Ротапринт ВЦ МГУ, 1968. 80 с.
3. Бендат Дж., Пирсол А. Применения корреляционного и спектрального анализа / Пер. с англ. А.И. Ко-чубинского, В.Е. Привальского. М.: Мир, 1983. 312 с.
4. Rinke W. Calculating the Dependency of Components of Observable Nonlinear Systems Using Artificial Neural Networks // Managing intellectual capital and innovation for sustainable and inclusive society: proceedings of the MakeLearn and TIIM Joint International Conference. Bangkok; Celje; Lublin : ToKnowPress, 2015. P. 367-374.
5. Wong. T.C. [et al.]. An ANN-based approach of interpreting user-generated comments from social media // Applied Soft Computing. March 2017. Vol. 52. P. 11691180. DOI: 10.1016/j.asoc.2016.09.011.
6. Lemhardi I., Ruan F, Abraham L., Tibshirani R. LassoNet: a Neural Network with Feature Sparsity // Journal of Machine Learning Research. 2021. Vol. 22. P. 1-29.
7. Khare A., Mukherjee K., Verma A. A Simple Dynamic Learning Rate Tuning Algorithm for Automated Training of DNNs. [Ithaca], 2019. 21 p. (arXiv preprint; 1910.11605).
References
1. Haykin S. Neural Networks. A Comprehensive Foundation (Russian translation). Translated by N. Kussul, A. Shelestov. 2nd ed., rev. Moscow: Vilyams, 2008. 1103 p.
2. Kurilov V. Integrated correlation analysis of large data sets / Under general ed. of G. Klimov. Series Statistics and stochastic systems. Ed. Issue I. Moscow: Rotaprint, Computer Centre of Moscow State University, 1968. 80 p. (in Russian).
3. Bendat J., PiersolA. Engineering Applications of Correlation and Spectral Analysis (Russian translation). Translated by A. Kochubinsky, V. Privalsky. Moscow: Mir, 1989. 312 p.
4. Rinke W. Calculating the Dependency of Components of Observable Nonlinear Systems Using Artificial Neural Networks // Managing intellectual capital and innovation for sustainable and inclusive society: proceedings of the MakeLearn and TIIM Joint International Conference. Bangkok; Celje; Lublin: ToKnowPress, 2015. P. 367-374.
5. Wong T.C. [et al.]. An ANN-based approach of interpreting user-generated comments from social media // Applied Soft Computing. March 2017. Vol. 52. P. 11691180. DOI: 10.1016/j.asoc.2016.09.011.
6. Lemhardi I., Ruan F, Abraham L., Tibshirani R. LassoNet: a Neural Network with Feature Sparsity // Journal of Machine Learning Research. 2021. Vol. 22. P. 1-29.
7. Khare A., Mukherjee K., Verma A. A Simple Dynamic Learning Rate Tuning Algorithm for Automated Training of DNNs. [Ithaca], 2019. 21 p. (arXiv preprint; 1910.11605).
Сведения об авторах
Комаров Ярослав Борисович, инженер-программист АО «Концерн «Моринсис-Агат». Адрес: 105275, Москва, шоссе Энтузиастов, д. 29. E-mail: 9iroslavkomarov@gmail.com. Шерминская Анна Алексеевна, инженер-программист АО «Концерн «Моринсис-Агат». Адрес: 105275, Москва, шоссе Энтузиастов, д. 29. E-mail: SherminskayaAA@ya.ru. Николаев Андрей Анатольевич, к.ф.-м.н. начальник отдела АО «Концерн «Моринсис-Агат». Адрес: 105275, Москва, шоссе Энтузиастов, д. 29. E-mail: a.a.nikolaev@yandex.ru.
About the authors
Yaroslav B. Komarov, Engineer-Programmer, JSC Concern Morinsys Agat. Address: 29, Entuziastov sh., Moscow, Russia, post code 105275. E-mail: 9iroslavkomarov@gmail.com. Anna A. Sherminskaya, Engineer-Programmer, JSC Concern Morinsys Agat. Address: 29, Entuziastov Shosse, Moscow, Russia, post code 105275. E-mail: SherminskayaAA@ya.ru. Andrey A. Nikolaev, Cand.Sc., Head of Department, JSC Concern Morinsys Agat. Address: 29, Entuziastov sh., Moscow, Russia, post code 105275. E-mail: a.a.nikolaev@yandex.ru.
Поступила / Received: 15.11.21 Принята в печать / Accepted: 22.11.21 © Коллектив авторов, 2021
