МЕТОДИКА ОЦЕНИВАНИЯ АДЕКВАТНОСТИ СТАТИСТИЧЕСКИХ ИМИТАЦИОННЫХ МОДЕЛЕЙ Текст научной статьи по специальности «Математика»

Математика

УДК 004.94 DOI: 10.14529/mmph230301

МЕТОДИКА ОЦЕНИВАНИЯ АДЕКВАТНОСТИ СТАТИСТИЧЕСКИХ ИМИТАЦИОННЫХ МОДЕЛЕЙ

i "10 Р.М. Вивчарь1, А.И. Птушкин, Б.В. Соколов2

1 Военно-космическая академия имени А.Ф. Можайского, г. Санкт-Петербург, Российская Федерация

2 Федеральное государственное бюджетное учреждение науки «Санкт-Петербургский Федеральный исследовательский центр Российской академии наук», г. Санкт-Петербург, Российская Федерация

E-mail: sokolov_boris@inbox.ru; vka@mil.ru

Аннотация. Объектом исследования в данной работе являлись статистические имитационные модели сложных технических систем, характеризуемых несколькими показателями эффективности их функционирования. От качества названных моделей зависит эффективность процесса получения знаний об исследуемых системах. Одним из основных свойств, характеризующих качество любой модели, является ее адекватность - комплексное свойство модели, характеризующее степень соответствия значений выходных параметров модели и объекта с требуемой точностью при требуемой достоверности. Применяемые в настоящее время подходы к оцениванию адекватности таких моделей основаны на использовании разнообразных субъективных сверток показателей достоверности результатов исследований к некоему обобщенному показателю, сущность которого, как правило, не интерпретируется. Представленная в статье методика оценивания адекватности статистических имитационных моделей сложных технических систем, характеризуемых несколькими показателями эффективности их функционирования, отличается от известных методик использованием в качестве обобщенного показателя адекватности - вероятности достижения выполнения с требуемой достоверностью всех требований по точности определения каждого из рассматриваемых показателей эффективности. Этот показатель является естественным однозначно интерпретируемым (вероятность выполнения требований к адекватности модели) объективным обобщенным показателем адекватности исследуемой имитационной модели. Для его вычисления предварительно с использованием метода Парзена-Розенблатта получается плотность вероятности расстояний между реальными и модельными показателями эффективности исследуемой системы, а затем требуемый результат получается с помощью предложенного алгоритма кратного интегрирования этой плотности с использованием метода Монте-Карло. Даны рекомендации по реализации предусмотренных методикой вычислительных процедур. Применение методики иллюстрируется описанием вычислительного эксперимента.

Ключевые слова: имитационное моделирование; точность; достоверность; адекватность модели; сложная техническая система.

Введение

Одним из основных способов получения знаний о сложных технических системах (СТС) является моделирование процесса их функционирования. Разнородность составных элементов СТС и разнообразие связей между ними, нелинейность различных свойств этих элементов обусловливают целесообразность применения для исследования таких систем имитационного моделирования (ИМ), выходными результатами которого являются два и более показателей, отражающих эти свойства.

Эффективность процесса получения знаний об исследуемой СТС зависит от качества ИМ, под которым понимается совокупность свойств, характеризующих их способность выполнять заданные функции. Одним из основных свойств модели, которое характеризует возможность по-

лучения с ее помощью достоверных и точных данных об исследуемой СТС, является адекватность. Адекватность ИМ - это комплексное свойство модели, характеризующее степень соответствия значений выходных параметров модели и объекта с требуемой точностью при требуемой достоверности [1].

Если подходы к определению количественной оценки адекватности ИМ с одним показателем эффективности их функционирования хорошо известны [1-3], то подходы к оцениванию адекватности ИМ с большим количеством таких показателей по-прежнему требуют дополнительного исследования этого вопроса.

Анализ подходов к оцениванию адекватности имитационных моделей

Одним из наиболее распространенных подходов к оцениванию адекватности ИМ является подход, представленный в [1, 2] и заключающийся в оценивании меры близости r результатов, полученных при моделировании (М), и результатов, полученных на основе обработки статистических данных, в которых содержатся сведения об исследуемом объекте (Ob):

rk (Ob, M) = wOb - wM , к = 1K , (1)

где w0 - значение показателя k-го свойства СТС, полученное из статистических данных; wM -значение показателя k-го свойства СТС, полученное в результате ИМ ее функционирования; K -количество свойств, характеризующих СТС.

В качестве меры адекватности имитационной модели в этом случае выбирается вероятность

P[rk(Ob,M) <s]> 1 -S, (2)

где s - положительная величина, характеризующая точность модели; (1 — S) - положительная величина, характеризующая достоверность модели, которую будем называть доверительной вероятностью и обозначать ее через f3 = (1 — S).

В случае если СТС характеризуется только одним свойством, то такой подход является наиболее привлекательным. Однако если СТС характеризуется двумя и более свойствами или какое-либо свойство характеризуется несколькими показателями, то использование указанного подхода обусловливает необходимость для решения задачи оценивания адекватности ее имитационной модели получения свертки вероятностей (2) для каждого свойства СТС или для каждого показателя, характеризующего какое-либо свойство.

Еще один подход к решению задачи оценивания адекватности ИМ связан с использованием в качестве меры близости не расстояния (1), а расстояния между векторами, элементами которых являются значения показателей свойств СТС, полученные из статистических данных wOb и при моделировании wM .

Для вычисления расстояния между этими векторами могут быть применены различные виды метрик, такие как метрики Евклида, косинусное расстояние, Чебышева, Хэмминга, Ли и др [4], что также привносит элемент субъективизма.

Как видим, оба рассмотренных подхода характеризуются высокой долей субъективизма в процессе оценивания адекватности ИМ. Приведённые обстоятельства обусловливают необходимость совершенствования научно-методического аппарата оценивания адекватности ИМ.

Целью данной статьи является представление методики объективного оценивания адекватности стохастических ИМ СТС.

Описание методики оценивания адекватности статистических имитационных моделей

В основе данной методики лежит представление выходных показателей модели в виде системы случайных величин (СВ). Тогда в качестве меры адекватности ИМ может быть использована вероятность

P[ri(wOb,wM) <si,...,rk(wOb W) <sk,...,k(wf,wM <Sk] = {... j/(ri,г2,..тк)drK..drx ,(3)

0 0

где s ,s2 ,..,S - положительные величины, характеризующие точность модели по каждому показателю; /(r1,r2,...rK) - плотность вероятности расстояний между значениями показателей свойств СТС, полученными из статистических данных и в результате моделирования.

При этом модель будет считаться адекватной, если будет выполняться условие

Р

г^О,)<8,...,гк,^)гК(п°ь,< <ек >р .

(4)

Предлагаемое авторами статьи использование в качестве меры адекватности ИМ вероятности (3), характеризующей вероятность достижения требований по точности каждого из рассматриваемых показателей, которая, по сути, является однозначно интерпретируемым объективным обобщенным показателем адекватности ИМ, позволяет избавиться от субъективизма при решении подобных задач оценивания, а также сохранить общепринятый физический смысл переменных 8, р.

Обобщенная структурная схема методики, включающей в себя семь основных этапов, представлена на рис. 1.

Рис. 1. Структурная схема методики оценивания адекватности ИМ

В качестве исходных данных для представленной методики используются данные, на основе которых синтезирована ИМ исследуемой системы, подлежащая оцениванию.

Рассмотрим более подробно содержание предлагаемой методики. На первом этапе необходимо осуществить ретроспективный анализ процесса функционирования реальной СТС, модель функционирования которой подлежит оцениванию с позиции ее адекватности. В результате такого анализа формируется база данных, содержащая сведения о начальных параметрах процесса функционирования СТС и наблюдаемых (измеренных) значениях показателей эффективности исследуемого процесса. Содержание такой базы данных может быть представлено в виде табл. 1.

Таблица 1

Результаты ретроспективного анализа процесса с акционирования реальной СТС

№ наблюдения Множество начальных параметров (исходных данных) процесса функционирования СТС Показатели эффективности процесса функционирования СТС

1 wOb, k -\K

n wOb, k -\K

N wkN, k -\K

Начальные параметры процесса функционирования СТС, заданные вектором Уп, будут в последующем использоваться в качестве входных параметров ИМ этого процесса. Поскольку на пятом этапе методики предполагается расчет плотности вероятности расстояний гк, точность определения которой зависит от объема выборки этих расстояний, то целесообразно на первом этапе получить как можно большее количество наблюдений N.

Второй, третий и четвертый этапы методики связаны с проведением серии из I вычислительных экспериментов с ИМ с соответствующими значениями входных параметров V, нахождением по результатам моделирования наиболее вероятных значений всех рассматриваемых показателей эффективности функционирования wM нв, к = 1, К и получением N выборок расстояний {гкп } .

Количество прогонов ИМ в каждом эксперименте необходимо определять, исходя из требуемого значения доверительной вероятности к результатам моделирования [5].

Необходимость использования для определения расстояний г,кп наиболее вероятных значений показателей, полученных в результате моделирования, обусловлена тем, что рассчитать средние значения показателей эффективности процесса функционирования реальной СТС для конкретного варианта начальных параметров этого процесса в большинстве случаев не представляется возможным вследствие малого количества наблюдений с одними и теми же начальными параметрами процесса. Поэтому, на наш взгляд, целесообразно использовать в качестве гкп расстояние между случайными значениями показателей эффективности функционирования реальной СТС и наиболее вероятными их значениями, полученными в результате ИМ при одних и тех же исходных данных:

, к = 1К. (5)

Для определения нв необходимо по результатам ИМ получить плотности вероятности

/ы кп ) . Значения wktn , соответствующие максимальным значениям плотности вероятности, и есть наиболее вероятные значения каждого рассматриваемого показателя эффективности функционирования СТС. Для получения плотности вероятности можно использовать любой метод восстановления плотности вероятности по выборочным данным, например, метод ядерной оценки.

Последовательное выполнение основных этапов предлагаемой методики (с первого по четвертый этапы) позволит получить выборку расстояний {г}м, представляющую собой систему К случайных величин, полученную в результате проведения N экспериментов. Данная выборка представляет собой исходные данные для пятого этапа методики, целью которого является получение плотности вероятности системы случайных величин I(г1, г2,..., гК) .

В случае независимости отдельных СВ гк, входящих в рассматриваемую систему СВ, плотность вероятности может быть получена как

К

I (Г1, Г2,..., Гк ) = П fk (Гк ) . (6)

к=1

rkn -

Ob Wkn - W

M нв

■!

kn

Вивчарь Р.М., Птушкин А.И., Методика оценивания адекватности

Соколов Б.В. статистических имитационных моделей

Однако использование выражения (6) возможно только после подтверждения гипотезы о независимости отдельных случайных величин, что в случае K > 2 связано с существенными вычислительными сложностями [6]. Поэтому целесообразно определять плотность вероятности f (rx, r2,..., rK) без предварительного определения факта зависимости или независимости случайных величин. Это может быть сделано с помощью метода восстановления плотности вероятности Парзена-Розенблатта [7-10]. При использовании этого метода в данном исследовании плотность вероятности f (rl, r2,..., rK) определялась согласно [11] по формуле

1 N K . _ r

f(rl,..., rk,..., rK ) = - ZUr Y(Jk~Jkn), (7)

Nn=l k=l hk hk

где - реализация k-го расстояния в и-м опыте; h - ширина пропускания k-го расстояния;

_1( rk _rkn )2

r _r 1 2 h )

Y(_k—kn) = — e k - Гауссова ядерная функция.

hk -Дл

В работе [7] выражение (7) представлено в несколько другом виде, а именно по K выполняется суммирование, а не перемножение, как в данном случае. Однако, как показало данное исследование, такое выражение может быть использовано только для случая K < 2 .

На шестом этапе предлагаемой методики необходимо путем K-кратного интегрирования полученной плотности оценить вероятность (3) и проверить выполнение условия (4).

Для вычисления кратных интегралов используются различные способы. Так, например, в [7] одно- и двукратное интегрирование осуществляется с помощью встроенных в пакет прикладных программ MATHLAB специализированых функций, а интегрирование более высокого порядка кратности предложено проводить с помощью вложенных интегралов. Однако использование такого способа для сложных подынтегральных функций сопряжено со значительными вычислительными затратами и характеризуется невысокой точностью, особенно для больших порядков кратности.

Проведенные исследования показали, что для определения вероятности (3) в данной работе целесообразно использовать метод численного интегрирования на основе применения метода Монте-Карло.

Сущность метода интегрирования на основе применения метода Монте-Карло заключается в том, что в случайно выбранных точках 7-мерного пространства вычисляются значения подынтегральной функции, на основе которых определяется ее среднее значение. Значение интеграла при этом равно произведению среднего значения функции на объем тела, определенного числом этих точек [12].

Рассмотрим схему использования метода Монте-Карло для определения вероятности (3).

Шаг 1. Определение количества экспериментов Q и количества точек J, по которым будет вычисляться интеграл в каждом эксперименте. Чем больше будет количество экспериментов и количество точек в каждом эксперименте, тем точнее будет результат определения вероятности (3). Однако большое количество экспериментов и точек в них может привести к существенному увеличению необходимых вычислительных ресурсов. Поэтому при определении этих параметров необходимо обеспечить требуемые значения показателей точности вычисления. Например, проведенные исследования показали, что для вычисления вероятности (3) для случая K = 3 c погрешностью А = ±0,003 необходимо проведение 10 экспериментов с количеством точек в каждом J = 10 000.

Шаг 2. Для каждого эксперимента проводится генерация J точек с координатами (xj,x2j,...,xKj), принадлежащих K-мерному параллелепипеду, ограниченному пределами интегрирования. Координаты точек рассчитываются согласно выражению (8) [12]

Xj = rH + г _ rk )%, (8)

где r%,rB - нижняя и верхняя граница интегрирования по ^ расстоянию соответственно; % -случайное число, распределенное по равномерному закону в интервале [0;1].

Так как rjH = 0, rj = sk , формула (8) преобразуется в

Xj = (9)

Шаг 3. Вычисление значения функции (7) в каждой точке и определение ее среднего значения

j

fCp = (Zftfj ,■■■, Xj,-, 4? ))/J • (10)

j=1

Шаг 4. Нахождение значения интеграла в каждом q-м эксперименте и вычисление значения вероятности (3) по формуле [12]

Q к

р=(Z (fCp П (rkB - к)))/q , (ii)

q=1 k=1

которая с учетом rj = 0, rj = sk трансформируется в

Q к

P = (Z fp Пк ))/Q • (12)

q=1 к=1

Использование изложенного метода позволит с высокой точностью оценить меру адекватности любых ИМ за счет возможности вычисления интеграла любой степени кратности.

Заключительной операцией шестого этапа методики является сравнение полученного значения вероятности (3) с требованием по достоверности ß . В случае, если условие (4) выполняется, то разработанная модель обеспечивает требуемую степень адекватности. Если условие (4) не выполняется, то исходная ИМ подлежит коррекции (этап 7 методики) и процесс оценивания ее адекватности повторяется, начиная с первого этапа.

Представленная методика оценивания адекватности ИМ отличается от известных методик использованием в качестве обобщенного показателя адекватности - вероятности достижения выполнения всех требований по точности определения каждого рассматриваемого показателя эффективности СТС.

Таким образом, в рамках разработанной методики предлагается рассматривать адекватность имитационной модели, как комплексное свойство, характеризующее точность и достоверность исследуемой модели, и позволяющее избавиться от субъективизма при решении задачи многокритериального выбора при сравнении различных вариантов моделей заданной СТС.

Вычислительный эксперимент

Для наглядной иллюстрации представленной методики рассмотрим ИМ функционирования системы эксплуатации (СЭ) ракетно-космического комплекса (РКК) при проведении двух последовательных пусков ракет-носителей и оценим ее адекватность.

Выходными параметрами модели являются: продолжительность подготовки к пуску первой

РН - tinn ; продолжительность подготовки к пуску второй РН - П ; стоимость функционирования СЭ РКК - С .

Входными параметрами являются параметры системы эксплуатации, заданные множеством

V.

Требования к точности и достоверности выходных данных модели следующие: s1 =s2 = 1 ч. - требования к точности определения значений продолжительности подготовки к пуску первой и второй РН соответственно;

s3 = 20000 у.е. - требования к точности определения значения стоимости функционирования СЭ РКК;

ß = 0,95 - требования к достоверности выходных параметров модели.

На первом этапе методики предполагается, что в результате ретроспективного анализа процесса функционирования реальной типовой СЭ РКК в течение 20 лет была получена база данных, содержащая сведения о начальных значениях ее параметров и наблюдаемых в последствии показателей эффективности процесса ее функционирования (табл. 2).

Результаты ретроспективного анализа процесса функционирования типовой СЭ РКК

Таблица 2

№ наблюдения Множество параметров СЭ РКК Показатели эффективности процесса функционирования СЭ РКК

П, ч. Л *т , ч. С, у.е.

1 VI 51,3 52 8760274

20 ^20 49 61 8730288

На втором и третьем этапах для каждого набора входных параметров Уп, п = 1,20 была проведена серия из 1000 вычислительных экспериментов с разработанной имитационной моделью, обработка результатов которых позволила получить для каждого п тройку наиболее вероятных модельных значений показателей эффективности функционирования СЭ РКК (рис. 2).

■ь1' <§

Рис. 2. Плотности вероятности и наиболее вероятные значения продолжительностей подготовки к пуску первой, второй РН и стоимости функционирования СЭ РКК при заданных значениях ее параметров из множества V

На четвертом этапе были получены выборки расстояний }20, графическая интерпретация

которых представлена на рис. 3.

Лмш

1 Г

*ПП ' ПП 65 62,5 60 57,5 55 52,5 50 47,5 45 42,5 40 37,5 35 32,5 30

I. Реальные знамения ■ Модельные значения

1 1

—1 1—1 ■ ■

■ / ■ 1 1 * ■ А |

—■—

■ А —х—

пп ? пп 67,5 65 62,5 60 57,5 55 52,5 50 47,5 45

N

___1__

1 2 71 А

■ 1 ■_

я я ■ ■ ■ I

г.

А гН А А X

О 1 2 3 4 5 6 7 8 Э 10 11 12 13 14 15 16 17 18 19 20 21

ссшш

01234567

9 10 11 12 13 14 15 16 17 13 19 20 21

9400000 9200000 9000000 3800000 3500000 3400000 3200000 3000000 7300000

^

■

1 1_ \ \

/ _\ н

£ / в л ■ ■ 1

ж

О 1 2 3 4 5 6 7 3 9 10 11 12 13 14 15 16 17 18 19 20 21

Рис. 3. Графическое описание множеств значений показателей эффективности функционирования реальной типовой СЭ РКК, полученных в результате ретроспективного анализа и вычислительного эксперимента

Далее на пятом этапе методики с помощью метода Парзена-Розенблатта и формулы (7) была рассчитана плотность вероятности f (r, r2, Г ) •

1 20 3 1 r - r

f r r, Гз) = - ШуГ(^) , (12)

20 n=1 к=1 nk hk

в результате трехкратного интегрирования которой по методу Монте-Карло получено значение вероятности удовлетворения требований к точности выполнения всех задач, стоящих перед моделированием

P[r1 <eur2 <£2,r3 <£3] = 0,96 . (13)

Поскольку значение вероятности P > 0,95 , то можно сделать вывод, что разработанная ИМ функционирования СЭ РКК адекватна реальной.

Заключение

Проведенные исследования позволяют сделать следующие выводы.

1. Для всех применяемых в настоящее время методик количественного оценивания адекватности ИМ характерен существенный элемент субъективизма, следствием которого является сохранение неопределённости оценки.

2. Предложенная в работе методика оценивания адекватности ИМ обеспечивает получение комплексной объективной оценки ее адекватности, отвечающей на вопрос: «С какой вероятностью будет обеспечена точность выполнения всех задач, стоящих перед моделированием».

3. Предлагаемая в [7] формула (5) для построения плотности распределения случайных значений показателей качества функционирования СТС может быть применена только, если их количество не больше двух. При большем количестве рассматриваемых показателей необходимо пользоваться формулой (12), рекомендованной в [11].

4. Для выполнения процедур кратного интегрирования, применяемых в предложенной методике для вычисления вероятности выполнения всех требований к обеспечению адекватности ИМ, целесообразно использовать процедуры интегрирования, основанные на использовании метода Монте-Карло.

Исследование выполнено за счет гранта Российского научного фонда (проект № 22-1900767, https://rscf.ru/project/22-19-00767)

Литература

1. Микони, С.В. Квалиметрия моделей и полимодельных комплексов: монография / С.В. Ми-кони, Б.В. Соколов, Р.М. Юсупов. - М.: РАН, 2018. - 314 с.

2. Вивчарь, Р.М. Риск-ориентированное управление созданием организационно-технических систем на основе использования имитационных моделей их функционирования / Р.М. Вивчарь, Б.В. Соколов, А.И. Птушкин // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. - 2021. - № 2. - С. 17-31.

3. Модель системы эксплуатации систем электроснабжения объекта повышенной опасности / А.Н. Степенко, Д.В. Решетников, Е.А. Андреев, А.А. Левчук // Современные наукоемкие технологии. - 2021. - № 11-2. - С. 289-293.

4. Ростовцев, Ю.Г. Проблема обеспечения адекватности субъектно-объектного моделирования / Ю.Г. Ростовцев, Р.М. Юсупов // Известия вузов. Приборостроение. - 1991. - № 7. - С. 7-14.

5. Вентцель, Е.С. Теория вероятностей / Е.С. Вентцель. - М.: Наука, 1969. - 576 с.

6. Смирнов, Н.В. Краткий курс математической статистики для технических приложений / Н.В. Смирнов, И.В. Дунин-Барсковский. - М.: Физматгиз, 1959. - 436 с.

7. Вивчарь, Р.М. Методика многокритериального оценивания эффективности функционирования стохастических сложных технических систем / Р.М. Вивчарь, Б.В. Соколов, А.И. Птушкин // Авиакосмическое приборостроение. - 2022. - № 7. - С. 3-14.

8. Давыдов, В.С. Распознавание зарождающихся дефектов в узлах корабельных механизмов в результате вибродиагностирования на основе оптимальных решающих правил / В.С. Давыдов // Дефектоскопия. - 2019. - № 3. - С. 19-24.

9. Поршнев, С.В. Использование аппроксимации Розенблатта-Парзена для восстановления функции распределения непрерывной случайной величины с ограниченным одномодальным за-

коном распределения / С.В. Поршнев, А.С. Копосов // Научный журнал КубГАУ. - 2013. -№ 92(08). - С. 1-27.

10. Parzen, E. On Estimation of a Probability Density Function and Mode / E. Parzen // Ann. Math. Statist. - 1962. - Vol. 33, Iss. 3. - P. 1065-1076.

11. Маркович, Л.А. Гамма-ядерные оценки многомерной плотности и ее частной производной по зависимым данным / Л.А. Маркович // Фундаментальная и прикладная математика. -2018. - Т. 22, Вып. 3. - С. 145-177.

12. Пармузина, М.С. Вычисление интегралов по методу Монте-Карло / М.С. Пармузина, А.А. Модебейкин, А.А. Суханов // E-SCIO - 2022. - № 6(69). - С. 553-565. https://e-scio.ru/?p=17881

Поступила в редакцию 1 июня 2023 г.

Сведения об авторах

Вивчарь Роман Михайлович - кандидат технических наук, преподаватель кафедры Военно-космической академии имени А.Ф. Можайского, г. Санкт-Петербург, Российская Федерация, e-mail: rvivcar12@gmail.com

Птушкин Анатолий Иванович - кандидат технических наук, профессор, кафедра Военно-космической академии имени А.Ф. Можайского, г. Санкт-Петербург, Российская Федерация, e-mail: anatoly.ptushkin2011@yandex.ru

Соколов Борис Владимирович - доктор технических наук, профессор, главный научный сотрудник федерального государственного бюджетного учреждения науки «Санкт-Петербургский Федеральный исследовательский центр Российской академии наук», г. Санкт-Петербург, Российская Федерация, e-mail: sokolov_boris@inbox.ru

Bulletin of the South Ural State University Series "Mathematics. Mechanics. Physics" _2023, vol. 15, no. 3, pp. 5-14

DOI: 10.14529/mmph230301

METHODOLOGY FOR ASSESSING THE ADEQUACY OF STATISTICAL SIMULATION MODELS

R.M. Vivchar1, A.I. Ptushkin1, B.V. Sokolov2

Military Space Academy named after A.F. Mozhaisky, Saint Petersburg, Russian Federation 2 Federal State Budgetary Institution of Science "St. Petersburg Federal Research Center of the Russian Academy of Sciences", Saint Petersburg, Russian Federation E-mail: sokolov_boris@inbox.ru; vka@mil.ru

Abstract. Statistical simulation models of complex technical systems characterized by several indicators of operational efficiency were studied in this paper. The efficiency of obtaining knowledge on the examined systems depends on the quality of the models used. One of the basic properties describing the quality of a model is its adequacy - the complex property characterizing the degree of conformity of the values of the output parameters of the model with the object with the required accuracy and reliability. Current approaches to evaluating the adequacy of models are based on various subjective convolutions of confidence factors from research results to a generalized indicator the essence of which, as a rule, is not interpreted. The presented method of assessing the adequacy of statistical simulation models of complex technical systems with several performance indicators differs from existing methods by using a generalized indicator of adequacy, which is the probability of achieving the required confidence of all the accuracy requirements to determine each of the considered performance indicators. This indicator is a natural, unambiguously interpreted (the probability of satisfying the requirements for model adequacy) objective and generalized indicator of adequacy of the simulation model. For preliminary calculations we use the Parzen-Rosenblatt method and obtain the probability density function of distances between real and model indicators of effectiveness of the examined system. The required result is then obtained by the suggested algorithm of multiple integration of the density function using the Monte-Carlo meth-

od. Recommendations on the realization of the computational procedures foreseen by the method are given. The application of the method is illustrated by a description of a computational experiment.

Keywords: simulation modeling; accuracy; reliability; model adequacy; complex technical system.

References

1. Mikoni S.V., Sokolov B.V., Yusupov R.M. Kvalimetriya modeley i polimodel'nykh kompleksov: monografiya (Qualimetry of Models and Polymodel Complexes: Monograph), Moscow, RAN Publ., 2018, 314 p. (in Russ.). DOI: 10.31857/S9785907036321000001

2. Vivchar R.M., Ptushkin A.I., Sokolov B.V. Risk-Based Management of the Design of Organisational and Technical Systems Based on Simulation Models of their Functioning. Proceedings of Voronezh State University. Series: Systems Analysis and Information Technologies, 2021, no. 2, pp. 17-31. (in Riss.). DOI: 10.17308/sait.2021.2/3502

3. Stepenko A.N., Reshetnikov D.V., Andreev E.A., Levchuk A.A. Model of the System of Operation of Power Supply Systems of a High-Risk Object. Modern high technologies, 2021, no. 11-2, pp. 289-293. (in Russ.). DOI: 10.17513/snt.38926

4. Rostovtsev Yu.G., Yusupov R.M. Problema obespecheniya adekvatnosti subektno-obektnogo modelirovaniya (The Problem of Ensuring the Adequacy of Subject-Object Modeling). Izvestiya vuzov. Priborostroenie, 1991, no. 7, pp. 7-14. (in Russ.).

5. Venttsel E.S. Teoriya veroyatnostey (Probability Theory), Moscow, Nauka Publ., 1969, 576 p. (in Russ.).

6. Smirnov N.V., Dunin-Barskovskiy I.V. Kratkiy kurs matematicheskoy statistiki dlya tekhnicheskikh prilozheniy (A Short Course in Mathematical Statistics for Technical Applications), Moscow, Fizmatgiz Publ., 1959, 436 p. (in Russ.).

7. Vivchar R.M., Ptushkin A.I., Sokolov B.V. The Technique for Multi-Criteria Evaluation of the Performance of Stochastic Complex Technical Systems. Aerospace Instrument-Making, 2022, no. 7, pp. 3-14. DOI: 10.25791/aviakosmos.7.2022.1286

8. Davydov V.S. Recognition of Incipient Defects in the Units of Ship Machinery by Vibrodiagnostics Based on Optimum Decision Rules. Russian Journal of Nondestructive Testing, 2019, Vol. 55, no. 3, pp. 185-191. DOI: 10.1134/S1061830919030045

9. Porshnev S.V., Koposov A.S. Using Rozenblatt-Parzen Approximaion for Recovering a Cumulative Distribution Function of Continuous Random Variable with a Bounded Single-Mode Distribution Rule. Scientific Journal of KubSAU, 2013, no. 92(08), pp. 1-27.

10. Parzen E. On Estimation of a Probability Density Function and Mode. Ann. Math. Statist., 1962, Vol. 33, Iss. 3, pp. 1065-1076. DOI: 10.1214/aoms/1177704472

11. Markovich L.A. Nonparametric Estimation of Multivariate Density and its Derivative by Dependent Data using Gamma Kernels. Fundamentalnaya iprikladnaya matematika, 2018, Vol. 22, Iss. 3, pp.145-177.

12. Parmuzina M.S., Modebeykin A.A., Sukhanov A.A. Vychislenie integralov po metodu Monte-Karlo (Calculation of Integrals by the Monte Carlo method). E-SCIO, 2022, no. 6(69), pp. 553-565. https://e-scio.ru/?p=17881

Received June 1, 2023

Information about the authors

Vivchar Roman Mikhailovich is Cand. Sc. (Engineering), Lecturer of the Department of the Military Space Academy named after A.F. Mozhaisky, Saint Petersburg, Russian Federation, e-mail: rvivcar 12@gmail. com

Ptushkin Anatoly Ivanovich is Cand. Sc. (Engineering), Professor, Department of the Military Space Academy named after A.F. Mozhaisky, Saint Petersburg, Russian Federation e-mail: ana-toly.ptushkin2011@yandex.ru

Sokolov Boris Vladimirovich is Dr. Sc. (Engineering), Professor, Chief Scientific Officer of the Federal State Budgetary Institution of Science "St. Petersburg Federal Research Center of the Russian Academy of Sciences", Saint Petersburg, Russian Federation, e-mail: sokolov_boris@inbox.ru