CC BY
95
УДК 355.2.001:35 Дата подачи статьи: 27.01.21
Б01: 10.15827/0236-235Х.133.061-066 2021. Т. 34. № 1. С. 061-066
Метод проверки тренажерных моделей на адекватность
В.А. Ильин 1, д.в.н, профессор, директор, [email protected] Н.П. Кирюшов 2, к.т.н, доцент,, профессор кафедры вооружения
1 НИИ«Центрпрограммсистем» (филиал в г. Санкт-Петербурге), г. Санкт-Петербург, 193091, Россия
2 Военный институт (дополнительного профессионального образования) ВУНЦ ВМФ «Военно-морская академия», г. Санкт-Петербург, 195112, Россия
В статье обоснована необходимость оценки качества имитационных моделей тренажерных систем и их адекватности реальным системам, описан метод оценки адекватности имитационных моделей. Имитационная модель должна обеспечивать требуемую точность и достоверность моделирования процессов. Достоверность результатов моделирования предполагает, что модель отвечает некоторым специфическим требованиям, позволяющим оценить ее качество.
Оценка качества модели предполагает проверку на соответствие целям моделирования. В общем случае оценка свойств модели включает оценку ее адекватности, точности результатов моделирования (погрешности имитации), устойчивости результатов имитации исследуемых процессов, а также исследование чувствительности модели.
Оценка адекватности модели отражает степень ее соответствия реальной системе. Алгоритм проверки адекватности модели состоит в сравнении выходов (откликов) модели и реальной системы при одинаковых значениях входов. При этом используются статистические методы проверки гипотез, например, по ^критерию Стьюдента.
Точность моделирования оценивается путем определения оценок математического ожидания и дисперсии отклонения компонент вектора откликов. Устойчивость результатов моделирования оценивается дисперсией значений отклика.
Чувствительность имитационной модели означает степень изменения выходных параметров модели или откликов в зависимости от входящих характеристик.
Методика оценки адекватности моделей включает этапы выбора критерия адекватности имитационной модели предмету исследования, производства измерений значений откликов реальной системы и имитационной модели, вычислительный этап с оценкой адекватности имитационной модели реальным системам, определение адекватности имитационной модели.
Ключевые слова: адекватность модели, имитационная модель, качество модели, критерий Стьюдента, моделирование, натурный эксперимент, реальная система, тренажер, учебная задача, эффективность.
Тренажер для подготовки специалистов должен обеспечить отработку требуемых учебных задач, для чего необходимо оценить соответствие моделируемых ситуаций реальным. Вопросы проверки на адекватность морских тренажеров в прямой постановке до настоящего времени практически не освещались. Определенные подходы отмечены в [1-3]. В данной статье описывается один из возможных методов оценки качества тренажерных средств.
Поскольку тренажер представляет собой совокупность имитационных моделей (ИМ), необходимо на стадии его проектирования проводить исследование свойств ИМ. Наиболее верный способ такой проверки целесообразно проводить, используя реальные системы и объекты, то есть осуществляя определенное коли-
чество натурных экспериментов. Поскольку тренажер представляет собой совокупность ИМ работы расчетов органов управления при комплексной отработке задач, включающих оценку и анализ внешних условий по отношению к управляемым объектам, выработку команд управления объектами и оценку результатов действий управляемых объектов, необходимо на стадии проектирования тренажеров проводить исследование свойств ИМ [4, 5].
Полученные с помощью конкретной ИМ результаты должны обладать требуемой точностью и достоверностью. Достоверность результатов моделирования предполагает, что ИМ отвечает некоторым специфическим требованиям, позволяющим оценить ее качество. Оценка качества модели предполагает проверку на соответствие целям моделирования.
В общем случае оценка свойств модели включает:
— оценку адекватности модели;
— оценку точности результатов моделирования (погрешность имитации, обусловленную наличием в модели неидеальных генераторов случайных чисел);
— определение длительности переходного режима в работе ИМ;
— оценку устойчивости результатов имитации исследуемых процессов;
— исследование чувствительности модели.
Оценка адекватности модели отражает степень ее соответствия реальной системе. Она может быть проведена только в случае, если у исследователя есть возможность сопоставить результаты прогона модели с работой реальной системы.
Алгоритм проверки адекватности модели состоит в сравнении выходов модели и реальной системы при одинаковых значениях входов, причем значения откликов и системы, и модели считаются выборочными данными. В этом случае используются статистические методы проверки гипотез. Нулевая гипотеза (Но) предполагает несущественность различий между средними величинами откликов системы и откликов модели. При этом могут использоваться различные статистические критерии, например, ¿-критерий Стьюдента [6]. В результате проверки гипотеза может быть отвергнута, тогда принимается ее альтернатива.
При моделировании проектируемого объекта оценку адекватности провести невозможно.
Входные параметры модели часто задаются вероятностно (в виде определенного интервала). Генератор псевдослучайных чисел, встроенный в известные системы имитационного моделирования, определяет какое-либо значение параметра (например, поступление транзактов) внутри этого интервала. Наличие генератора является источником погрешности имитации.
Поэтому проводят несколько прогонов модели (обычно N = 10) при одних и тех же серединных значениях параметров X, но разных пограничных точках интервалов (например, интервала поступления транзактов). По полученным откликам (Г) оценивается погрешность. Оценить погрешность можно путем определения оценок математического ожидания и дисперсии отклонения компонент вектора откликов Г (применяется понятие «оценка математического ожидания», а не «математи-
ческое ожидание», так как речь идет о выборочной совокупности, приблизительно оценочно отражающей генеральную совокупность). Оценки математического ожидания (Гп) и дисперсии (Рп) вычисляются по известным формулам:
— 1
1
Уп = ,, ^ Упк, = . ^ (Упк Уп) ,
я 2 к=1 я 2 - 1 к=1
где Упк - отклики модели по прогонам; N2 -число прогонов в ИМ.
Далее определяется доверительный интервал математического ожидания отклика Г.
Погрешности порождаются генераторами псевдослучайных чисел, поэтому можно допустить нормальный закон распределения отклонений У„к от значений Г. Поскольку выборка является малой (к < 30), для нахождения доверительных интервалов используется ¿-стати-стика (распределение Стьюдента). Алгоритм нахождения доверительного интервала (интервала, в котором с выбранной исследователем вероятностью находится математическое ожидание значений отклика) следующий:
Y-е< Y + £,
£ = L
Л
N -1
где ¿0,05 - значение, определяемое по таблице «Значения ¿-критерия Стьюдента» (оно зависит от числа степеней свободы (у = N - 1) и уровня значимости суждений а = 0,05).
Точность суждений о значении какого-либо показателя отклика (например, средней длины очереди) зависит от количества выборочных значений: чем больше выборка, тем точнее результат. Если точность (то есть доверительный интервал) задается заранее и исследователь остановился на каком-то одном уровне вероятности суждения (чаще Р берется равным 0,95), необходимое количество прогонов (Ы) определяется путем обратной задачи следующим образом:
N = N0 40/42, где N0 - число пробных прогонов; 40 - длина доверительного интервала, получившегося по результатам пробных прогонов (в единицах измерения оцениваемого показателя); 42 - экс-пертно определяемая длина доверительного интервала, необходимая для исследователя (в единицах измерения оцениваемого показателя).
Под устойчивостью результатов имитации понимается степень ее нечувствительности к изменению входных условий. Устойчивость модели - это способность сохранять адекват-
ность на всем диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы. Чем ближе структура модели к структуре системы и больше степень ее детализации, тем выше устойчивость модели.
В целом устойчивость результатов моделирования можно оценить дисперсией значений отклика (одного из показателей работы системы, например, коэффициента загрузки устройства). Если при увеличении времени моделирования дисперсия отклика не увеличивается, результаты работы данной модели устойчивы.
Чувствительность ИМ означает степень изменения выходных параметров модели (Г), или откликов, в зависимости от входящих характеристик (X). Под входящими характеристиками понимаются, например, интенсивность поступления транзактов, временной диапазон обслуживания одного транзакта и др. В зависимости от диапазона изменения откликов Г определяется стратегия планирования экспериментов на ИМ. Если при значительном изменении X отклик Г меняется незначительно, значит, данный фактор несущественно влияет на результаты работы системы, имитируемой моделью.
Эффективность проводимых натурных экспериментов оценивается количественно с помощью показателей надежности выполнения учебной задачи. В их качестве выступает вероятность выполнения задачи в установленное время или эффективность выполнения задачи. Безусловно, идеальной при проведении натурных экспериментов является реальная система. Однако, исходя из критерия «эффективность-стоимость», очевидно, что для проверки адекватности ИМ мы придем к их экономической нецелесообразности. Таким образом, необходим выбор рациональной программы (варианта) проведения мероприятия, направленного на повышение его эффективности. В качестве такого варианта предлагается использовать аналоги реальных систем, обладающих высокой степенью надежности выполнения учебной задачи (от 0,90 до 0,99) и более высокими показателями технико-экономической эффективности. Математический аппарат решения задачи, подтверждающий надежность ее выполнения, основан на методах теории вероятностей и математической статистики, однако классические статистические методы подтверждения гипотез и результатов экспериментов, разработанные с расчетом их распространения на достаточно большую, если не бесконечную,
совокупность экспериментов - проверку адекватности ИМ, неприемлем. Применение таких методов для подтверждения эффективности натурных экспериментов не даст оптимальных решений. Необходимо при разработке метода подтверждения эффективности мероприятий (экспериментов), с одной стороны, учесть реальное число образцов моделируемых объектов, а с другой - определить требуемое (минимально необходимое) количество натурных экспериментов для подтверждения их эффективности, при котором степень надежности выполнения задачи будет не ниже установленной в техническом задании на конкретный (участвующий в эксперименте) образец. В конечном счете необходимо определить такое количество испытаний (к) для подтверждения эффективности, при котором, во-первых, экономические потери и затраты будут минимальными, а во-вторых, количество измерений будет достаточным для получения доверительной оценки с потребной надежностью и точностью. Конечным этапом технико-экономической оценки считается сравнение различных конкурирующих образцов по упомянутому выше критерию «эффективность-стоимость», то есть из нескольких образцов, требующих одинаковых экономических затрат, выбирают тот, который обеспечит более эффективное выполнение решаемых задач, а из образцов, обеспечивающих одинаковую эффективность, - требующий меньших экономических затрат.
В основу приведенного далее математического аппарата проверки адекватности ИМ положены исследования по имитационному моделированию на ЭВМ, описанные в работе [7], методы оценки эффективности мероприятий, проводимых при боевой эксплуатации вооружения [8], и по математической обработке результатов экспериментов [9].
Методика представляет собой исследование, включающее три этапа: выбора критерия адекватности ИМ предмету исследования, производства измерений значений откликов реальной системы и ИМ, а также вычислительный этап с оценкой адекватности ИМ реальной системе и подведением итогов эксперимента на предмет адекватности ИМ.
Оценка адекватности ИМ объекту исследования проводится для случая, когда можно определить значение отклика объекта исследования в ходе натурных испытаний на реальной системе.
Проверку адекватности модели реальному объекту исследования можно проводить различными способами:
— по средним значениям откликов модели и системы;
— по дисперсиям отклонений откликов модели от среднего значения откликов системы;
— по максимальному значению абсолютных отклонений откликов модели от откликов системы.
В основу данной методики положен способ с проверкой гипотезы о близости средних значений каждой и-компоненты откликов ИМ Гп известным средним значениям и-компоненты откликов реальной системы
г*ак.
При близости откликов по всем компонентам векторов Г и Г*Q делается вывод об адекватности ИМ реальной системе. Следовательно, имеет место вывод об адекватности ИМ самому предмету исследования.
Аналогично проводится проверка на адекватность ИМ всем имитируемым реальным системам. При близости откликов по всем компонентам векторов Г и Г*Q делается вывод об адекватности ИМ всему комплексу имитируемых систем.
Из общей оценки близости откликов по всем компонентам векторов Г и Y*Q моделируемых систем делается вывод об адекватности ИМ.
Остальные модели имитируемых систем, инсталлированных в БД тренажера, адекватны своим реальным системам - реальным прототипам.
Алгоритм проверки ИМ тренажерных систем на адекватность моделируемым реальным системам представлен на рисунке.
Алгоритм проверки ИМ на адекватность Algorithm for checking the SMfor the adequacy
Приведенная методика позволяет проверить на адекватность все существующие на данный момент ИМ отдельных систем и комплексов систем.
Литература
1. Магид С.И., Загретдинов И.Ш., Архипова Е.П., Камнев В.И., Мищеряков С.В., Сысоева Л.В. Обеспечение комплексной адекватности тренажеров для электроэнергетики - основа безаварийной работы оперативного персонала. М.: АПАРТ, 2003.
2. Кобзев В.В., Шилов К.Ю. Методы создания технических средств обучения корабельных операторов. СПб: Наука, 2005. 156 с.
3. Недзельский И.И. Морские навигационные тренажеры: проблемы выбора. СПб, 2002. 220 с.
4. Андреев В.Ю., Базлов А.Ф., Ильин В.А., Шуванов А.Д. Некоторые технологические аспекты создания учебно-тренировочных средств подготовки командиров и специалистов ВМФ // Программные продукты и системы. 2016. Т. 31. № 1. С. 32-36. DOI: 10.15827/0236-235X.113.032-036.
5. Захаров В.Л., Ильин В.А. Тренажеры Военно-Морского Флота: создание и использование: монография. Тверь: изд-во НИИ «Центрпрограммсистем», 2019. 248 с.
6. Лебедев А.Н., Куприянов М.С., Недосекин Д.Д., Чернявский Е.А. Вероятностные методы в инженерных задачах. СПб: Энергоатомиздат, 2000. 333 с.
7. Максимей И.В. Имитационное моделирование на ЭВМ. М.: Наука, 1981. 230 с.
8. Червоный А.А. Методы оценки эффективности мероприятий, проводимых при эксплуатации вооружения. М.: Воениздат, 1983. 95 с.
9. Румшиский Л.З. Математическая обработка результатов эксперимента. М.: Наука, 1971. 191 с.
10. Вадзинский Р.Н. Справочник по вероятностным распределениям. СПб: Наука, 2001. 295 с.
Software & Systems Received 27.01.21
DOI: 10.15827/0236-235X.133.061-066 2021, vol. 34, no. 1, pp. 061-066
Method of testing the training models for the adequacy
Ilin V.A. 1, Dr.Sc. (Military Sciences), Professor, Director, [email protected] Kiryushow N.P. 2, Ph.D. (Engineering), Associate Professor, Professor
1 St. Petersburg Branch of the R&D Institute Centerprogramsystem, St. Petersburg, 193091, Russian Federation
2 Military Institute of Continuing Professional Education of the VUNTS Navy "Naval Academy", St. Petersburg, 195112, Russian Federation
Abstract. The paper substantiates the necessity of assessing the quality of simulated models of trainer systems and their adequacy to actual systems and describes a method for evaluating the adequacy of simulation models.
The simulated model must provide the required accuracy and reliability of the process simulation. The simulation validity assumes that the model meets some specific requirements that allow us to test its quality.
The model quality analysis involves testing for compliance with the modeling goals. In general, the evaluation of the model properties includes the model adequacy assessment, the simulation results' accuracy (simulation error), the stability of the simulation results of the studied processes, and the study of the model sensitivity.
The model adequacy assessment reflects its compliance degree with the actual system. The algorithm for the model adequacy checking comprises comparing the outputs (responses) of the model and the actual system with the same input values.
Here, statistical methods are used to test hypotheses, for example, by the t-Student criterion.
The path of determining the estimates of the mathematical expectation and variance of the deviation of the components of the response vector tests the accuracy of the simulation. The variance of the flow values tests the stability of the simulation results.
The simulated model sensitivity refers to the degree to which the model's output parameters or responses change depending on the input characteristics.
Methods of assessing the adequacy of the models include the steps of selection criterion of the validity of the simulation model to the subject of the study, the production of measurements of the response values of the real system and the simulation model, the computational stage with the assessment of the adequacy of the simulation model to real systems, the determination of the adequacy of the simulation model.
The evaluation method for assessing the models' adequacy includes the selecting stages the criterion for the adequacy of the simulation model to the subject of research, making measurements of the response values of the real system and the simulation model, the computational stage with the assessment of the adequacy of the simulation model to actual systems, determining the adequacy of the simulation model.
Keywords: model adequacy, simulation model, model quality, Student's criterion, modeling, field experiment, actual system, simulator, training problem, efficiency.
References
1. Magid S.I., Zagretdinov I.Sh., Mishcheryakov S.V., Arkhipova E.N., Sysoeva L.V. Ensuring the Comprehensive Adequacy of Electric Power Industry Simulators is the Basis for the Trouble-Free Run of Operating Personnel. Moscow, 2003 (in Russ.).
2. Kobzev V.V., Shilov K.Yu. Methods of Creating Technical Means for Training Ship Operators. St. Petersburg, 2005, 156 p. (in Russ.).
3. Nedzelsky I.I. Marine Navigation Trainers: Selection Problems. St. Petersburg, 2002, 220 p. (in Russ.).
4. Andreev V.Yu., Bazlov A.F., Ilin V.A., Shuvanov A.D. Some technological aspects of creating educational training equipment for Navy commanding officers and specialists. Software and Systems, 2016, vol. 31, no. 1, pp. 32-36. DOI: 10.15827/0236-235X.113.032-036 (in Russ.).
5. Zakharov V.L., Ilin V.A. Navy Trainers: Creation and Use. Tver, 2019, 248 p. (in Russ.).
6. Lebedev A.N., Kupriyanov M.S., Nedosekin D.D., Chernyavsky E.A. Probabilistic Methods in Engineering Problems. Reference Book. St. Petersburg, 2000, 333 p. (in Russ.).
7. Maksimey I.V. Computer Simulation Modeling. Moscow, 1981, 230 p. (in Russ.).
8. Chervony A.A. Methods for Assessing the Effectiveness of Measures Taken During the Weapons Operation. Moscow, 1983, 95 p. (in Russ.).
9. Rumshisky L.Z. Mathematical Processing of Experimental Results. Moscow, 1971, 191 p. (in Russ.).
10. Vadzinsky R.N. Probability Distributions Handbook. St. Petersburg, 2001, 295 p. (in Russ.).
Для цитирования
Ильин В.А., Кирюшов Н.П. Метод проверки тренажерных моделей на адекватность // Программные продукты и системы. 2021. Т. 34. № 1. С. 061-066. DOI: 10.15827/0236-235X.133.061-066.
For citation
Ilin V.A., Kiryushow N.P. Method of testing the training models for the adequacy. Software & Systems, 2021, vol. 34, no. 1, pp. 061-066 (in Russ.). DOI: 10.15827/0236-235X.133.061-066.
