CC BY
0УДК 519.248
doi:10.18720/SPBPU/2/id24-75
Лундаева Карина Александровна,
специалист,
Лаборатория «Цифровое моделирование индустриальных систем» Передовой инженерной школы СПбПУ «Цифровой инжиниринг»;
студент
МЕТОДЫ КОЛИЧЕСТВЕННОЙ ВАЛИДАЦИИ ЦИФРОВОГО МОДЕЛИРОВАНИЯ В РАЗРЕЗЕ ЭТАПОВ РАЗРАБОТКИ
МОДЕЛИ
Россия, Санкт-Петербург, Санкт-Петербургский политехнический университет Петра Великого, karina.lundaeva@spbpu.com
Аннотация. Валидация цифровых моделей — обязательный этап разработки, позволяющий установить адекватность и полезность моделей. Однако, разнообразие существующих форм цифровых моделей осложняет выбор релевантных инструментов валидации, что обуславливает актуальность исследований в области структурирования и систематизации методов и подходов к валидации цифровых моделей. Целью исследования является выявление и классификация возможных решений по проведению валидации цифровых моделей. В ходе исследования был рассмотрен жизненный цикл разработки модели, а также определены инструменты проведения валидации и их классификация по основным этапам разработки. Полученный результат представляет собой классификацию методов и инструментов проверки модели, а также их соотнесение по этапам разработки и обоснование их применимости.
Ключевые слова, валидация, верификация, цифровое моделирование, имитационное моделирование, точность модели, разработка модели, аналитическая модель, концептуальная модель.
Karina A. Lundaeva,
Specialist, Laboratory "Digital modeling of industrial systems" of the "Digital Engineering" Advanced Engineering School, SPbPU; Student
QUANTITATIVE VALIDATION TECHNIQUES OF DIGITAL MODELING IN THE CONTEXT OF STAGES OF MODEL
DEVELOPMENT
Peter the Great St. Petersburg Polytechnic University, St. Petersburg, Russia,
karina.lundaeva@spbpu.com
Abstract. Validation of digital models is an obligatory stage of development, which allows to establish the adequacy and usefulness of models. However, the variety of existing forms of digital models complicates the choice of relevant validation tools, which determines the relevance of research in the field of structuring and systematization of
methods and approaches to validation of digital models. The purpose of the study is to identify and structure possible solutions for validating digital models. The study examined the process of creating a model, identifying the stages of its verification, identifying validation tools and their classification according to the main stages of creating models. The obtained result represents a classification of methods and tools for model verification and their correlation by stages of development and justification for their applicability.
Keywords: validation, verification, digital modeling, simulation modeling, model accuracy, model development, analytical model, conceptual model.
Введение
Валидация модели — это процесс комплексной оценки соответствия модели реальной системе в рамках установленной цели моделирования [1]. Но, предшествуя этапу полной валидации, должны быть проведены валидационные проверки концептуальной и аналитической модели исследуемой системы.
Важно разграничить понятия валидации модели и последующей оценки качества решений, полученных по результатам прогонов модели. Оценка качества производится на уже верифицированной и валидиро-ванной модели, чтобы избежать занижения значений целевых показателей, ввиду отсутствия валидации одного из этапов создания модели. Оценка качества является завершающим этапом разработки модели и включает оценку ее адекватности, точности и устойчивости [2].
Практическая проблема состоит в трудоемкости проверки моделей в связи с увеличением сложности систем. Зачастую модель первого этапа разработки в достаточной мере не соответствует реальной системе, что требует нескольких итераций проведения валидации и верификации на промежуточных этапах ее создания. Так как процесс валидации предполагает сравнение показателей модели и реальной системы с точки зрения их соответствия, то кажутся применимыми множество статистических инструментов, однако не все из них могут дать значимые результаты для интерпретации, и выбор подходящего инструмента может вызвать затруднения. Таким образом, целью исследования является выделение существующих методов количественной валидации цифровой модели и классификация полученных результатов по этапам разработки.
1. Методология исследования
Был проведен литературный обзор источников в базах научных публикаций Scopus и RSCI. Первоначально формировались запросы по следующим ключевым словам: «этапы разработки имитационной модели», «валидация имитационного моделирования». Далее запросы уточнялись в сторону валидации цифровых моделей других классов, таких как: модели машинного обучения, статистическое моделирование и пр. Особое внимание было уделено сборникам конференций, поскольку в данных источниках зачастую публикуются практические результаты
исследований, в том числе результаты разработок цифровых моделей разных областей, включая этапы валидации и верификации представленных моделей.
2. Результаты исследования
2.1. Основные этапы разработки цифровых моделей сложных систем
Первым шагом разработки модели является постановка цели моделирования, на основе которой определяются задачи разработки, вводимые допущения и ограничения. Следующим этапом является разработка концептуальной модели, то есть содержательной модели, отражающей основные аспекты реальной системы [3]. Так как в рамках концептуального моделирования не осуществляется переход к формальным языкам описания системы, то на данном этапе проводится качественная оценка достоверности концептуальной модели на основании проверки соответствия замысла модели реальной системе [4].
В рамках формирования набора исходных данных модели возможно выделение этапа разработки информационной модели. На данном этапе осуществляется так же качественная оценка данных, оценка соответствия формату и структуре данных системы, проверка на наличие дубликатов, пропусков, несоответствий и избыточности данных
Переход к аналитическому моделированию осуществляется при описании поведения реальных процессов в виде явных функциональных зависимостей [5]. Количественная валидация проводится на данном этапе в целях выбора лучшей аналитической модели описания логики функционирования системы.
Как было описано ранее, при переходе к компьютерной реализации модели, необходимо проведение верификации модели, ее отладки.
После запуска необходимого количества прогонов переходят к оценке качества результатов моделирования и их пригодности для дальнейшей интерпретации к принятию управленческих решений [6]. Тонкая грань между валидацией модели и оценкой качества полученных решений состоит в том, что при валидации оценивается успешность основных шагов разработки модели и первичная истинность полученных результатов, без оценки возможности интерпретации полученных решений. Оценка точности, устойчивости и адекватности, наоборот, связаны с планированием принятия управленческих решений на основании результатов моделирования.
На рисунке 1 приведен алгоритм разработки цифровых моделей с выделением мест обязательной валидации и верификации при разработке.
Рис. 1. Место верификации и валидации в этапах разработки цифровой модели
2.2. Существующие количественные методы валидации в цифровом моделировании
Этап проведения валидации модели разделен на качественную оценку соответствия реальной системе и количественную, подразумевающую статистическое сравнение и анализ ошибок между результатами модели и данными экспериментов с реальной системой (в случае отсутствия экспериментальных данных — возможно сравнение с иными эталонными данными или с результатами аналитического анализа системы). Под количественной валидацией модели в данном случае можно понимать первичную оценку степени точности результатов моделирования, предшествующую этапу анализа выходных результатов и оценивающую исключительно связь вида «модель-реальная система» для выводов о допустимости представления реальной системы моделью. На этапе заклю-
чительной валидации данных проводится оценка характеристик распределений выходных показателей. Распространенным инструментов анализа результатов является именно статистическая оценка показателей, так как она позволяет наиболее полно проанализировать полученные данные [7].
В качестве количественной оценки используются метрики (количественные меры) валидации. Основной целью их использования является сравнение результата валидационной метрики с требованиями к точности или же адекватности для предполагаемого использования модели. Результаты вычислений метрик валидации представляют собой детерминированные или случайные величины, учитывающие вероятностный характер параметров в зависимости от математической формы представления реальных процессов в модели [8].
Количественная валидация проводится на этапе анализа аналитической модели и при последующей валидации модели в целом (рис. 1).
Из основных способов количественной оценки моделей выделяют [8, 10]:
1. Регрессионный, дисперсионный и корреляционный анализы, применяемые для сопоставления данных реальной системы и модели.
2. Оценка доверительных интервалов.
3. Сравнение энтропии временных рядов модели и реальной системы.
В таблице 1 приведены основные возможности применения приведенных способов количественной валидации на этапах анализа аналитической модели и валидации модели в целом.
Таблица 1
Применимость выделенных методов на этапах разработки модели
Метод количественной оценки Этап валидации аналитической модели Этап валидации разработанной цифровой модели
1 2 3
Регрессионный, дисперсионный и корреляционный анализы Использование данных методов дает представления о корректности выбранного способа формализации и алгоритмизации реальных явлений. Возможно выполнение следующих шагов: — оценка влияния параметров на результаты математического моделирования (факторный анализ); — сравнение средних значений при вариации параметров; — оценка корреляционной связи между переменными и сопоставление значений с эталонной моделью Анализ взаимосвязей элементов модели и оценка их соответствия реальной системе, исследование внутренних механизмов системы и проверка на отображение всех необходимых свойств моделируемых явлений
1 2 3
Оценка доверительных интервалов Определение диапазона реалистичности оценок математической модели в рамках установленных допущений Оценка неопределенности моделирования, сопоставление с необходимым уровнем соответствия реальной системе
Сравнение энтропии временных рядов модели и реальной системы Оценка степени хаоса и неопределенности решения для определения способности аналитической модели воспроизводить структуру временных рядов реальной системы Определение меры упорядоченности модели, разнообразия и сложности генерируемых сценариев, что является важной характеристикой при анализе поведения системы в различных условиях
Таким образом, применение регрессионного, корреляционного, дисперсионного анализов, оценка доверительных интервалов и сравнение энтропии временных рядов между моделью и реальной системой позволяет провести комплексный анализ аналитической и созданной на ее основе цифровой модели для подтверждения их валидности.
Заключение
В рамках данного исследования была выполнена структуризация методов валидационных проверок по этапам разработки цифровой модели. Также были выделены основные методы количественной валидации и возможности их применения на этапах валидации аналитической модели и целевой модели системы. Классификация существующих решений позволит более детально планировать валидационные эксперименты в разрезе основных этапов разработки, что влечет за собой повышение качества принимаемых решений в различных областях анализа систем и цифрового моделирования.
Благодарности
Исследование выполнено при поддержке Министерства науки и высшего образования Российской Федерации (государственное задание № 075-03-2023-004 от 13.01.2023).
Список литературы
1. Цифровое моделирование социотехнических и социально-экономических систем. монография / А.М. Гинцяк, Ж.В. Бурлуцкая, Д.Э. Федяевская [и др.]. - СПб. . ПОЛИТЕХ-ПРЕСС, 2023. - 164 с.
2. Разработка имитационных моделей в среде MATLAB: методические указания для студентов специальностей 01719, 351400 / Сост. А. М. Наместников. - Ульяновск: УлГТУ, 2004. - 72 с.
3. Robinson S. A tutorial on conceptual modeling for simulation // 2015. Winter Simulation Conference (WSC), Huntington Beach, CA, USA, 2015. - Pp. 1820-1834. - DOI: 10.1109/WSC.2015.7408298.
4. Sargent R.G. Verification and validation of simulation models // Proceedings of the 2010 Winter Simulation Conference, Baltimore, MD, USA, 2010. - Pp. 166-183. -DOI: 10.1109/WSC.2010.5679166.
5. Разработка имитационных моделей сложных технических систем / И.В. Максимей, В.С. Смородин, О.М. Демиденко; М-во образования РБ, Гом. гос. унт им. Ф. Скорины. - Гомель : ГГУ им. Ф. Скорины, 2014. - 298 с.
6. Чекмарева Е.А. Концептуальная модель воспроизводства трудового потенциала на муниципальном уровне: агент-ориентированный подход // Социальное пространство. - 2017. - № 4. - С. 3.
7. Яцкив И.В., Юршевич Е.А. Применение имитационного моделирования для оценки рисков инвестиционных проектов [Электронный ресурс] // Материалы I Всероссийской научно-практической конференции ИММ0Д-2003, 23-24 октября 2003 г., г. Санкт-Петербург, Россия. - 2003. - С. 153-157. - URL: http://simulation.su/uploads/files/default/immod-2003-2-153-157.pdf (дата обращения: 20.10.23).
8. Oberkampf W.L., Barone M.F. Measures of agreement between computation and experiment: validation metrics // Journal of Computational Physics. - 2006. - Vol. 217. No 1. - Pp. 5-36.
9. Поляков В.Д. Корреляционный и регрессионный анализ в использовании факторного планирования экспериментов // Международная конференция по мягким вычислениям и измерениям. - СПб.: Федеральное государственное автономное образовательное учреждение высшего образования Санкт-Петербургский государственный электротехнический университет ЛЭТИ им. ВИ Ульянова (Ленина), 2018. - Т. 2. - С. 683-686.
10. Горбунов Д.В., Гавриленко Т.В. Математическое моделирование динамических процессов организма человека на основе дифференциальных уравнений с разрывной правой частью // Успехи кибернетики. - 2023. - Т. 4. №. 1. - С. 15-20.
