CC BY
1793
УДК 629.735.015:531.5:681.3:001.891.573
ПРОВЕРКА АДЕКВАТНОСТИ МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ
М.С. КУБЛАНОВ
Предлагаются формулировки основных терминов, устоявшихся в практике математического моделирования задач динамики полета летательных аппаратов. Обсуждаются способы проверки адекватности.
Ключевые слова: математическое моделирование, технические системы, динамика полета, адекватность.
Введение
В последние годы математическое моделирование как метод исследования сложных систем находит широкое применение для различных задач. Как показала практика, понятие адекватности математических моделей (ММ) и сопутствующие термины нуждаются в том, чтобы их уточненная формулировка была единообразно понимаемой и продуктивной. Именно из-за различий в понимании этой терминологии, к сожалению, появляются исследования, претендующие на научность, но таковыми не являющиеся ввиду отсутствия адекватности.
Терминология
В теории моделирования [1-7] под адекватностью модели понимают соответствие результатов, полученных на модели, поведению реального объекта. (В [8] дается определение адекватности ММ как соответствия ММ экспериментальным данным по выбранному критерию.) Это соответствие следует оценивать с точки зрения целей исследования, поэтому для моделей в различных областях знаний могут использоваться совершенно непохожие приемы, методы и критерии проверки адекватности.
Общее понятие модели сводится к тому, что модель - это заместитель оригинала, позволяющий изучить некоторые его свойства в определенных условиях. Заметим, что в этом определении оговаривается не только назначение модели, но и ее заведомо ограниченные возможности - ограниченные целями исследования.
Особенностью ММ является то, что получение с их помощью каких-либо результатов связано с вычислениями, т.е. с получением результатов вычислительного эксперимента (ВЭ). ВЭ -это получение результатов с помощью ММ для какого-либо конкретного случая исследований. Таким образом, адекватность ММ - это соответствие результатов ВЭ поведению реального объекта. Для проверки адекватности ММ служит контрольный ВЭ, воспроизводящий реальный известный случай поведения оригинала в конкретных условиях.
Что касается иностранизмов, то они не вносят в теорию никаких принципиально новых понятий. Так, например, верификация - это процесс проверки адекватности модели (независимо от результата). Валидация модели - установление факта удовлетворения модели заявленным свойствам (самой модели, может быть независимо от оригинала). Это понятие, скорее, административное, чем научное.
При проверке соответствия модели оригиналу (проверке адекватности, верификации) для технических систем и процессов, характеризующихся измеримыми величинами - параметрами - необходимо провести сравнение соответствующих параметров модели и оригинала в одних и тех же условиях. Какими критериями оценивать это соответствие (или несоответствие, ошибочность), подсказывает определение ММ как заместителя оригинала. ММ должна быть инструментом получения информации в виде числовых данных и функциональных зависимостей, характеризующих поведение оригинала. Полная аналогия с теорией ошибок измерений, которая на основании центральной предельной теоремы теории вероятностей [9] утверждает, что ошибка при многократных измерениях распределена по нормальному закону - закону ошибок. Итак,
если мы покажем, что рассогласование ММ и оригинала ведет себя как простая малая ошибка измерений, то тем самым положительно ответим на вопрос об адекватности. Поэтому для адекватности ММ поведению оригинала достаточно убедиться в выполнении двух свойств: точности и непротиворечивости [4-6].
Приведенные выше термины применимы для любых моделей в любых областях деятельности человека. Однако для применения на практике необходима конкретизация этих понятий для определенных видов задач.
Точность
Точность в технических задачах означает, что обобщенная характеристика рассогласования соответствующего параметра модели и оригинала (Ли = имодели - иоригинала) должна быть не больше, чем заранее заданное значение приемлемой погрешности. В качестве такой характеристики может выступать наибольшее по модулю значение рассогласования, среднее значение рассогласования, но чаще всего используется доверительный интервал для математического ожидания рассогласования [4-6]. Заметим, что доверительный интервал дает только оценку разброса значений рассогласования с заданной доверительной вероятностью, например, рассогласование результатов ВЭ с поведением реального объекта не выходит за границы (- 0,52 км/ч; + 0,27 км/ч) с вероятностью 0,99 или в относительных величинах - за границы (- 0, 104 %; + 0,054 %) в 99 % случаев.
Очевидно, что доверительный интервал не дает единой жесткой числовой характеристики адекватности, как хотелось бы авторам работы [10], предложившим понятие "степени адекватности" в виде дополнительной величины в процентах к относительной приведенной погрешности (при молчаливом задании доверительной вероятности) Л; = (1 - Лт/т;тах)х100%, где Л; -степень адекватности ММ по 1-му параметру; Лт; - максимальное отклонение ьго расчетного параметра от математического ожидания с заданной вероятностью Р = 0,95; т1тах - максимальное значение ьго расчетного параметра в исследуемом диапазоне времени. Универсальной такая оценка "степени адекватности" быть не может, т.к. в некоторых задачах величина т;тах, стоящая в знаменателе, может обращаться в ноль, а доверительная вероятность 0,95 может не удовлетворять исследователя.
Простейший пример проверки адекватности на основании одной только точности и одновременно пример единственной числовой оценки точности приведен в статье [11], выдержки из которой приведены ниже.
Необходимость расширить возможности модели на случаи прерванного взлета и посадки с учетом отказов систем самолета, оказывающих влияние на параметры движения по ВПП, наталкивается на непреодолимые трудности получения результатов качественных данных линейных испытаний (ЛИ). Практически единственным источником информации для этого оказывается Руководство по летной эксплуатации самолета (РЛЭ) [12].
Проверку адекватности ММ и решение задачи идентификации приходится проводить на основе точечных данных о значениях некоторых нормируемых показателей движения воздушного судна (ВС), т.к. зависимостей параметров полета от времени в РЛЭ нет. В этих условиях в качестве сравниваемых параметров можно использовать данные о дистанциях исследуемых этапов, а в качестве идентифицируемых параметров модели - законы управления, также регламентированные РЛЭ.
При проверке адекватности по единичным значениям параметров требование непротиворечивости отпадает, и адекватность становится эквивалентной точности, которую единственно и следует оценить.
Расчет дистанций прерванного взлета в РЛЭ [12] проводится с помощью номограмм для угла отклонения закрылков 5з = 28°. Для проверки адекватности были выбраны крайние случаи для продолженного взлета самолета массой 110 т и 90 т. Дистанция прерванного взлета по номограммам определяется с точностью до 50 м. Расчетные условия ВЭ соответствовали
РЛЭ. Совпадение дистанций обеспечено лишь соблюдением предписанного РЛЭ порядка процедур прерванного взлета. Результаты ВЭ представлены в табл. 1.
Таблица 1
Сравнение расчетов дистанций прерванного взлета самолета Ту-154М с данными РЛЭ
Расчетные варианты Взлетная дистанция
температура высота масса У v отк РЛЭ ВЭ
МСА - 15° 3000 м 110 т 259 км/ч 3860 м 3889 м
МСА + 30° 0 м 110 т 259 км/ч 3800 м 3834 м
МСА + 30° 2500 м 90 т 239 км/ч 3800 м 3815 м
МСА + 20° 3000 м 90 т 239 км/ч 3570 м 3578 м
Представленные результаты своим рассогласованием, не превосходящим 0,8 %, свидетельствуют о высокой степени адекватности математической модели прерванного взлета самолета Ту-154М данным РЛЭ.
Конец выдержки из работы [11].
Следует особо отметить, что в приведенном примере достигается погрешность не более 34 м, что существенно меньше, чем погрешность данных РЛЭ в 50 м. При таком итоге оценки погрешности безусловно достаточно для доказательства адекватности ММ.
Итак, ранее мы отметили, что одной характеристики точности для проверки адекватности недостаточно. Только в случаях выражения результатов ВЭ в виде одного числа (а не функции) точность может служить единственной проверкой адекватности. В подавляющем большинстве современных задач требуется воспроизведение в ММ сложных функциональных зависимостей, причем подчас важнее, чтобы эти зависимости имели логическое объяснение, а точность - вопрос второстепенный.
Более того, точность не может быть самоцелью, т.к. существует множество причин, оправдывающих существование значительных систематических погрешностей, как например, в летной эксплуатации при нерегистрируемом изменении высоты местности, эксплуатационной потере тяги двигателей и т.п. [6]. Ниже приводится фрагмент раздела 7.5 этой работы, включая графики (об упоминаемых понятиях идентификации и эвристического метода см. далее).
В 1994 г. была проведена идентификация ММ движения самолета Ил-76ТД № 76473 по записи системы регистрации полета реального рейса 7257 от 16.03.94 г. Вообще говоря, записи системы регистрации полета не годятся в качестве данных для идентификации, т.к. большое количество информации об условиях полета в них не содержится. Однако отобранная запись была разъяснена и дополнена экипажем.
В ММ использованы характеристики самолета, предоставленные АК им. С.В. Ильюшина. Конфигурация самолета (отклонения стабилизатора 5ст, закрылков 5з, предкрылков 5пр) и способы пилотирования (моменты и скорости перекладки руля высоты и режима работы двигателей) принимались такими же, как в реальном полете.
Идентификация ММ проводилась только в продольном канале управления по значениям следующих параметров полета: Нг - высота по радиовысотомеру; Упр - скорость полета по прибору; S - угол тангажа; ny - вертикальная перегрузка; 5В - угол отклонения руля высоты.
Как выявили результаты контрольного ВЭ, взлет был осуществлен с "роллинг-старта" (без остановки на исполнительном старте на ВПП после руления), причем зарегистрированному взлетному режиму соответствовала тяга двигателей примерно на 10 % меньшая стендовой. В последствии пилоты подтвердили правоту этих фактов.
САМОЛЕТ Ил-76ТД N1 76473 N РЕР1СН: 7257 №ТЙ: 16. 3. Ь
я
я
я
я
а
й
$5 60 80 100
Ьрамя
САМОЛЕТ Ил-76ТД N1 76473 N РЕПСЯ: 7257 ДАТА: 16. 3. 4
о ■ - - - ■"■ --' " ---V ч _
N о
ц э 6 3 8 э 1 30
и. □
□
а с
САМОЛЕТ Ил-76ТД N1 76473
время
N РЕИСН: 7257 ДАТА: 16. 3. 4
А ч
•1
/ ?
__,—А 6 Э 8 I) 1 30
Ьремя
САМОЛЕТ Ил-76ТД N1 76473 N РЕПСА: 7257 ДАТА: 16. 3. 4
- -_ -------
\
со \ А
\ - -о. у ■
4 1 я Э 8 3 1 зо
Ьремя
Рис. 1
В момент времени 16.53.21 (на рис. 1 - 21 с) на скорости около 60 км/ч режим работы двигателей был переведен с номинального на взлетный, и начался разбег. С этого момента времени и до 16.54.40 (до высоты 600 м) осуществлялось воспроизведение всех упомянутых выше процедур пилотирования с целью получения идентифицируемых параметров с максимально возможной точностью. Однако согласно алгоритму эвристического метода идентификации это возможно не всегда, но всегда нуждается в логическом объяснении. Так по данным системы регистрации полета характеры поведения угла тангажа $ и угла атаки а на высоте более 120 м противоречат друг другу, что может объясняться влиянием внешних атмосферных условий. На высоте более 300 м наблюдается значительный перепад высоты (замеренной радиовысотомером), находящийся в явном противоречии с поведением что в последствии оказалось связанным с профилем местности.
Анализ степени адекватности ММ реальному взлету удобно проводить с помощью графического представления параметров полета, совмещенных по времени на общих осях координат.
Пунктирной линией на графиках изображены данные системы регистрации полета, а сплошной - результаты ВЭ.
Как нетрудно убедиться, даже чисто визуальное сравнение параметров полета свидетельствует о достаточно высокой степени адекватности результатов ММ данным реального полета, по крайней мере, до высоты 120 м. Следует учесть, что зубцы в записях системы регистрации полета отвечают дискретности записи и вполне характеризуют точность регистрации параметров полета. Расхождения заметны только по приборной скорости на ВПП и по углу атаки на ВПП и небольшой высоте. Это объясняется тем, что приборная скорость менее 170 км/ч - 200 км/ч и угол атаки в пределах аэродинамического влияния поверхности земли регистрируются с очень большой погрешностью.
Конец фрагмента раздела 7.5 [6].
Таким образом, точность в технических задачах следует оценивать с помощью доверительного интервала для величины рассогласования значений соответствующих параметров, полученных на ММ и в эксперименте на оригинале. Удобство такой оценки точности заключается в том, что даются одновременно и диапазон погрешности, который удобно сравнивать с "нормативом" типа допустимой погрешности, и вероятность ее (оценки) выполнения. Недостаток такой оценки кроется в том, что для построения доверительного интервала необходимо знание закона распределения оцениваемой случайной величины, в данном случае рассогласования. То есть перед оценкой точности необходимо провести другую процедуру. Но для оценки точности с помощью доверительного интервала не всегда достаточно данных, в этих случаях приходится довольствоваться простейшими грубыми оценками, например, по максимуму.
Непротиворечивость
Непротиворечивость подразумевает идентичный характер изменения соответствующих параметров, т.е. идентичный вид основных свойств функциональных зависимостей на отдельных участках, как-то: возрастание, убывание, экстремумы, выпуклость и т.п. При более глубоком рассмотрении этого понятия становится очевидным многообразие возможных критериев проверки непротиворечивости.
Однако центральная предельная теорема подсказывает универсальный метод проверки непротиворечивости - с помощью проверки подчиненности рассогласования закону ошибок. То есть для того чтобы рассогласование между оригиналом и моделью не описывало бы какую-либо закономерность, рассогласование должно вести себя вполне хаотически, иначе говоря, подчиняться нормальному закону распределения с нулевым математическим ожиданием. Для такой проверки существуют известные статистические критерии, в частности, критерий Пирсона х2. Такой подход оправдан для технических систем и процессов: регистрация параметров на оригинале часто сопряжена с наложением шума - влиянием неучитываемых факторов, в том числе и погрешностей регистрирующей аппаратуры.
Если будет доказана вышеупомянутая подчиненность нормальному закону распределения такого интегрального рассогласования, то тем самым, с одной стороны, будет доказана непротиворечивость ММ, а, с другой стороны, проверенный закон распределения можно будет использовать при построении доверительного интервала для рассогласования. Таким образом, в итоге будет доказана адекватность ММ, т.е. модель будет находиться в поле "хорошего измерительного инструмента".
Статистическая проверка адекватности
Пример проверки адекватности ММ посадки самолета Ту-154Б записям параметров летных испытаний (ЛИ) с помощью статистических методов проверки непротиворечивости и точности приводится в [13; 5; 6]. Результаты показаны в табл. 2.
Таблица 2
Уровень значимости критериев: .00100 Доверительная вероятность: .90000 Имя файла данных "ЛИ": Г_19_2 Имя файла данных "ММ": А1
N анализируемого параметра: 186 — путев. скорость Число анализируемых точек: 59 Шаг по времени в секундах: .50000 Начальный момент в "ЛИ": .00000 Начальный момент в "ММ": .00000
При уровне значимости .001 нет оснований отвергнуть гипотезу о нормальном распределении рассогласования с математическим ожиданием = 0 и со среднеквадратическим отклонением = 1.7488 при 12 интервалах
Наблюдаемый критерий = 14.316 предельный критерий = 29.600
При уровне значимости .001 нет оснований отвергнуть гипотезу о нулевом мат.ожидании рассогласования
Наблюдаемый критерий = -2.997 предельный критерий = 3.460
Доверительный интервал с вероятностью .900 для среднеквадратического отклонения рассогласования: 1.1309 2.1239
Задача идентификации
В [7] было показано, что для ММ движения ВС исчерпывающую информацию о поведении объекта исследования в конкретном случае собрать практически невозможно. В условиях неопределенности добиться адекватности результатов ВЭ реальному поведению ВС можно только с помощью решения задачи идентификации. Идентификацией называется процесс определения неизвестных или уточнения недостаточно точно известных параметров ММ с целью обеспечения ее адекватности экспериментальным данным. Для ММ динамики полета (ДП) летательных аппаратов (ЛА) общее количество таких недостаточно точно известных параметров может исчисляться десятками.
Таким образом, идентификация ММ ДП ВС сводится к "интерпретации" исходного приближенного числового материала и моделей тех отдельных элементов, которые не описываются законами природы.
Этот важнейший для дальнейших построений принцип вытекает из работ научной школы академика А.Н. Тихонова, обязанной своими успехами в теории обратных задач четкому пониманию, что любое решение обратной задачи (как, например, идентификации) следует рассматривать не более чем "интерпретацию данных наблюдений" [14]. Для отыскания хотя бы одного частного решения необходимо прибегать к методу проверки гипотез. На этом фоне задача проверки адекватности ММ выглядит весьма простой, и решать ее приходится совместно с задачей идентификации.
Согласно [11] помочь здесь может только эвристический подход, использующий подробный "физический" анализ качественной взаимосвязи управляющих воздействий и параметров движения с целью получения наиболее близких к ЛИ результатов расчетов. Такой подход в общих чертах был сформулирован в [13; 15] и получил окончательный вид в [5] и [6]. Эвристический метод идентификации ММ представляет собой ряд последовательных этапов анализа:
1) разделение задачи в различных степенях свободы (продольного и бокового, поступательного и вращательного движений, как это практикуется в ДП);
2) выбор данных ЛИ, соответствующих рассматриваемому виду движения;
3) выявление и устранение возможных внутренних несогласованностей в данных ЛИ (устранение несогласованностей подразумевает не исправление данных, а лишь замену одних параметров другими, известным образом с ними связанными);
4) выявление особенностей выполнения исследуемого этапа реального полета (характерных моментов времени и действий);
5) выбор факторов ЛИ, по которым требуется обеспечить адекватность ММ (с их изменением по траектории должно быть качественно согласовано изменение результатов расчетов);
6) выдвижение гипотез об идентифицируемых параметрах (возможных причинах их отклонения от штатных или зарегистрированных);
7) проведение ВЭ (подбор идентифицируемых параметров методом последовательных приближений);
8) анализ результатов расчетов и оценка проверяемых гипотез.
Эвристическим методом идентификации ММ решено множество прикладных задач летной эксплуатации, в том числе для самолетов Ил-96 [16; 17], Ту-154 [18-21], вертолета Ми-8МТВ [22].
Заключение
В результате анализа опыта математического моделирования для решения задач ДП ЛА дана система терминов, их формулировки и рассмотрены способы проверки адекватности математических моделей.
ЛИТЕРАТУРА
1. Дыхненко Л.М., Кабаненко И.В., Кузьмин И.В. [и др.]. Основы моделирования сложных систем: учеб. пособие для втузов. - Киев: Вища школа, 1981.
2. Лебедев А.Н. Моделирование в научно-технических исследованиях. - М.: Радио и связь, 1989.
3. Ибрагимов И.А. и др. Моделирование систем: учеб. пособие. - Баку: Азинефтехим, 1989.
4. Кубланов М.С. Математическое моделирование. Методология и методы разработки математических моделей механических систем и процессов: учеб. пособие. - 4-е изд. - М.: МГТУ ГА, 2013. - Ч. I.
5. Кубланов М.С. Разработка теории и методов повышения уровня адекватности математических моделей на основе идентификации параметров движения для обеспечения летной эксплуатации самолетов гражданской авиации: дисс. ... док. техн. наук. - М., 2000.
6. Кубланов М.С. Математическое моделирование задач летной эксплуатации воздушных судов на взлете и посадке: монография. - М.: МГТУ ГА, 2013.
7. Кубланов М.С. Об адекватности математических моделей и задаче идентификации // Научный Вестник МГТУ ГА, серия Аэромеханика и прочность. - 2009. - № 138. - С. 101-106.
8. ГОСТ 24026-80. Исследовательские испытания. Планирование эксперимента. Термины и определения. -М.: Изд-во стандартов, 1980.
9. Вентцель Е.С. Теория вероятностей: учебник для вузов. - 6-е изд., стер. - М.: Высшая школа, 1999.
10. Ермаков А.Л., Жеребятьев А.В. Разработка и применение адаптивной объектно-ориентированной математической модели повышенной степени адекватности // Научный Вестник МГТУ ГА, серия Аэромеханика и прочность. - 2005. - № 81. - С. 96-101.
11. Гришин А.А., Стрелец И.В., Кубланов М.С. Идентификация математической модели взлета и посадки самолета Ту-154М по данным руководства по летной эксплуатации // Научный Вестник МГТУ ГА, серия Аэромеханика и прочность. - 2003. - № 59. - С. 32-38.
12. Руководство по летной эксплуатации самолета Ту-154М. - М., 1986. - Кн. 1.
13. Кубланов М.С. Идентификация математической модели посадки самолета Ту-154Б по данным летных испытаний // Научный Вестник МГТУ ГА, серия Аэромеханика и прочность. - 1999. - № 15. - С. 27-36.
14. Тихонов А.Н., Кальнер В.Д., Гласко В.Б. Математическое моделирование технологических процессов и метод обратных задач в машиностроении. - М.: Машиностроение, 1990.
15. Кубланов М.С. Идентификация математических моделей по данным летных испытаний самолета Ил-96-300 // Решение прикладных задач летной эксплуатации ВС методами математического моделирования: сб. науч. тр. -М.: МГТУ ГА, 1993. - С. 3-10.
16. Разработка общих рекомендаций по летной эксплуатации самолета Ил-96-300 в ожидаемых условиях эксплуатации и режимах, выходящих за ожидаемые условия эксплуатации, на этапах взлета, захода на посадку и по-
садки: отчет о НИР (заключительный) / Руководитель В.Г. Ципенко, ответственный исполнитель М.С. Кубланов. № ГР 01930010176; Инв. № 02940003177. - М.: МИИГА, 1993.
17. Обоснование рекомендаций и предложений по летной эксплуатации самолета Ил-96Т на этапах взлета и посадки вблизи минимально-эволютивных скоростей, на больших углах атаки, с учетом аэроупругости конструкции: отчет о НИР (заключительный) / Руководитель В.Г. Ципенко, ответственный исполнитель М.С. Кубланов. № ГР 01960000315. - М.: МГТУ ГА, 1996.
18. Применение системы математического моделирования динамики полета летательных аппаратов (СММ ДП ЛА) к исследованию эксплуатационных ограничений ВС при взлете и посадке: отчет о НИР (промежуточный) / Руководитель В.Г. Ципенко, Ответственный исполнитель М.С. Кубланов. - М.: МГТУ ГА, 2001.
19. Проведение вычислительных экспериментов по ослаблению эксплуатационных ограничений ВС при взлете и посадке в условиях высокогорья и высоких температур окружающего воздуха: отчет о НИР (промежуточный) / Руководитель В.Г. Ципенко, ответственный исполнитель М.С. Кубланов. - М.: МГТУ ГА, 2001.
20. Разработка предложений и рекомендаций по летной эксплуатации ВС при взлете и посадке в условиях высокогорья и высоких температур окружающего воздуха: отчет о НИР (заключительный) / Руководитель В.Г. Ципенко, ответственный исполнитель М.С. Кубланов. - М.: МГТУ ГА, 2002.
21. Бехтина Н.Б. Применение усовершенствованной математической модели работы шасси в системе математического моделирования для расследования инцидента при посадке самолета Ту-154 // Научный Вестник МГТУ ГА, серия Аэромеханика и прочность. - 2009. - № 138. - С. 183-190.
22. Ефимов В.В., Ивчин В.А. Оценка адекватности математической модели динамики вертолета Ми-8МТВ // Научный Вестник МГТУ ГА, серия Аэромеханика и прочность. - 2011. - № 172. - С. 57-64.
CHECK OF THE MATHEMATICAL MODEL ADEQUACY
Kublanov M.S.
The wording of key terms established in the practice of mathematical modeling of the aircraft flight dynamics is proposed. We discuss the methods for adequacy checking.
Keywords: mathematical modeling, engineering systems, flight dynamics, adequacy.
Сведения об авторе
Кубланов Михаил Семенович, 1945 г.р., окончил МГУ (1968), доктор технических наук, профессор кафедры аэродинамики, конструкций и прочности летательных аппаратов МГТУ ГА, автор более 130 научных работ, область научных интересов - механика, математические методы моделирования.
