CC BY
6
DOI 10.25987^т2019Л5.1.004 УДК 681.5.015
РОБАСТНОЕ КВАЗИПРАВДОПОДОБНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ МОДЕЛЕЙ НЕПРЕРЫВНО-ДИСКРЕТНЫХ СИСТЕМ
В.М. Чубич, С.О. Кулабухова Новосибирский государственный технический университет, г. Новосибирск, Россия
Аннотация: аномальные наблюдения могут возникать, например, в результате аппаратного сбоя при приеме и/или передаче измерительных данных. В связи с этим представляется актуальной для практики разработка робастных процедур обработки данных, устойчивых к наличию аномальных измерений. Представлен вариант решения задачи робастной параметрической идентификации нелинейных непрерывно-дискретных систем, описываемых моделями с детерминированными уравнениями состояний и уравнениями измерений, возмущенными белым гауссовским шумом. Предложены три модификации критерия максимального правдоподобия, основанные на адаптации соответствующих результатов, известных для моделей с шумами в уравнениях состояний. При этом подлежащие оцениванию неизвестные параметры содержались в уравнениях состояния и наблюдения. Разработанное в рамках системы MATLAB программное обеспечение апробировано на модели электродиализа, которая может быть использована, например, при получении пресной воды из соленой. Результаты проведенных численных исследований выявили преимущество предложенных робастных модификаций над классическим вариантом применения критерия максимального правдоподобия и показали их работоспособность в целом. Выполненный при случайном и группированном характере расположения аномальных наблюдений сравнительный анализ эффективности этих модификаций (рассматривались значения относительной ошибки оценивания в пространстве параметров) позволил выделить наиболее удачную из них и рекомендовать ее к практическому применению
Ключевые слова: параметрическая идентификация, робастное оценивание, метод максимального правдоподобия, аномальные данные, нелинейная непрерывно-дискретная система
Введение
Часто на практике при построении моделей динамических систем приходится работать с измерительными данными, содержащими аномальные наблюдения. Это происходит, например, по причине сбоя во время сбора измерений, а также искажения при их передаче. Фактически происходит отклонение распределения шума измерений от его априорного предположения. В связи с этим применение классических методов статистического оценивания может привести к некорректным результатам решения задачи идентификации.
Для преодоления этих трудностей традиционно используются два подхода. Первый из них основан на предварительной обработке измерений и исключении аномальных данных в соответствии с некоторым критерием [1,2]. Во втором подходе используются робастные методы оценивания [3,4].
В [5] представлен один из возможных подходов к решению проблемы робастной параметрической идентификации стохастических линейных систем на основе современных ро-бастных фильтров. В данной статье авторы
предприняли попытку адаптировать результаты работы [6] применительно к робастному оцениванию параметров моделей нелинейных непрерывно-дискретных систем с детерминированными уравнениями состояний с учетом возможности наличия аномальных наблюдений в экспериментальных данных.
Постановка задачи
Рассмотрим нелинейную непрерывно-дискретную систему, описывающуюся следующими уравнениями в пространстве состояний:
= / [х(х), и (х),Х;в], X е[*о, ],
х (х0 ) = х0;
У (хк+1 ) = к [ х (хк+1) ,хк+1;в + у (хк+1),
к = 0, N -1,
(1)
(2)
© Чубич В.М., Кулабухова С.О., 2019
где х (х) - п -вектор состояния; и (х) - г -вектор управления; у ^+1) - т -вектор измерения; V (Хк+1) - т -вектор шума измерений; в -
5 -вектор подлежащих оцениванию неизвестных параметров.
Будем считать шум измерений белой гаус-совской последовательностью с нулевым математическим ожиданием и ковариационной матрицей Я:
Е [ V (,к+1 )] = 0, Е^)/(,„1 )] = {* \=
Необходимо для математической модели (1), (2) с учетом высказанного априорного предположения разработать робастные модификации критерия максимального правдоподобия, устойчивые к появлению аномальных наблюдений, и провести сравнительный анализ их эффективности.
Параметрическая идентификация
Для оценивания неизвестных параметров математической модели (1), (2) воспользуемся методом максимального правдоподобия [7-9].
Известно, что при выполнении некоторых общих условий (условий регулярности), накладываемых на функцию правдоподобия, оценки максимального правдоподобия обладают следующими важными для практики асимптотическими свойствами: 1) асимптотическая несмещенность
= 0;
Xм (,к+1)в- (ч+1)Мк+1 )-
2 к=0
Нш
N ^ю
2) состоятельность
Нш
N ^ю
Р
Е^ -в) }
вN -в
>5
= 0;
3) асимптотическая эффективность
Нш Е
N ^ю
[вы-в)[вы-в) = м-1 (в) .
Здесь | • - некоторая векторная норма, а
М 1 ( в ) - дисперсионная матрица.
Задача квазиправдоподобного параметрического оценивания сводится к решению следующей задачи нелинейного программирования [10]
в = а^шхп х(в;^) =
0е&в V >
="»А [- 1п 1 (в; у (,1), у (^ ^^ у (tN))], (3)
где
х
( в;71N ) = ^ 1п2л +
1 N-1
+-X В (,к+1) (4)
2 к=0
и
М+1)=у (*к+1)- к [ х ({к+1), (к+1;в ].
Способ вычисления ковариационной матрицы ошибки прогнозирования В(,к+1) связан с той или иной робастной модификацией критерия максимального правдоподобия. Отметим, что если в соотношении (4) В(,к+1) = Я , то критерий идентификации совпадает с классическим критерием максимального правдоподобия.
Робастные модификации критерия максимального правдоподобия
Предложим три робастные модификации критерия максимального правдоподобия, адаптируя соответствующие результаты из статей [11-13], полученные для моделей с шумами в уравнениях состояний.
Робастная модификация на основе [11]
В этом случае ковариационная матрица ошибки прогнозирования вычисляется по формуле
2
В (,к+1) = X'С (В +£(,к+1 )мТ (,к+1)) ,
,=1
где
СО: = ■
, = 1,2;
С + С2
а,
С =
г (2^)и/2 (ае1 В, )1/2
ехр 1 £Т (,к+1) В-1м(,к+1
, = 1, 2;
[1 -у, , = 1, У, , = 2; Я, , = 1, Л , = 2;
у - коэффициент загрязнения выборки и Л -коэффициент масштаба выборки.
В = •
С
Робастная модификация на основе [12]
Здесь для вычисления ковариационной матрицы ошибки прогнозирования используется соотношение
Рк+1 ^
в (хк+1 ) = Лаё
тически представлен на рисунке и заключается в следующем.
( ok+i р\
Вк
гт
\а\
к+\ к+\
ат у
в котором
РГ = Р + \(s ))2, i = 1
= \, т,
a?+ = \ + a?,
i = \, т.
При этом начальные значения параметров
a0 =|
(a,0,...?), Р0 =(Р\0,...,Р^) должны быть определены.
Робастная модификация на основе [13]
Для этой модификации ковариационная матрица ошибки прогнозирования определяется с помощью выражения
B (tk+1 ) = R (tk+! ) ,
где
R (tk+\ ) = ¿rR (tk),
trÉS (tk+\)
ar =-^-- (tr A - след матрицы A),
trRR (tk )
\ k
B (tk+\ ЬтгT ^s(ti+\ S (ti+\). k + \ i=0
На начальном этапе полагают R (to) = R .
Сравнительный анализ эффективности предложенных робастных модификаций
Сравнительный анализ эффективности предложенных робастных модификаций критерия максимального правдоподобия проведем на примере модели электродиализа, рассмотренной в [14-16].
В настоящее время для многих регионов актуальна проблема получения пресной воды из соленой. Одним из наиболее распространенных и эффективных методов решения этой проблемы является электродиализ, представляющий собой процесс изменения концентрации электролита в растворе под действием электрического тока. Процесс уменьшения концентрации солевого раствора (NaCl) схема-
2 - анионная мембрана
Общая схема электродиализатора
Исходный солевой раствор помещают в резервуар с разбавленным раствором, при этом резервуар с концентрированным раствором изначально пуст. Далее раствор помещается в сосуд, разделенный полупроницаемыми мембранами. Мембраны подразделяются на два вида: катионные и анионные. Они расположены поочередно и задерживают положительно заряженные ионы (катионы) и отрицательно заряженные ионы (анионы) соответственно. Через сосуд пропускают постоянный электрический ток, который приводит ионы соли в движение. При этом анионы движутся в сторону положительного заряда, а катионы - отрицательного. Анионы проходят через катионные мембраны и задерживаются возле анионных мембран. Аналогичное происходит с катионами. В результате повышается концентрация солевого раствора между одной парой мембран и понижается между другой. Если концентрация увеличилась, то данный раствор помещается в резервуар с концентрированным раствором, а если умень-
шилась - с разбавленным. Процесс повторяется до достижения нужной степени очистки воды.
Модель электродиализа при условии постоянной плотности воды выглядит следующим образом:
" Х1 (*)" " сшВ - Х1 (*)Ж сЖХ3 (* ) -сшВ + Х2 (* )Ж
й Х2 ( * ) сЖХ4 ( * )
Х3 (*) Ж
_Х4 (*)_ сж
Ж
_ сЖ
II
У (*к+1 ) = X С*к+1) + V(*к+1), к
Здесь
—
В = — и (*)Ысе11 + вх (х2 (*) - X! (*))ат^сец; — —
Ж = —и (*)Ысец--^ 8в (Х2 (*) - X! (*))ат^се11 \
¥ рЖ
X! (*) - молярная концентрация растворенного вещества в концентрированном растворе, кмоль/м3 ; Х2 (*) - молярная концентрация растворенного вещества в разбавленном растворе, кмоль/м3 ; Х3 (*) - объем концентрированного раствора, м3; х4 (*) - объем разбавленного раствора, м3; и (*) - электрический ток, А; сЖ = 55.41 - молярная концентрация воды при t = 20° С , моль/м3 ; В - молярный расход растворенного вещества, кмоль/с; Ж -молярный расход воды, кмоль/с; —1 - постоянная мембраны для переноса растворенного вещества, м/с; —2 - число переноса растворенного вещества; —3 - постоянная мембраны для
переноса воды, моль^(м2 • с • бар); —4 - число
переноса воды; ¥ = 96486 - число Фарадея, Кл/моль; Мсе11 = 8 - количество пар мембран;
а = 0.02 - площадь мембраны, м2; рЖ = = 998.2 - плотность воды, кг/м3 ; £в = 46.6 -
параметр осмотического давления,
бар • кг/моль .
Будем считать, что выполнены все априорные предположения, высказанные при постановке задачи, причем *0 = 0 ^ N = 60 ; *к+1 =
=120(к+1) ^ к = 0,59; х1 (*0) = 0.01 кмоль/м3 ,
^ (*о) = 5 кмоль/м3 , ^ (*0)= 0.001 м3, х4 (*0) =
= 2.46 • 10-3 м3;
Я =
4.9 •Ю-3 0 0 4.9 •Ю-3 00 00
0 0
2.5 •Ю-9 0
0 2.5 -10" В качестве входного сигнала выберем
<( * ) =
0.5 А, если * е [0,2760);
11.5 А, если * е [2760,3600);
2.5 А, если * е [3600,5340);
8.0 А, если * е [5340,7200]
и определим значения параметров предложенных робастных модификаций в соответствии с табл. 1.
Таблица 1
Модификация Значения параметров
Робастная модификация на основе [11] у = 0.1, А = 10000
Робастная модификация на основе [12] а0 = 00 = (1,1,1,1)
Для проведения численного исследования эффективности предложенных робастных модификаций критерия максимального правдоподобия воспользуемся разработанным программным обеспечением, написанным на языке MATLAB.
Для уменьшения влияния результатов от выборочных данных осуществим 100 независимых запусков системы и усредним полученные оценки вектора неизвестных параметров.
Сравнение эффективности предложенных модификаций будем производить по значениям относительной ошибки оценивания, которую будем вычислять по формуле
5в=-
^ \§СР _-true
-Т-
s 1 ; =1
—
S 2 ,=1
Здесь вСр - \ -я компонента усреднённого вектора оценки неизвестных параметров по всем запускам, в'те - / -я компонента вектора истинных значений параметров, ^ - число ненулевых и 52 - число нулевых истинных значений.
Рассмотрим два варианта расположения аномальных наблюдений: случайный и группированный характер.
Смоделируем данные измерений со случайно расположенными аномальными наблюдениями, используя истинные значения параметров:
Qtrue _
[9.81-10"8, 0.92, 1.04-10"7, 8.54^
приняв коэффициент загрязнения выборки 10%, дисперсию шума аномальных наблюдений Ra = 10000R .
Для решения оптимизационной задачи (3) воспользуемся методом последовательного квадратичного программирования или SQP (от англ. Sequential Quadratic Programming), являющимся одним из наиболее эффективных, современных методов нелинейного программирования [17] и реализованным в рамках пакета Optimization Toolbox [18].
Результаты параметрической идентификации модели электродиализа при случайном расположении аномальных наблюдений представлены в табл. 2.
Таблица 2
Результаты параметрической идентификации (случайный характер расположения аномальных наблюдений)
Классический ММП Робастная модификация на основе [11] Робастная модификация на основе [12] Робастная модификация на основе [13]
в{р 1.11e-7 1.03e-7 9.56e-8 1.03e-7
ёср 0.8537 0.9607 0.8949 0.8804
в? 1.04e-7 1.07e-7 1.01e-7 1.05e-7
0Ср 8.5720 8.3734 8.5484 8.5256
0.052 0.036 0.022 0.026
Изменим характер расположения аномальных наблюдений, сгруппировав их в две группы по три наблюдения, остальные условия эксперимента оставим неизменными. Смоделировав выборочные данные, вновь осуществим процедуру квазиправдоподобного оценивания параметров модели электродиализа, представив численные результаты в табл. 3.
Таблица 3
Результаты параметрической идентификации (группированный характер расположения аномальных наблюдений)
Классический ММП Робастная модификация на основе [11] Робастная модификация на основе [12] Робастная модификация на основе [13]
еСхр 1.11e-7 8.38e-8 9.36e-8 8.60e-8
вср 0.8920 0.9453 0.9205 0.9676
в? 1.09e-7 1.05e-7 1.05e-7 1.02e-7
вС/ 8.4394 8.5018 8.4362 8.4899
8в 0.056 0.048 0.016 0.049
Анализируя полученные результаты (см. последние строки табл. 2 и 3), можно резюмировать, что все предложенные робастные модификации критерия максимального правдоподобия подтвердили свою работоспособность. При этом для обоих вариантов расположения аномальных наблюдений лучшей оказалась модификация на основе [12]. Ее применение позволяет уменьшить относительную ошибку оценивания в 2.36 раза для случайного и 3.5 для группированного характера расположения выбросов. Для двух других модификаций эти величины равнялись 1.44 и 1.17 для модификации из [11], и 2 и 1.14 для модификации из [13].
Заключение
В работе были предложены некоторые ро-бастные модификации критерия максимального правдоподобия для квазиправдоподобного оценивания моделей нелинейных непрерывно-дискретных систем. Проведен сравнительный анализ эффективности данных модификаций на примере модели электродиализа.
По результатам проведенных исследований можно рекомендовать робастную модификацию из [12] как наиболее эффективную.
Литература
1. Лемешко Б.Ю. Робастные методы оценивания и отбраковка аномальных измерений // Заводская лаборатория. 1997. Т. 63. № 5. С. 43-49.
2. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников. М.: ФИЗ-МАТЛИТ, 2006. 816 с.
3. Huber P.J., Ronchetti E.M. Robust statistics. New Jersey: John Wiley & Sons, 2009. 371 p.
4. Maronna R.A., Martin D.R., Yohai V.J. Robust statistics. Theory and Methods. England: John Wiley & Sons, 2006. 403 p.
5. Чубич В.М., Прокофьева А.Э. Параметрическая идентификация стохастических линейных дискретных систем на основе робастной фильтрации // Вестник Иркутского государственного технического университета. 2018. Т. 22. № 2. С. 84-94.
6. Чубич В.М., Прокофьева А.Э. Сравнительный анализ некоторых робастных фильтров для нестационарных линейных дискретных систем // Вестник Иркутского государственного технического университета. 2017. Т. 21. № 12. С. 123-137.
7. Ивченко Г.И., Медведев Ю.И. Введение в математическую статистику. М.: Изд-во ЛКИ, 2010. 600 с.
8. Боровков А.А. Математическая статистика. Новосибирск: Наука; Изд-во Ин-та математики, 1997. 772 с.
9. Мудров В.И., Кушко В.Л. Методы обработки измерений. Квазиправдоподобные оценки. М.: Радио и связь, 1983. 304 с.
10. Astrom K.J. Maximum Likelihood and Prediction Error Methods // Automatica. 1980. Vol. 16. P. 551-574.
11. Plataniotis K.N., Androutsos D., Venetsanopoulos A.N. Nonlinear filtering of non-Gaussian noise // Journal of Intelligent and Robotic Systems. 1997. Vol. 19. P. 207-231.
12. Sarkka S., Nummenmaa A. Recursive noise adaptive Kalman filtering by variational Bayesian approximations // IEEE Transactions on Automatic control. 2009. Vol. 54. P. 596-600.
13. Jwo D.-J., Chung F.-C., Weng T.-P. Adaptive Kal-man filter for navigation sensor fusion // Sensor Fusion and its Applications. In TechOpen. 2010. P. 66-90.
14. Optimal design of experiments for parameter identification in electrodialysis models / F. Galvanin, R. Marchesini, M. Barolo, F. Bezzo, M. Fidaleo // Chemical engineering research and design. 2016. № 105. P. 107-119.
15. Fidaleo M., Moresi M. Electrodialystic desalting of model concentrated NaCl brines as such on enriched with a non-electrolyte osmotic component // Journal of membrane science. 2011. № 367. P. 220-232.
16. Чубич В.М. Филиппова Е.В. Активная идентификация стохастических динамических систем. Планирование эксперимента для моделей непрерывно-дискретных систем. Новосибирск: Изд-во НГТУ, 2017. 96 с.
17. Измайлов А.Ф., Солодов М.В. Численные методы оптимизации. М.: ФИЗМАТЛИТ, 2008. 320 с.
18. Coleman T.F., Zhang Y. Optimization Toolbox. User's Guide // The MathWorks, Natick (Massachusetts, USA). 2018. 1172 p.
Поступила 26.12.2018; принята к публикации 25.01.2019 Информация об авторах
Чубич Владимир Михайлович - д-р техн. наук, доцент, заведующий кафедрой теоретической и прикладной информатики, Новосибирский государственный технический университет (630073, Россия, г. Новосибирск, пр-т К. Маркса, 20), e-mail: [email protected]
Кулабухова Светлана Олеговна - магистрант, Новосибирский государственный технический университет (630073, Россия, г. Новосибирск, пр-т К. Маркса, 20), e-mail: [email protected]
ROBUST QUASI-LIKELI ESTIMATION OF THE PARAMETERS OF THE CONTINUOUS-DISCRETE SYSTEM MODELS
V.M. Chubich, S.O. Kulabukhova Novosibirsk State Technical University, Novosibirsk, Russia
Abstract: anomalous observations may arise, for example, as a result of a hardware failure during the reception and/or transmission of measurement data. In this regard, the development of robust data processing procedures that are resistant to the presence of anomalous measurements is relevant for practice. This article presents a solution to the problem of robust parametric identification of nonlinear continuous-discrete systems described by models with deterministic equations of state and measurement equations perturbed by white Gaussian noise. Three modifications of the maximum likelihood criterion are proposed, based on the adaptation of the corresponding results known for models with noise in the state equations. The unknown parameters to be estimated were contained in the equations of state and observation. The software developed within the MATLAB system was tested on the model of electrodialysis, which can be used, for example, in the production of fresh water from salt. The results of the numerical researches revealed the advantage of the proposed robust modifications over the classical version of the maximum likelihood criterion and showed their efficiency as a whole. The comparative analysis of the effectiveness of these modifications (the values of the relative error of estimation in the parameter space were considered) performed at random and grouped nature of the location of anomalous observations allowed to detect the most successful of them and recommend it for practical application
Key words: parametric identification, robust estimation, maximum likelihood estimation, outliers, nonlinear continuous-discrete system
References
1. Lemeshko B.Yu. "Robust methods for the estimation and rejection of anomalous measurements", Industrial Laboratory (Zavodskaya laboratoriya), 1997, vol. 63, no, pp. 297-302.
2. Kobzar' A. I. "Applied mathematical statistics. For engineers and scientists" ("Prikladnaya matematicheskaya statistika"), Moscow, FIZMATLIT, 2006, 816 p.
3. Huber P.J., Ronchetti E.M. "Robust statistics", New Jersey, John Wiley & Sons, 2009. 371 p.
4. Maronna R.A., Martin D.R., Yohai V.J. "Robust statistics. Theory and Methods", England, John Wiley & Sons, 2006, 403
p.
5. Chubich V.M., Prokofeva A.E. "Parametric identification of stochastic linear discrete systems based on robust filtering", Proceedings of Irkutsk State Technical University (Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta), 2018, vol. 22, no. 2. pp. 84-94.
6. Chubich V.M., Prokofeva A.E. "Comparative analysis on some robust filters for non-stationary linear discrete systems", Proceedings of Irkutsk State Technical University (Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta), 2017, vol. 21, no. 12, pp. 123-137.
7. Ivchenko G.I., Medvedev Yu.I. "Introduction to mathematical statistics" ("Vvedenie v matematicheskuyu statistiku"), Moscow, LKI Publ., 2010, 600 p.
8. Borovkov A.A. "Mathematical statistics" ("Matematicheskaya statistika"), Novosibirsk, Nauka, 1997, 772 p.
9. Mudrov V.I., Kushko V.L. "Methods for measurement processing. Quasi-like estimates", Moscow, Radio i svyaz', 1983.
304 p.
10. Astrom K.J. "Maximum Likelihood and Prediction Error Methods", Automatica, 1980, vol. 16, pp. 551-574.
11. Plataniotis K.N., Androutsos D., Venetsanopoulos A.N. "Nonlinear filtering of non-Gaussian noise", Journal of Intelligent and Robotic Systems, 1997, vol. 19, pp. 207-231.
12. Sarkka S., Nummenmaa A. "Recursive noise adaptive Kalman filtering by variational Bayesian approximations", IEEE Transactions on Automatic control, 2009, vol. 54, pp. 596-600.
13. Jwo D.-J., Chung F.-C., Weng T.-P. "Adaptive Kalman filter for navigation sensor fusion", Sensor Fusion and its Applications. In TechOpen, 2010, pp. 66-90.
14. Galvanin F., Marchesini R., Barolo M., Bezzo F., Fidaleo M. "Optimal design of experiments for parameter identification in electrodialysis models", Chemical engineering research and design, 2016, no. 105, pp. 107-119.
15. Fidaleo M., Moresi M., "Electrodialystic desalting of model concentrated NaCl brines as such on enriched with a non-electrolyte osmotic component", Journal of membrane science, 2011, no. 367, pp. 220-232.
16. Chubich V.M., Filippova E.V. "Active identification of stochastic dynamic systems. Design of experiments for mod els of continuous-discrete systems" ("Aktivnaya identifikaciya stohasticheskih dinamicheskih sistem. Planirovanie eksperimenta dlya mod-eley nepreryvno-diskretnykh system"), Novosibirsk, NSTU, 2017, 96 p.
17. Izmaylov A.F., Solodov M.V. "Numerical methods of optimization" ("Chislennye metody optimizatsii"), Moscow, FIZMATLIT, 2008, 320 p.
18. Coleman T.F., Zhang Y. "Optimization Toolbox. User's Guide", The MathWorks, Natick (Massachusetts, USA), 2018, 1172 p.
Submitted 26.12.2018; revised 25.01.2019 Information about the authors
Vladimir M. Chubich, Dr. Sc. (Technical), Associate Professor, Novosibirsk State Technical University (20 Prospekt K. Marksa, Novosibirsk 630073, Russia), e-mail: [email protected]
Svetlana O. Kulabukhova, MA, Novosibirsk State Technical University (20 Prospekt K. Marksa, Novosibirsk, 630073, Russia), e-mail: [email protected]
