CC BY
14
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2021 Управление, вычислительная техника и информатика № 54
УДК 519.217+681.5 Б01: 10.17223/19988605/54/9
Е.А. Перепелкин
РОБАСТНЫЙ НАБЛЮДАТЕЛЬ СОСТОЯНИЯ НЕОДНОРОДНОЙ ЦЕПИ МАРКОВА
С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ
Решается задача построения оценки состояния неоднородной конечной цепи Маркова с непрерывным временем. Цепь Маркова рассматривается как линейная динамическая система с неполной информацией о состоянии и параметрах системы. Измерению доступна линейная комбинация переменных состояния. Предполагается, что интенсивности переходов в цепи Маркова точно не известны. Оценка состояния строится на основе классического наблюдателя полного порядка Люенбергера. Определены условия существования наблюдателя, описан алгоритм синтеза наблюдателя, исследованы условия робастности наблюдателя, приведен численный пример. Результаты работы могут найти применение в системах диагностики состояния и управления техническими объектами, в системах принятия оптимальных решений в области экономики и финансов. Ключевые слова: цепь Маркова с непрерывным временем; оценка состояния; робастный наблюдатель Люенбергера.
Конечные цепи Маркова как случайные процессы с дискретным и непрерывным временем хорошо изучены и находят применение в математическом моделировании, в процессах принятия решений, в теории систем массового обслуживания, в управлении сложными системами [1-3].
Конечную цепь Маркова можно рассматривать как линейную динамическую систему. Соответственно, можно применять методы теории линейных систем для анализа и синтеза цепей Маркова с заданными характеристиками.
Одной из основных задач теории динамических систем является задача построения оценки состояния системы на основе измерений выхода системы. Актуальными являются задачи оценивания состояния системы в условиях неопределенности, когда модель системы точно не известна. Такого рода системы оценивания получили название робастных наблюдателей [4-9].
В работе [10] решается задача синтеза оптимального наблюдателя для частично наблюдаемой конечной цепи Маркова с дискретным временем. Синтез наблюдателя осуществляется на основе решения задачи линейного программирования.
В данной работе решается задача построения оценки состояния неоднородной конечной цепи Маркова с непрерывным временем на основе классического наблюдателя Люенбергера. Предполагается, что интенсивности переходов в цепи Маркова точно не известны. Определены условия существования наблюдателя, описан алгоритм синтеза наблюдателя, исследованы условия робастности наблюдателя, приведен численный пример.
Результаты работы могут найти применение в системах диагностики состояния и управления техническими объектами, в системах принятия оптимальных решений в области экономики и финансов.
1. Математическая модель
Рассмотрим систему, поведение которой описывается неоднородной конечной цепью Маркова с непрерывным временем. Обозначим через ^, г = 1п, состояния системы, через q¡j () - интенсивности перехода системы из состояния ^ в состояние ^, через р (^) - вероятность нахождения системы в состоянии ^ в момент времени
Будем считать, что интенсивности переходов ^ (£) могут быть представлены в следующем виде: д (£) = а + Ъ (*)• Здесь постоянные значения щ > 0 известны, значения (^) > -щ. неизвестны. Значения Ъ (О будем называть возмущениями интенсивностей переходов. При этом предположении динамика системы описывается системой уравнений Колмогорова [1]:
№ = р№(!\ (1)
где
р(0 = [а(0 ••• А(0], <М = А+в(г\
ап . а, In "¿„(0 • • bln{t)
A = , B(t) =
a„i • . а пп _ АЛО • ■ bnn(t)_
n n _
ai=—Z aü, Z bü(t)=.=1n-
j=1,j*i j=1
Матрицу B(t) будем называть матрицей возмущений.
В теории цепей Маркова с непрерывным временем матрица Q(t) называется генератором цепи Маркова [Ibid.]. Генератор называется неприводимым, если при любом t > 0 система уравнений
n
p(t )Q(t) = 0, Z P. (t) =1
i=i
имеет единственное решение p(t) > 0.
Далее будем считать, что генератор цепи Маркова (1) неприводим. Из неприводимости генератора следует, что при любой постоянной допустимой матрице возмущений B(t) = B существует
limp(t) = p, и этот предел не зависит от начального распределения вероятностей p(0).
t—^вд
Если матрица B известна, то предельное распределение вероятностей находится как решение системы уравнений
n
p(A + B) = 0, Z p. = 1. (2)
i=1
В нашем случае матрица B неизвестна и может меняться во времени. Поэтому мы не можем найти p из системы уравнений (2). Тем более мы не можем найти p(t) как решение системы (1) при неизвестной матрице B(t) и неизвестном начальном распределении вероятностей p(0).
Систему (1) рассмотрим как линейную динамическую систему с неполной информацией о состоянии. Будем считать, что измерению доступны значения
n
y(t) = Z c.P. (t). i=1
Уравнение (1) дополним уравнением измерений
y(t) = p(t )c, (3)
где с - вектор-столбец, с = [q ... сп ] . Например, если измерению доступна вероятность нахождения системы в состоянии st, то все коэффициенты вектора с равны 0 за исключением с = 1-
К уравнениям (1), (3) добавим уравнение выхода z(t) = p(t)h, где h - также вектор-столбец,
h = [/Zj ... hn] . Необходимо построить оценку состояния р(1) системы (1), (3) такую, что ошибка оценки e(t) = p(t) — p(t) обладает свойством
lim e(t)h = 0
независимо от начальных значений p(0) и p (0).
2. Наблюдатель
Для оценки состояния системы (1), (3) применим наблюдатель Люенбергера [11]. Уравнение наблюдателя имеет следующий вид:
т = р{()А-(у{{)-р{№<1. (4)
Здесь ё - вектор-строка коэффициентов наблюдателя. Ошибка оценки удовлетворяет уравнению
¿(0 = е(0 (А + сё) +
Коэффициенты наблюдателя определим из условия устойчивости матрицы А + её. Матрица называется устойчивой, если все ее собственные числа имеют вещественные части меньше нуля.
Обозначим через {л,;/^ ;...;/.„} спектр матрицы А. Из неприводимости матрицы А как генератора цепи Маркова (1) при Б(/) = 0 следует [1], что одно собственное число матрицы А равно нулю, остальные имеют вещественные части строго меньше нуля. Для определенности будем считать, что \= 0, Яе X,. < 0, г = 2, п.
Обозначим через левый собственный вектор матрицы А, отвечающий собственному числу X = 0. Этот вектор является вещественным и определяется однозначно с точностью до множителя. Далее будем считать, что це Ф 0. Вектор можно найти как решение системы уравнений
цА = 0, це = 1.
Пусть ц есть некоторое вещественное число. Рассмотрим матрицу А + цец. Обозначим через щ правые собственные векторы матрицы А, отвечающие собственным числам X,., г = 2, п. Заметим, что эти векторы ортогональны вектору У\. Следовательно, (А + цец) щ = Ащ = X.щ, г = 2, п. С другой стороны, ц (А + цец) = цц. Таким образом, мы показали, что спектр матрицы А + цец состоит из чисел {ц;Х2;...;Хл}.
Выберем ц< 0. Зададим вектор коэффициентов наблюдателя равным ё = цц. Спектр матрицы А + сё равен {ц; ;...;/-,,}. При этом матрица А + сё будет устойчивой.
Таким образом, алгоритм синтеза наблюдателя для системы (1), (3) сводится к нахождению левого собственного вектора матрицы А, отвечающего собственному числу X = 0.
Пусть Б(/) = 0. Тогда из устойчивости матрицы А + сd следует Ише(/) = 0 и, следовательно,
Ише(/)И = 0 при любом Н независимо от начальных значений р(0) и р(0).
Рассмотрим условие робастности наблюдателя. Пусть матрица возмущений является постоянной, Б(/) = Б. Если Б( А + её )-1 И = 0, то Иш е(/)Н = 0 независимо от начальных значений р(0) и р (0).
Действительно, силу неприводимости генератора цепи Маркова (1) существует Ишр(/) = р , и этот
предел не зависит от р(0). Из условия устойчивости матрицы А + с! следует, что существует Ише(/) = е , такой что
е(А + её) + рБ = 0, р(А + Б) = 0. Матрица А + ёе невырожденная. Следовательно,
е = - рБ( А + её )-1, еИ = - рБ( А + её )-1 И = 0.
3. Численный пример
Рассмотрим цепь Маркова с матрицами
0 0 0' а а 0 А = а 0 -а-р р 0 0 -р Р
р 0 -2Р
-a a
0 -2a
a 0
0 0
P 0
B =
-у(0 y(t) 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
Предположим, что а > 0, р > 0. Возмущение ) может быть любым при условии, что у(/) > -а.
Пусть вектор с = [0 0 1 0 0]Т. Это означает, что измерению доступна вероятность нахождения системы в состоянии 53. Левый собственный вектор матрицы А, отвечающий нулевому собственному числу и условию \хс = 1, равен
2(2а + р) 2а + р 1 2(2р + а) 2р + а"
3а 3а
Вектор коэффициентов наблюдателя й = .
Проверим условия робастности. Матрица
1
зр
зр
h = [1 0 0 0 0] получим
1 0 0 0 0
a
0 0 0 0 0
B( A fed )-1 = 0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
= 0 при h = [0 hz h h4 h5 Г - При этих значениях
lim e(t)h = t ^ад 0 независимо от начальных значений р(0) и
Нш е(Г)И. = 1 pi-
t -^ад a
Рис. 1. Оценка вероятности p4 Fig. 1. Estimate of probability p4
Рис. 2. Результаты имитационного моделирования Fig. 2. Simulation results
На рис. 1, 2 показаны результаты моделирования системы с наблюдателем. Расчеты и моделирование выполнялись при а = 3, р = 5, у (t) = 100, ц = -10,
с = [0 0 1 0 0]Т, h = [0 0 0 1 0]Т.
p(0) = [1 0 0 0 0], p (0) = [0,2 0,2 0,2 0,2 0,2]. На рис. 1 показаны результаты, полученные при решении уравнения Колмогорова (1) и уравнения наблюдателя (4). Здесь p4 (t) - оценка вероятности p4 (t) в момент времени t, p4 - предельное значение вероятности p4 (t) соответственно при значениях возмущения у (t) = 0 и у (t) = 100.
На рис. 2 представлены результаты имитационного моделирования, которые также подтверждают справедливость представленных в работе условий робастности наблюдателя.
Заключение
В работе решена задача синтеза наблюдателя состояния неоднородной конечной цепи Маркова с непрерывным временем в предположении, что интенсивности переходов в цепи Маркова точно не известны. Цепь Маркова рассмотрена как линейная динамическая система с неполной информацией о состоянии. Описан алгоритм синтеза наблюдателя. Показано, что синтез наблюдателя сводится к нахождению собственного вектора матрицы генератора цепи Маркова, отвечающего нулевому собственному числу этой матрицы. Рассмотрены условия робастности наблюдателя. Приведены численный пример и результаты моделирования.
ЛИТЕРАТУРА
1. Yin G., Zhang Q. Continuous-Time Markov Chains and Applications. A Two-Time-Scale Approach. Springer, 2013. 427 p.
2. Ching W.-K., Ng M.V. Markov Chains: Models, Algorithms and Applications. Springer, 2006. 205 p.
3. Kim K.S., Smagin V.I. Robust filtering for discrete systems with unknown inputs and jump parameters // Automatic control and
computer sciences. 2020. V. 54, № 1. P. 1-9.
4. Battilott S. Robust observer design under measurement noise with gain adaptation and saturated estimates // Automatica. 2017.
V. 81, July. P. 75-86.
5. Mera M., Salgado I., Chairez I. Robust observer-based controller design for state constrained uncertain systems: attractive ellip-
soid method // International Journal of Control. 2020. V. 93, № 6. P. 1397-1407.
6. Pourasghar M., Puig V., Ocampo-Martinez C. On robust interval observer design for uncertain systems subject to both time-
invariant and time-varying uncertainties // International Journal of Control. 2020. V. 93, № 11. P. 2577-2595.
7. Coutinho D., Schons S., Couto L.D., Kinnaert M. Robust observer design for discrete-time locally one-sided Lipschitz systems //
European Journal of Control. 2020. V. 53, May. P. 43-51.
8. Zemzemi A., Kamel M., Toumi A., Farza M. A new robust observer design for nonlinear systems with application to fault diagno-
sis // Transactions of the Institute of Measurement and Control. 2018. V. 40, № 13. P. 3696-3708.
9. Nguyen C.M., Pathirana P.N., Trinh H. Robust observer design for uncertain one-sided Lipschitz systems with disturbances //
International Journal of Robust and Nonlinear Control. 2018. V. 28, № 4. P. 1366-1380.
10. Clempner J.B., Poznyak A.S. Observer and control design in partially observable finite Markov chains // Automatica. 2019. V. 110, December. Article 108587.
11. Sontag. E. Mathematical Control Theory: Deterministic Finite Dimensional Systems. Springer, 1998. 531 p.
Поступила в редакцию 17 сентября 2020 г.
Perepelkin E.A. (2021) ROBUST STATE OBSERVER OF CONTINUES-TIME INHOMOGENEOUS MARKOV CHAIN. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitelnaja tehnika i informatika [Tomsk State University Journal of Control and Computer Science] 54. pp. 74-79
DOI: 10.17223/19988605/54/9
The article deals with the problem of constructing a state estimate for a continuous-time inhomogeneous finite Markov chain. We consider the Markov chain as a linear dynamical system with incomplete information about the state and parameters of the system
p(t)=P(t)Q(t\ y(t) = p(t)c.
Here row vector p(t) is the current state of the Markov chain, Q(t) = A + B(t) is the generator of the Markov chain, y(t) is the measurable system output, с is the column vector. The matrix А is known, the matrix B(t) is unknown. We construct an estimate p(t) of vector p(t) based on the classical Luenberger observer
P(t) = p(t)A-(y(t)~ p(t)c)d.
Here d is the row vector of the observer coefficients. Vector d = pv. Parameter ^ < 0. Vector v is the left eigenvector of the matrix А corresponding to the zero eigenvalue of this matrix. Vector v is the solution to the system of equations vA = 0, vc = 1.
The main results of the article are conditions for the existence of the observer, algorithm for synthesizing the observer, conditions for robustness of the observer. We give a numerical example and simulation results.
The results of the work can find application in systems for diagnostics of the state and control of technical objects, in systems for making optimal decisions in the field of economics and finance.
Keywords: continuous-time Markov chain; robust state estimation; Luenberger observer.
PEREPELKIN Evgenii Alexandrovich (Doctor of Technical Sciences, Professor, Saint Petersburg State University of Aerospace Instrumentation, Russian Federation). E-mail: eap@list.ru
REFERENCES
1. Yin, G. & Zhang, Q. (2013) Continuous-Time Markov Chains and Applications. A Two-Time-Scale Approach. Springer.
2. Ching, W.-K. & Ng, M.V. (2006) Markov Chains: Models, Algorithms and Applications. Springer.
3. Kim, K.S. & Smagin, V.I. (2020) Robust filtering for discrete systems with unknown inputs and jump parameters. Automatic
Control and Computer Sciences. 54(1). pp. 1-9. DOI: 10.3103/S014641162001006X
4. Battilott, S. (2017) Robust observer design under measurement noise with gain adaptation and saturated estimates. Automatica. 81.
July. pp. 75-86. DOI: 10.1016/j.ifacol.2017.08.627
5. Mera, M., Salgado, I. & Chairez, I. (2020) Robust observer-based controller design for state constrained uncertain systems: attrac-
tive ellipsoid method. International Journal of Control. 93(6). pp 1397-1407. DOI: 10.1080/00207179.2018.1508853
6. Pourasghar, M., Puig, V. & Ocampo-Martinez, C. (2020) On robust interval observer design for uncertain systems subject
to both time-invariant and time-varying uncertainties. International Journal of Control. 93(11). pp. 2577-2595. DOI: 10.1080/00207179.2020.1773526
7. Coutinho, D., Schons, S., Couto, L.D. & Kinnaert, M. (2020) Robust observer design for discrete-time locally one-sided Lipschitz
systems. European Journal of Control. 53. pp. 43-51. DOI: 10.1002/rnc.3960
8. Zemzemi, A., Kamel, M., Toumi, A. & Farza, M. (2018) A new robust observer design for nonlinear systems with application
to fault diagnosis. Transactions of the Institute of Measurement and Control. 40(13). pp. 3696-3708. DOI: 10.1177/0142331217731621
9. Nguyen, C.M., Pathirana, P.N. & Trinh, H. (2018) Robust observer design for uncertain one-sided Lipschitz systems with dis-
turbances. International Journal of Robust and Nonlinear Control. 28(4). pp. 1366-1380. DOI: 10.1002/rnc.3960
10. Clempner, J.B. & Poznyak, A.S. (2019) Observer and control design in partially observable finite Markov chains. Automatica. 110. December. Article 108587. DOI: 10.1016/j.automatica.2019.108587
11. Sontag, E.D. (1998) Mathematical Control Theory: Deterministic Finite Dimensional Systems. New York: Springer Verlag. DOI: 10.1007/978-1-4612-0577-7
